Home

Alibaba kondigt Qwen4 Max aan als krachtigste AI-model

Alibaba heeft Qwen4 Max aangekondigd, zijn nieuwe krachtigste AI-model. Het model heeft onder meer een contextvenster van een miljoen tokens en een backbone van 2,4 biljoen parameters. Het bedrijf noemt geen concrete prijzen, maar zegt wel dat die lager liggen dan bij voorganger Qwen3.8.

Ook heeft Qwen4 Max ingebouwde beeldcapaciteiten, meldt Alibaba. Voor elke token zijn 71 miljard parameters actief via een mixture-of-expertssysteem. Daarbij activeert het model alleen relevante delen op basis van de prompt.

Qwen gebruikt bovendien Gated DeltaNet-lagen om informatie uit eerdere prompts samen te vatten voor elke Qwen Sparse Attention-laag (QSA). Die QSA-laag is bedoeld om relevante delen van de eerdere context op microblockniveau te indexeren en terug te vinden. Het model gebruikt ook Gated Residual, een techniek om informatieverlies en instabiliteit tijdens de training te beperken.

Daarnaast heeft Alibaba N-gram-embedding ingebouwd. Dat is een manier om veelvoorkomende combinaties van tokens in een tabel op te zoeken en daarmee te werken. Qwen4 Max kan volgens de maker op tegen krachtige modellen van andere fabrikanten.

Source: Tweakers.net

Previous

Next