De Chinese techgigant heeft Qwen2.5-Max uitgebracht, zijn krachtigste AI-model tot nu toe. De Max-variant van Qwen 2.5 scoort volgens het bedrijf hoger op benchmarks voor AI-modellen dan concurrenten als GTP-4o van OpenAI en V3 van DeepSeek.
Het gaat om een regulier AI-model en dus niet om een redeneermodel zoals OpenAI o1 of DeepSeek R1, meldt Alibaba. In plaats daarvan vergelijkt het bedrijf het model met GPT-4o, DeepSeek V3 en Claude 3.5 Sonnet. Het model is beschikbaar via Alibaba Cloud en te benaderen via een eigen chatplatform van het bedrijf. In tegenstelling tot andere Qwen-modellen is 2.5-Max niet opensource beschikbaar op platforms zoals HuggingFace.
De pretraining werd uitgevoerd op 20 biljoen tokens en het model maakt gebruik van een mixture-of-expertssysteem. Verschillende 'onderdelen' van het model beantwoorden daarbij diverse prompts om het behapbaar te houden, aangestuurd door een 'router' die de taken verdeelt. Het finetunen gebeurde onder meer met reinforcement learning from human feedback, zoals andere bedrijven hun AI-modellen trainen. Daarbij geven mensen aan of output oké is of niet.
Source: Tweakers.net