Meta brengt zijn volgende generatie AI-model Llama 4 begin volgend jaar uit. Dat heeft directeur Mark Zuckerberg gezegd in een toelichting op de kwartaalcijfers. Llama 3 kwam dit voorjaar uit.
De training voor Llama 4 is nu bezig, claimt Zuckerberg. "We trainen de Llama 4-modellen op een cluster dat groter is dan 100.000 H100's en dat is groter dan alles wat ik heb gezien over wat anderen doen." Die H100's zijn Nvidia H100-GPU's die bedrijven gebruiken voor het trainen van AI-modellen.
Er komen diverse modellen, zegt Zuckerberg. Dat was bij eerdere Llama-generaties ook al. "Ik verwacht dat de kleinere Llama 4 modellen het eerst klaar zullen zijn, en ze zullen naar verwachting ergens begin volgend jaar klaar zijn." Wanneer de grotere modellen klaar zullen zijn, zegt Zuckerberg niet.
Llama 4 moet op diverse punten een stap vooruit zijn. "Er komen nieuwe modaliteiten en nieuwe mogelijkheden, de modellen kunnen sterker redeneren, en zijn veel sneller", claimt Zuckerberg. Llama 3 kwam in april uit. De nieuwste versie is Llama 3.2.
Source: Tweakers.net