OpenAI gooit met gigawatts en strooit met biljoenen, om de volgende versie van ChatGPT nóg slimmer te maken. Maar groter is niet altijd beter.
Het mag je even duizelen, als je de aankondigingen van OpenAI van afgelopen week probeert te bevatten. Het bedrijf achter ChatGPT bouwt in Texas voor 850 miljard dollar aan nieuwe datacenters, die evenveel energie gaan verbruiken als zeventien kerncentrales produceren. OpenAI-topman Sam Altman rekent erop dat de kosten uiteindelijk in de trillions – biljoenen – zullen lopen.
Deze massale investeringen in rekenkracht moeten ChatGPT capaciteit bieden om intelligentere antwoorden te verzinnen voor meer gebruikers (dat zijn er nu 700 miljoen). Voor het trainen van nieuwe AI-modellen heb je de allernieuwste chips nodig, en hoe intensiever die AI-modellen bevraagd worden, des te meer datacenters nodig zijn om de antwoorden te leveren.
Het gegooi met gigawatts en biljoenen hoort erbij in de VS, want met zulke getallen paai je de Amerikaanse president. Donald Trump was dan ook in zijn nopjes toen hij in januari Project Stargate aankondigde, zoals het Texaanse datacenterproject is gedoopt. Met deze supergrote supercomputer hoopt Amerika de AI-race met China te winnen, op weg naar AGI, kunstmatige algemene intelligentie die elk mens, zelfs de president, intellectueel de baas kan.
Sam Altman wil per se los komen van zijn eerste geldschieter, Microsoft. Hij koos daarvoor een gewaagde financiële constructie met Nvidia (chipontwerper), Oracle (cloud- en datacenterdiensten) en OpenAI (AI-ontwikkelaar).
Het resultaat is een kinky driehoeksverhouding: Nvidia steekt, in stapjes van 10 miljard, 100 miljard dollar in OpenAI, OpenAI tekent een contract van 300 miljard bij Oracle, en Oracle bestelt voor 40 miljard dollar aan Nvidia-chips. Onduidelijk is waar de broekzak van de één ophoudt en de vestzak van de ander begint.
OpenAI verwacht niet winstgevend te zijn voor 2029. Ondertussen blijft het bedrijf cash verbranden om ChatGPT aan de praat te houden en de concurrentie van Google, Meta, Microsoft en Anthropic voor te blijven. Zolang investeerders erop vertrouwen dat OpenAI ooit geld gaat verdienen met betaalde diensten, advertenties en AI-gadgets, stort de constructie niet in. Maar wankel blijft-ie.
De AI-hausse draait om grote taalmodellen, grote hoeveelheden trainingsdata, grote datacenters en grote bedragen. Vergeleken met andere webdiensten zijn de schaalvoordelen bij AI beperkt. Meer gebruikers bedienen, die meer ingewikkelde vragen stellen en er ook nog agents – andere AI-modellen – bij inschakelen, dat vergt echt meer dure rekenkracht.
Amerikaanse autoliefhebbers hebben daar een uitdrukking voor: nothing beats cubic inches – je hebt grote cilinders nodig om voldoende vermogen te leveren. Inmiddels is dat achterhaald, want de snelste auto’s hebben geen cilinders meer: ze zijn elektrisch en komen uit China.
De schaalvergroting van de huidige AI-modellen bereikt ook een grens. Zo geeft GPT5, het nieuwe model achter ChatGPT, geen revolutionair betere antwoorden dan vorige versies. De update lijkt ook bedoeld om de kosten onder controle te houden.
Voor een gemiddelde gebruiker lijkt ChatGPT een duizenddingendoekje dat je overal voor inzet. In werkelijkheid zoekt het model bij sommige vragen eerst uit of er misschien een kleinere, beter geschikte expert ingeschakeld kan worden. Dat scheelt rekenwerk, dus geld.
Het bekendste voorbeeld van zo’n efficiënte aanpak komt uit China. DeepSeek, geïntroduceerd in januari dit jaar, verbruikt vergeleken met de Amerikaanse concurrenten minder rekenkracht, is getraind op relatief weinig data en kan toch slimme antwoorden genereren.
Door te werken met Mixture of Experts, zoals de methode heet, gebruikt DeepSeek per vraag maar een fractie van de meer dan 600 miljard parameters die het model omvat. „DeepSeek-R1 was het eerste open source model dat Mixture of Experts op grote schaal toepaste en vrijwel net zo goed was als ChatGPT”, zegt Maarten Grootendorst. Hij is een Nederlandse AI-expert die samen met Jay Alammar een standaardwerk voor AI-kenners schreef, Hands-On Large Language Models. Het is een handboek voor AI-programmeurs, met overzichtelijke diagrammen in plaats van wiskundige formules. Die formules maken de boel onnodig ingewikkeld, vindt Grootendorst. Hij houdt ervan om de AI-wereld uit te leggen in begrijpelijke taal, met veel afbeeldingen.
Zo leerde hij, afgestudeerd psycholoog, de techniek zelf doorgronden toen hij aan de slag ging bij het Integraal Kankercentrum Nederland. Daar werkt Grootendorst aan een veilige manier om AI-modellen te trainen met patiëntengegevens van alle ziekenhuizen. Zijn dubbelleven als internationale AI-goeroe leidt hij vanuit een nieuwbouwwijk in Tilburg.
De opkomst van de open source-modellen, zoals DeepSeek en Qwen (van Alibaba), veranderen zijn werk: je kunt de code downloaden, eraan sleutelen en zelfs de ingebouwde censuurmechanismes uitschakelen.
Deze grote taalmodellen of LLM’s zijn behoorlijk handzaam, demonstreert Grootendorst achter zijn pc. Op het bureau prijkt een computer met transparante kap, waarin een Nvidia videokaart van duizend euro het rekenwerk verricht. De kleinste modellen draaien zelfs op zijn telefoon, bouwjaar 2021. „Die lokale LLM’s gebruik ik als ik iets gevoeligs moet delen – dingen waarvan ik vind dat ChatGPT die niet hoeft te weten.”
AI draait om marketing. Bedrijven schermen graag met het gigantische aantal woorden of tokens dat je kunt invoeren. „Soms wel een miljoen”, zegt Grootendorst. „Maar het model moet dan zo’n krankzinnige hoeveelheid informatie verwerken dat het niet goed meer werkt.”
Ook de zogeheten redenerende taalmodellen zijn volgens hem variaties op hetzelfde thema. „Ze gebruiken meer tijd om hardop na te denken voordat ze antwoord geven, maar het is niet meer dan een trucje.”
Grootendorst ziet een schisma in de AI-wereld: het lijkt alsof Silicon Valley met de zoektocht naar AGI in zijn eigen science fiction-sprookje is gaan geloven, terwijl Chinese ontwikkelaars extreem pragmatisch te werk gaan. Ze kampen door exportbeperkingen met een gebrek aan snelle AI-chips, dus ontwikkelen ze handzame modellen, die vlot die ene klus kunnen klaren.
Bijkomend voordeel van de Chinese open source-modellen: het trekt wetenschappers aan die hun werk willen kunnen publiceren. Hun kennis is nodig om sneller te innoveren, vandaar dat ook Amerikaanse AI-reuzen meer open source-projecten starten. Het onderzoek richt zich niet meer op nog duizelingwekkender getallen, maar op specialisatie en efficiency. Grootendorst: „Iedereen wil een goedkoop model, dat snel is en toch goed. Kleiner is beter.”
NIEUW: Geef dit artikel cadeauAls NRC-abonnee kun je elke maand 10 artikelen cadeau geven aan iemand zonder NRC-abonnement. De ontvanger kan het artikel direct lezen, zonder betaalmuur.
Doorzie de wereld van technologie elke week met NRC-redacteuren
Source: NRC