Leuk, al die videokaartbenchmarks in games, maar hoe doen al die gpu's het in AI-workloads? Het is een vraag die regelmatig terugkomt onder onze reviews. Hem beantwoorden is alleen zo makkelijk nog niet. Voor dit artikel ben ik aan de slag gegaan met vier verschillende lokale AI-tools en maar liefst elf videokaarten van AMD en Nvidia, zowel van de huidige als de vorige generatie.
In de afgelopen twee jaar maakte AI een stormachtige opkomst mee. De resultaten gingen van lachwekkend en onbruikbaar naar soms bijzonder nuttig en creatief, waardoor AI-gebaseerde modellen de workflow van steeds meer mensen insluipen. Als je de afgelopen tijd AI hebt gebruikt, deed je dat waarschijnlijk vooral in de cloud, bijvoorbeeld met de online versies van ChatGPT of Googles Gemini. Het lokaal draaien van AI-modellen kan in theorie wel, zolang de maker ze vrijgeeft tenminste, maar is tot nu toe vooral iets voor de tweaker die ermee wil experimenteren. Het vereist immers krachtige hardware.
Voor de tests in dit artikel maken we gebruik van ons standaard gpu-testsysteem, bestaande uit de volgende onderdelen.
Voor de videokaarten hebben we de referentiekaarten gebruikt, zoals de Nvidia Founders Editions. Van de RTX 5070 Ti bestaat er geen FE; voor die kaart hebben we daarom een MSI Ventus 3X OC-model getest. Hetzelfde geldt voor de RX 9070 en RX 9070 XT: daarvoor gebruiken we respectievelijk de Powercolor Hellhound en Red Devil. De drivers waren AMD Software 25.3.2 en Nvidia GeForce 572.83.
Toch begint lokale AI langzaam aan populariteit te winnen. Voor de bekende online AI-modellen is al een tijdlang een abonnement vereist, in elk geval als je ze onbeperkt en in de nieuwste iteraties wilt gebruiken. Daarnaast is een lokaal draaiende AI inherent privacyvriendelijker, wat zeker gezien de ontwikkelingen in de VS een grotere rol is gaan spelen voor veel mensen. Veel grote AI-modellen komen daarvandaan, met uitzondering van het populaire opensourcemodel DeepSeek, dat afkomstig is uit China.
De ontwikkeling van AI is nog pril en dat geldt eens te meer voor lokale AI. Er komen regelmatig nieuwe modellen beschikbaar en er valt nog veel te winnen met optimalisatie. Er worden pogingen gedaan tot standaardisatie, zoals ONNX en Microsofts DirectML, maar veel AI-tools gebruiken toch vendorspecifieke implementaties. Die zijn vaak veel sneller dan de standaardoptie; je wilt ze dus gebruiken, maar ze maken een-op-een vergelijken lastig.
Naast de elkaar snel opvolgende ontwikkelingen en de vendorspecifieke implementaties is er ook een fundamenteler probleem met het benchmarken van AI: er is niet één antwoord. Ook al geef je dezelfde opdracht, het resultaat kan telkens anders zijn. Sommige van de benchmarks in dit artikel maken gebruik van 'expected outputs' om al te grote afwijkingen te voorkomen; in andere gevallen beoordeel ik zelf of een resultaat ruwweg vergelijkbaar is. Als een niet al te geavanceerd taalmodel het opeens een goed idee vindt om een antwoord te geven in een andere taal of vijftig keer op rij hetzelfde woord neer te pennen, dan draaien we de test opnieuw.
Op de volgende pagina's proberen we te achterhalen welke hardware je nodig hebt om op je eigen pc aan de slag te gaan met lokale AI. Dat doen we zoals gezegd met elf videokaarten uit zowel de huidige als de vorige generaties van AMD en Nvidia. Hieronder vind je de specificaties van al die kaarten op een rij.
ArchitectuurCoresGeheugenGeheugen-bandbreedteTdpIntroductie Source: Tweakers.net