AMD heeft tijdens zijn Advancing AI-presentatie een nieuwe generatie gpu's voor datacenters aangekondigd. De Instinct MI350X en MI355X maken gebruik van de nieuwe CDNA 4-architectuur en worden grotendeels geproduceerd op TSMC's N3P. Het topmodel krijgt een 1400W-tdp.
De nieuwe AI-gpu bestaat eigenlijk uit acht dies met elk 32 compute-units, voor een totaal van 256 CU's. Ter vergelijking: AMD's huidige topmodel voor consumenten, de RX 9070 XT, telt 64 CU's. De op 3nm geproduceerde rekendies zijn met TSMC's CoWoS-S-packagingtechniek gestapeld op twee i/o-dies met onder meer de geheugeninterface en de L2-caches. Deze i/o-dies worden op 6nm gemaakt.
Volgens AMD zijn de nieuwe Instinct-gpu's vier keer zo snel in AI-berekeningen als hun voorgangers, al komt dat voor een groot deel doordat er nieuwe fp4- en fp6-formaten worden ondersteund. Nvidia voegde ondersteuning voor deze formaten, waarmee precisie wordt ingeleverd ten faveure van snelheid, ook toe aan zijn Blackwell-generatie. De MI350X en MI355X hebben daarnaast meer vram dan de bestaande MI325X, namelijk 288GB in plaats van 256GB, dat met een bandbreedte van 8TB/s bovendien een derde sneller is.
AMD InstinctMI325XMI350XMI355XDe release van de nieuwe gpu's in het derde kwartaal van dit jaar valt samen met het beschikbaar komen van de ROCm 7-softwarestack. Die kan onder meer gebruikt worden voor training en inferencing van AI-modellen. Volgens AMD is ROCm 7 sneller, worden inferenceframeworks als SGLang en vLLM beter ondersteund en is de software beter geschikt voor gebruik in enterpriseworkflows. Bovendien komt ROCm later dit jaar ook beschikbaar voor AI-ontwikkeling op Ryzen- en Radeon-hardware in Windows.
AMD keek ten slotte vooruit naar zijn roadmap voor AI-hardware in de komende jaren. De chipontwerper gaat meer focussen op zijn volledige racks met EPYC-cpu's, Instinct-gpu's en Pensando-nics. Dit jaar komen die er met de bestaande vijfde generatie EPYC-processors, de nieuwe MI350-gpu's en de eveneens nieuwe Pensando Pollara-nic, die Ultra Ethernet met 400Gbit/s ondersteunt. Volgend jaar worden al die onderdelen van nieuwe generaties voorzien. Daarbij gaat het onder meer om de op 2nm geproduceerde EPYC Venice-cpu's en de Instinct MI400-gpu's, die twee keer zo snel moeten worden als de MI355X en tot 432GB HBM4-geheugen krijgen. In 2027 worden die weer opgevolgd door de EPYC Verano-serie en de Instinct MI500-reeks, die AMD nog niet eerder wereldkundig had gemaakt.
Source: Tweakers.net