Google heeft zijn zevende generatie tensor processing unit aangekondigd. Het bedrijf gaat deze chips, genaamd Ironwood, gebruiken voor het draaien van AI-modellen. Ze worden gebruikt in 'pods' met maximaal 9216 chips, die samen 42,5 exaflops aan fp8-rekenkracht moeten leveren.
De Google Ironwood-tpu wordt de opvolger van Googles Trillium-chips, die vorig jaar werden aangekondigd door de fabrikant. De nieuwe Ironwood-chips leveren ieder 4614Tflops aan fp8-piekrekenkracht, maar Google zegt niet hoeveel stroom ze precies gebruiken. De techgigant claimt wel dat de prestaties per watt bijna twee keer hoger liggen dan bij de voorgaande Trillium-tpu's, die vorig jaar werden aangekondigd.
De nieuwe chips krijgen ieder 192GB aan HBM, zes keer meer dan bij hun voorgangers. De bandbreedte van dat geheugen wordt ook opgehoogd naar 7,4TB/s per chip. Tot slot krijgen Ironwood-tpu's een snellere interconnect, waarmee maximaal 9216 Ironwood-tpu's onderling met elkaar verbonden kunnen worden. Dat gaat nu met een bidirectionele bandbreedte van rond de 900GB/s. Google zegt niet welke fabrikant de Ironwood-tpu's produceert of op welk procedé dat gebeurt.
Een cluster met het maximale aantal van 9216 Ironwood-tpu's biedt volgens Google 42,5 exaflops aan fp8-rekenkracht. De techgigant claimt dat dit ruim 24 keer sneller is dan El Capitan, de supercomputer die momenteel bovenaan de TOP500-lijst staat met een score van 1,74 exaflops. Dat is echter een misleidende vergelijking. De benchmark die TOP500 gebruikt, is namelijk gebaseerd op complexere fp64-berekeningen in plaats van fp8. Google lijkt bovendien de piekprestaties van Ironwood te vergelijken met de praktijkprestaties van El Capitan.
Google gaat de Ironwood-tpu's gebruiken voor het runnen van AI-modellen. Volgens de fabrikant zijn de nieuwe chips specifiek ontworpen voor inferentierekenwerk. De tpu's gaan gebruikt worden voor Googles eigen Gemini-AI-modellen, maar ook voor ontwikkelaars die AI-projecten willen draaien in Google Cloud. Ontwikkelaars krijgen toegang tot clusters met 256 of 9216 Ironwood-chips. De Ironwood-tpu's komen later dit jaar beschikbaar voor ontwikkelaars, benadrukt Google in zijn blogpost. Een preciezere datum wordt vooralsnog niet genoemd.
Source: Tweakers.net