AMD wil het werkgeheugen van servers voor een deel gaan vervangen door goedkoper flashgeheugen. Dat zei het bedrijf tijdens een presentatie in Las Vegas. Door de gestegen geheugenprijzen maakt ram inmiddels driekwart van de kostprijs van een server uit. De nieuwe techniek moet dat terugdringen.
De software waarmee AMD dat mogelijk gaat maken heet MEXT, naar het bedrijf dat AMD in juni van dit jaar overnam. MEXT traint live een AI-model dat leert welke geheugenpages naar het echte dram moeten worden verplaatst en welke in het flashgeheugen kunnen blijven.
Flashgeheugen, zoals dat bijvoorbeeld in ssd's wordt gebruikt, is de helft goedkoper dan dram en bovendien dertig procent zuiniger. Daar staat tegenover dat het vijfhonderd keer zo langzaam is. Toch ziet AMD een kans voor dit tragere geheugentype.
Dat baseert AMD op onderzoek naar welk deel van het geheugengebruik daadwerkelijk 'heet' is, oftewel regelmatig wordt gewijzigd. In de praktijk blijkt bij veel taken een groot deel van het geheugengebruik 'koud' te zijn: het is wel ingeladen, maar wordt niet of nauwelijks gebruikt. Daardoor is de impact op de prestaties ook niet groot als die data in een tragere geheugensoort wordt geplaatst.
Het AI-model kan het geheugengebruik van een workload binnen een seconde leren. Daarvoor gebruikt het één cpu-core. AMD gebruikt geen voorgetraind model omdat het gebruikspatroon kan variëren van taak tot taak. Juist zakelijke klanten willen bovendien niet dat de training op hun workload buiten de deur gebeurt.
De werking van het model is vergelijkbaar met die van een large language model (llm), maar hoeft minder precies te zijn. De volgorde waarin de geheugenpages nodig zijn, maakt namelijk minder uit dan in een zin.
MEXT kan tot drie keer de oorspronkelijke geheugenhoeveelheid toevoegen in de vorm van NVMe-ssd's. Volgens AMD's eigen benchmarks haalt een systeem met flash 80 tot 90 procent van de prestaties van een server met dezelfde hoeveelheid echt werkgeheugen. De chipontwerper tekent daarbij aan dat de totale workload alsnog sneller klaar kan zijn, als het systeem door de grotere geheugenhoeveelheid meer taken parallel kan uitvoeren.
AMD MEXT komt beschikbaar als driver voor Linux. Red Hat Enterprise Linux, Oracle Linux, SUSE Linux Enterprise Server en Ubuntu worden uitdrukkelijk ondersteund. MEXT wordt een betaalde feature. Een licentie kan alleen via AMD's zakelijke verkoopafdeling worden afgenomen.
Benchmarks van AI-agents, chipontwerpsoftware en Apache Spark met AMD MEXT
Source: Tweakers.net