Carissa Véliz | filosoof AI-voorspellingen bepalen mede wie een hypotheek krijgt, wie verzekerd kan worden, wie als potentiële fraudeur geldt. Dat is een grote bedreiging, vindt filosoof Carissa Véliz. „Wat als objectieve kans wordt gepresenteerd, kan een oordeel worden waaraan niet meer te ontsnappen valt.”
Toen de Franse Jeanne Calment 90 jaar oud was, had ze haar hele naaste familie overleefd. Geen kinderen meer, geen kleinkinderen, geen erfgenamen. Toen kwam haar notaris André-François Raffray met een voorstel dat hem een uitgelezen koopje leek. Hij zou haar maandelijks 2.500 Franse frank betalen, een lijfrente, en in ruil daarvoor zou hij na haar dood haar appartement in Arles erven. Een redelijke gok, dacht hij, op een vrouw van negentig. En Calment stemde in.
Maar het liep anders. Calment bleef maar leven, en leven, en leven. Raffray schreef dertig jaar lang zijn maandelijkse cheques uit. Hij stierf uiteindelijk zelf, 77 jaar oud, nadat hij meer dan het dubbele van de waarde van het appartement had overgemaakt. Calment leefde nog enkele jaren door en werd met 122 jaar de oudste mens van wie de leeftijd ooit geverifieerd is.
„Dat laat mooi zien: een voorspelling is nooit een feit, hoe aannemelijk die ook klinkt”, zegt Carissa Véliz (39). De Mexicaans-Spaanse filosoof gebruikt de casus in haar nieuwe boek Prophecy als voorbeeld van hoe modellen en voorspellingen nooit alle onverwachte en onvoorspelbare gebeurtenissen (zogeheten black swans) kunnen meewegen in hun berekeningen.
Het laat ook zien wat zij „een gevaarlijke vergissing” van het AI-tijdperk noemt: dat een kansberekening zich gemakkelijk voordoet als vaststaande kennis. AI-voorspellingen bepalen inmiddels mede wie een hypotheek krijgt, wie verzekerd blijft, wie als potentiële fraudeur geldt en wie nog de kans krijgt iets anders te doen dan de algoritmes voorspellen. „Het leven laat zich nooit helemaal vatten in algoritmes. En toch komen we door AI in een wereld terecht waarin voorspellingen en modellen een steeds grotere rol spelen.”
Dat is onrechtvaardig, werkt autoritaire krachten in de hand en is ronduit gevaarlijk voor de stabiliteit van maatschappelijke en economische systemen, waarschuwt Véliz in haar filosofisch en historisch ingestoken boek. Daarin vergelijkt ze de opkomst van AI-voorspellingen met wat astrologen en profeten al eeuwen tevergeefs proberen: de onvoorspelbare toekomst tóch voorspellen.
Véliz was begin deze maand kort in Amsterdam, voor een congres van de Stichting Democratie en Media. Ze zit tussen een grote stapel boeken die ze moet signeren voor haar tournee, vlak erna moet ze het podium op, en daarna meteen door naar de volgende stop. „Ik ben een introvert en ik hou van schrijven”, zegt ze, een beetje grieperig. „Dus ja, dit is een contrast met waar ik het meest van hou. Maar ik ben er nog.”
ING gaat als eerste Nederlandse grootbank op grote schaal AI inzetten als hulpmiddel bij het beoordelen van hypotheekaanvragen. Dat kondigde ING deze week aan. Huizenkopers kunnen met een chatbot soms al binnen één minuut duidelijkheid krijgen of ze bij ING een lening kunnen afsluiten of niet. De definitieve beslissing of iemand een hypotheek krijgt of niet, blijft volgens de bank altijd bij een ING-medewerker liggen. Het AI-model doet alleen suggesties, benadrukte ING-manager Jacques Schram in het Financieele Dagblad. „AI is bedoeld als slimme assistent. Onze medewerkers hebben het laatste woord. Zij moeten altijd kunnen uitleggen waarom zij tot een bepaald besluit komen.”
Large language models, de achterliggende techniek van chatbots, zien er misschien indrukwekkend uit, zegt ze. „Maar uiteindelijk is het gewoon fancy autocomplete.” Het is een computer die heel goed is in het voorspellen van het volgende woord in een zin, de recente snelle ontwikkelingen in AI veranderen daar voor haar niets aan.
Véliz onderzoekt aan de universiteit van Oxford de toepassing van AI in allerlei voorspellende modellen over menselijk gedrag, zoals verzekeraars die de techniek gebruiken om risicoprofielen te maken voor fraudeurs, banken die ze gebruiken voor het vaststellen van kredietscores die mede bepalen of iemand een lening krijgt, overheden die met AI mensen indelen in profielen en cohorten. Nu chatbots ook in het dagelijkse werk bij bedrijven steeds meer taken overnemen, neemt de urgentie van haar boodschap alleen maar toe, zegt ze.
Maar goed: een arts voorspelt ook risico’s. Een rechter maakt ook inschattingen van toekomstig gedrag. Een bank moet kredietrisico’s beoordelen. Een verzekeraar bestáát bij gratie van risico-inschatting. Zonder voorspelling geen moderne samenleving, toch? „Mijn waarschuwing is daarom niet dat we nooit meer mogen voorspellen.” Het gevaar begint volgens haar waar voorspellingen over mensen veranderen in onzichtbare systemen die niet alleen raden wie iemand zal worden, maar alvast bepalen wie iemand mag zijn.
Carissa Véliz.
Ze maakt een scherp onderscheid tussen „meteorologische en sociale voorspellingen”. Een weersvoorspelling beïnvloedt het weer niet. Een sociale voorspelling werkt anders, volgens haar: „Die buigt als een magneet de werkelijkheid naar zich toe.” Een voorspelling over een mens bevat bovendien noodzakelijkerwijs altijd een element van een vonnis, vindt ze.
Het zijn, zegt Véliz, vaak machtsspelletjes vermomd als analyse. „Sociale voorspellingen zijn in feite versluierde bevelen. Wat als objectieve kans wordt gepresenteerd, kan een oordeel worden waaraan niet meer te ontsnappen valt, zeker wanneer het self-fulfilling wordt. De voorspelling dat iemand een slechte lener is, maakt van diezelfde persoon een slechte lener, simpelweg door hem de lening te weigeren.” Het hoofd van de Britse financiële toezichthouder waarschuwde eerder al dat het gebruik van AI-voorspellingen hele groepen mensen „onverzekerbaar” maakt.
„Het raakt aan iets fundamenteels over wie we zijn”, zegt ze. „Wanneer een algoritme ons categoriseert op grond van historische data van groepen, worden we niet behandeld als wie we zijn, maar als het type waartoe we worden gerekend.”
Daarmee komt volgens haar het hele idee van individuele verdienste op losse schroeven te staan: „Meritocratie veronderstelt dat je beoordeeld wordt op wat jij doet, niet op wat mensen die statistisch op jou lijken hebben gedaan. Het goede leven is niet een script om te volgen, maar een blanco vel om te beschrijven. AI-voorspellingen over jouw gedrag waarop je beoordeeld wordt, werken dat tegen.”
Ze illustreert het in haar boek met de zaak van Crystal Marie en Eskias McDaniels, een welgesteld zwart stel in de VS dat puur op grond van een ondoorgrondelijk algoritmisch risicoprofiel werd geweigerd voor een hypotheek. Niemand kon precies uitleggen waarom. Het leidde tot diverse onderzoeken waaruit bleek dat zwarte mensen in de VS vaker op oneigenlijke gronden hypotheken werden geweigerd. Zo zijn er veel meer voorbeelden van hoe AI-voorspellingen mensen beoordelen op groepskenmerken in plaats van op hun individuele handelen.
Zijn dit niet ‘gewoon’ kinderziektes van een nieuwe techniek? Je zou kunnen denken dat bedrijven die AI-voorspellingen gebruiken, sowieso een prikkel hebben om voorzichtig te zijn met die voorspellingen, en dat ze geen filosofisch boek nodig hebben om hen daarop te wijzen. Als hun AI-voorspellingen niet blijken te kloppen en risico’s vergroten, krijgen de bedrijven daar vanzelf last van en passen ze hun werkwijze toch aan?
Nee, zegt Véliz beslist. Ze vergelijkt het met een probleem dat we al goed kennen uit de cybersecurity. „Beveiliging is duur en levert op korte termijn niet heel veel concreets op. Het maakt een product niet mooier en het verkoopt er niet beter door. De concurrentie is zo moordend dat het vaak moeilijk is om bedrijven te overtuigen die investering vooraf te doen. Het wordt een race naar de bodem. En een deel van het probleem is dat, wanneer het noodlot toeslaat, het niet altijd het bedrijf is dat de hoogste prijs betaalt, maar de samenleving.”
Bij gebruik van AI-voorspellingen treedt een vergelijkbare perverse prikkel op, betoogt Véliz: want de schade van fouten erin slaat neer bij iedereen. Het meest fragiel acht ze de verzekeringswereld, juist omdat verzekeringen niet alleen een vangnet vormen voor een individu of een bedrijf, maar voor de samenleving als geheel. Als mensen verzekerd zijn, is de samenleving stabieler. „Valse zekerheden die de instabiliteit op termijn juist vergroten, zijn gevaarlijk voor ons allemaal.” Ook als dat op korte termijn misschien juist méér winst betekent voor de verzekeraar.
Het centrale inzicht in haar boek is dat voorspellingen over menselijk gedrag geen neutrale beschrijvingen zijn, maar verhulde bevelen en machtsuitoefening. Wanneer machthebbers of techbedrijven de toekomst voorspellen in grootse en meeslepende toekomstvisies, is dat eigenlijk een manier om precies die toekomst te dicteren. „Omdat voorspellingen op feiten lijken, schikken we ons er onbewust naar via anticiperende gehoorzaamheid, wat een self-fulfilling prophecy activeert.”
Véliz stelt dat een hoge voorspellende nauwkeurigheid over individuen geen wetenschappelijke vooruitgang is, maar een symptoom van tirannie: „Als een algoritme exact weet wat jij gaat doen, is dat omdat de wereld via massasurveillance zo is ingericht dat je geen keuzevrijheid meer hebt.” Haar waarschuwing is helder: behandel voorspellingen niet als feiten, maar herken ze als sociale controle en zie ze als uitnodiging tot protest en ongehoorzaamheid.
En, betoogt ze, te veel vertrouwen op AI-voorspellingen maakt het héle economische systeem fragieler. „De valse zekerheid die ze bieden, kan heel lang leiden tot een gevoel van controle, totdat het explodeert in juist nog méér onvoorspelbaarheid.”
Hoe zouden zulke systemische gevaren er concreet uit kunnen zien? „Dat weet ik niet, dan zou ik zélf een voorspelling doen namelijk”, lacht ze. Maar er zijn al volop dingen gaande die de richting aangeven van wat er mis kan gaan, volgens Véliz: „Een fout in de context van een oorlog, een fout van AI, die een conflict laat escaleren bijvoorbeeld. Een algoritme dat op hol slaat op de financiële markten en een crash veroorzaakt, zoals de flash crash, maar dan erger [in 2010 crashte de Amerikaanse beurs zeer kort, mede door een opeenstapeling van algoritmes die reageerden op algoritmes]. Een verzekeringssector die een groep onverzekerbare mensen creëert die het hun toebedeelde risico niet meer kunnen dragen, met een nieuwe financiële crisis als gevolg. Het zouden zoveel dingen kunnen zijn.”
Maar waar ze zich het meeste zorgen over maakt, is niet de spectaculaire catastrofe. „Het is de geleidelijke uitholling van de democratie en van fundamentele vrijheden, omdat het zo moeilijk is daarvan te herstellen.”
Deugt er dan niks aan AI? „Natuurlijk kunnen AI-voorspellingen nuttig zijn”, zegt Véliz. „Bijvoorbeeld het voorspellen van het gedrag van moleculen, nuttig in de zoektocht naar nieuwe antibiotica en in de ontwikkeling van nieuwe materialen. Wie elk molecuul afzonderlijk in het lab moet testen, is eindeloos veel tijd kwijt. Een AI-simulatie kan de veelbelovende kandidaten er alvast uitfilteren.”
Dát kan een fantastische vernieuwing zijn, zegt ze. „Maar zodra voorspellingen over mensen gaan, ontneem je ze per definitie de vrijheid om te laten zien dat ze niet binnen de kaders van die voorspelling passen.”