Meredith Broussard, een Amerikaanse journalist van gemengde afkomst, heeft er een bloedhekel aan als ze in één raciale categorie wordt gevangen. Met een zwarte vader en een witte moeder identificeert Broussard zichzelf gelijktijdig als zwart én wit. Dus toen ze enkele jaren geleden tijdens een doktersbezoek van de assistente te horen kreeg dat ze in haar digitaal patiëntendossier maar één raciale herkomst kon aangeven, reageerde ze onmiddellijk als gebeten.
‘Dat is een slecht systeem, het zou veranderd moeten worden’, beet Broussard de assistente toe. ‘Ik vink altijd twee categorieën aan. Vul dan maar niks in.’
Over de auteur
Hassan Bahara is sinds 2021 media- en cultuurredacteur voor de Volkskrant. Daarvoor schreef hij over (online)radicalisering. Eén week in de maand doet hij dienst als tv-recensent
Niet de meest sympathieke reactie, geeft Broussard toe als we haar via een videoverbinding spreken in New York, waar ze datajournalistiek doceert aan de New York University. Maar wel begrijpelijk. Broussard heeft er nu eenmaal haar levenswerk van gemaakt om ten strijde te trekken tegen de blinde vlekken in de tech- en computerwereld ten aanzien van huidskleur.
‘Uiteindelijk kwam ik er achter dat de assistente in mijn patiëntendossier had aangegeven dat ik wit ben, maar zo identificeer ik mijzelf niet’ zegt Broussard, nog altijd verontwaardigd. ‘Er is een mismatch tussen hoe computersystemen afkomst en huidskleur registreren en hoe mensen zichzelf zien.’
Aanleiding voor het gesprek met Broussard is de publicatie van haar nieuwe boek, More Than a Glitch (meer dan een storing), een somber overzicht van hoe nieuwe technologische verworvenheden als computeralgoritmes en artificiële intelligentie vaak tekortschieten als het gaat om huidskleur, gender en lichamelijke beperkingen. Het boek borduurt verder op een eerder werk (Artificial Unintelligence), waarin Broussard ook al een kritische blik werpt op de tekortkomingen van computeralgoritmes.
De publicatie van More Than a Glitch viel samen met een open brief, vorige maand online verschenen, waarin wordt opgeroepen om de ontwikkeling van artificiële intelligentie voorlopig stop te zetten. In de brief, onder anderen ondertekend door Twitter-baas Elon Musk, wordt gewaarschuwd dat artificiële intelligentie de mens dreigt te overvleugelen, met mogelijk desastreuze gevolgen.
‘Door mijn ervaring bij de dokter ben ik mij verder gaan verdiepen in de relatie tussen de Amerikaanse medische wereld en huidskleur en die bleek zeer problematisch’, zegt Broussard. ‘Bijvoorbeeld: door allerlei racistische veronderstellingen over de gezondheid van Afro-Amerikanen kwamen zij tot recent vaak later in aanmerking voor niertransplantatie dan witte Amerikanen met nierproblemen. Die vooroordelen hebben ook lang doorgewerkt in onze data- en computersystemen.’
Gelukkig voor Broussard had haar technische akkefietje bij de dokter geen al te grote consequenties. Met wat hulp van haar pragmatisch ingestelde arts wist ze alsnog in haar patiëntendossier aan te geven dat ze zowel zwart als wit is. Maar voor andere mensen van kleur, of voor mensen met een fysieke beperking, hebben computersystemen dikwijls veel negatievere gevolgen.
Broussard maakt niet per se een nieuw punt. Het is al langer bekend dat computersystemen en algoritmes niet altijd even positief uitpakken voor minderheden. Vorige maand onthulden verschillende Nederlandse media dat de gemeente Rotterdam bij de bestrijding van bijstandsfraude een algoritme gebruikt dat met name jonge moeders uitlicht en ook mensen die het Nederlands niet goed machtig zijn.
Meerwaarde van More Than a Glitch ligt in het grote aantal verhalen over computerfalen dat Broussard wist te verzamelen en de analyse die ze er op loslaat. Een van de gevallen waarover ze schrijft, betreft de Afro-Amerikaan Robert McDaniel. Hij werd door toedoen van een overijverig politieapparaat twee keer het slachtoffer van een schietpartij. Beginpunt was een computersysteem van de politie dat op basis van enkele data – persoonlijke gegevens, criminaliteitscijfers – probeert te voorspellen wie een mogelijke dader of slachtoffer van een schietpartij zou kunnen worden.
Uit dit systeem rolde McDaniels naam, die daarop herhaaldelijk werd bezocht door politieagenten en maatschappelijk werkers. McDaniels, een gewone winkelmedewerker met een paar kleine vergrijpen op zijn strafblad, was niet blij met de bezoekjes. In zijn verpauperde buurt, waar men een diep wantrouwen koestert jegens autoriteiten, werd hij al gauw aangezien voor een snitch, een verklikker die de politie inlicht. Als gevolg daarvan werd McDaniels tot twee keer toe beschoten. Hij overleefde beide keren ternauwernood.
Een ander schrijnend geval betreft Isabel Casteñada, een jonge en slimme Mexicaans-Amerikaanse scholiere, die via een internationaal studieprogramma op een prestigieuze Amerikaanse universiteit probeerde te komen. Vanwege corona was het voor haar niet mogelijk om deel te nemen aan de examens van dit studieprogramma. In plaats daarvan kreeg Casteñada via een algoritme een cijfer toebedeeld. Tot haar schrik bleek dit een slecht cijfer, een dat geen recht deed aan haar uitzonderlijke academische prestaties. Wat bleek: het algoritme had het feit meegewogen dat Casteñada op een zwakke school zit. Uiteindelijk wist Casteñada het cijfer met succes aan te vechten en werd ze alsnog toegelaten tot de universiteit van haar keuze.
Broussard: ‘Ik schrijf ook over een algoritme dat gebruikt wordt om hypotheken goed te keuren. Deze algoritmes keuren veel vaker een hypotheek af voor mensen van kleur dan voor witte Amerikanen. De data die voor zulke algoritmes gebruikt worden stammen onder meer uit een tijd toen financiële discriminatie van mensen van kleur schering en inslag was.’
Het belangrijkste punt dat Broussard in haar boek maakt is dat veel van dit soort computerfalen voortkomt uit ‘technochauvinisme’, het idee dat technologie superieur is aan menselijk intelligentie en beoordelingsvermogen. Veel technochauvinisten zijn ook nog eens wit, man, hetero, en beredeneren alles, aldus Broussard, vanuit hun eigen geprivilegieerde positie. Zij grijpen nogal makkelijk naar nieuwe technologische verworvenheden als middel om maatschappelijke problemen op te lossen.
Maar discriminatoire algoritmes zoals die gebruikt worden bij de toekenning van hypotheken laten zien dat niet iedereen hier even gelukkig mee is. Technochauvinisten die nooit het slachtoffer zijn geweest van discriminatie zullen hier niet zo snel bij stilstaan, met alle gevolgen van dien.
Volgens Broussard zou meer diversiteit in de techwereld veel van deze blinde vlekken kunnen verhelpen. Maar nog belangrijker vindt ze het dat we niet blind vertrouwen op technologie als wondermiddel.
‘Wanneer we ontdekken dat een algoritme of een artificiële intelligentie racistisch uitpakt, dan moeten we het niet alleen hebben over de technologische oorzaak, maar ook over de onderliggende maatschappelijke oorzaak. Dat kan alleen als je niet een technochauvinistische blik op technologie hebt.’
Heil verwacht Broussard ook van algorithmic auditing – het controleren van algoritmes op vooroordelen. In Amerika en Europa worden er stappen gezet om zulke controle in wetten te verankeren. Tot die tijd spoort Broussard de journalistiek, advocaten en ombudsinstanties aan om deze controle op zich te nemen.
Broussard: ‘Ik hoop dat mijn boek mensen er toe aanzet om verder na te denken over technochauvinisme en dat ze meer tegenwicht gaan bieden aan oneerlijke algoritmes en artificiële intelligentie.’
In haar eerste boek Artificial Unintelligence maakt Meredith Broussard ook al korte metten met technochauvinisme, het geloof dat technologie een wondermiddel is. Zo laat ze zien dat de droom van een zelfrijdende auto een verre, misschien wel onmogelijke droom is. Sommige taken moet je gewoon aan de mens overlaten.
More than a Glitch, Meredith Broussard. The Mit Press, € 24,99.
Om u deze content te kunnen laten zien, hebben wij uw toestemming nodig om cookies te plaatsen. Open uw cookie-instellingen om te kiezen welke cookies u wilt accepteren. Voor een optimale gebruikservaring van onze site selecteert u "Accepteer alles". U kunt ook alleen de sociale content aanzetten: vink hiervoor "Cookies accepteren van sociale media" aan.
U bent niet ingelogd
Op alle verhalen van de Volkskrant rust uiteraard copyright.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2023 DPG Media B.V. - alle rechten voorbehouden