Stel je voor dat bedrijven technologie bouwen die fundamenteel racistisch is: het is bekend dat die technologie voor zwarte mensen bijna 30 procent vaker niet werkt dan voor witte mensen. Stel je vervolgens voor dat deze technologie wordt ingezet op een cruciaal gebied van je leven: je werk, onderwijs, gezondheidszorg. En stel je tot slot voor dat je een zwarte vrouw bent en dat de technologie werkt zoals verwacht: niet voor jou. Je dient een klacht in. Om vervolgens van de nationale mensenrechteninstantie te horen dat het in dit geval waarschijnlijk geen racisme was.
Welkom in de wereld van Robin Pocornie, die eerder deze week van het College voor de Rechten van de Mens te horen kreeg dat het College techbedrijven eerder gelooft dan zwarte vrouwen die de dupe zijn van algoritmische discriminatie.
Over de auteur
Nani Jansen Reventlow is oprichter en directeur van Systemic Justice, een organisatie die zich Europabreed inzet voor anti-racisme en sociale en economische rechtvaardigheid met behulp van het strategisch procederen. In de maand oktober is zij gastcolumnist op volkskrant.nl/opinie.
Columnisten hebben de vrijheid hun mening te geven en hoeven zich niet te houden aan de journalistieke regels voor objectiviteit Lees hier meer over ons beleid.
Eerdere bijdragen in deze discussie vindt u onder aan dit artikel.
In 2020, toen door covid-19 velen op afstand gingen werken en studeren, kocht de Vrije Universiteit software die ‘Proctorio’ heet, met de bedoeling deze te gebruiken om ‘examenfraude’ op te sporen. Deze software gebruikt gezichtsdetectiestechnologie om te controleren of een student tijdens het examen achter zijn of haar computer zit en berekent een ‘verdenkingsscore’ voor elke student, die aangeeft in welke mate de software denkt dat de student aan het spieken was.
Toen Robin Pocornie, een zwarte vrouw die aan de Vrije Universiteit studeert, thuis examens maakte, kon Proctorio haar gezicht niet vinden. Om ervoor te zorgen dat het systeem haar als mens kon herkennen, moest ze haar examens doen met een felle lamp die in haar gezicht scheen. Ze werd met vertraging toegelaten tot examens omdat het systeem haar niet kon zien en werd zelfs een keer uit een examen verwijderd.
Pocornie vocht terug en diende een klacht in bij het College voor de Rechten van de Mens, waarin ze uiteenzette hoe de VU haar discrimineerde op basis van ras door Proctorio te gebruiken om examens af te nemen. Ze eiste excuses en een toezegging van de universiteit dat deze niet opnieuw dergelijke discriminerende technologie zou gebruiken.
Eerder deze week wees het college de claim van Pocornie af, met een opmerkelijk staaltje van een doelredenering om geautomatiseerd structureel racisme te rechtvaardigen. Hoewel het college het mooi probeert aan te kleden, komt zijn beslissing erop neer dat ze weigeren discriminatie vast te stellen omdat ze meer ‘neutrale’ redenen hebben gevonden om het falen van de software te rechtvaardigen, in plaats van de geleefde ervaring te erkennen die Pocornie in haar klacht naar voren bracht. Dit houdt een dynamiek in stand waarbij individuele schadelijke ervaringen worden geminimaliseerd terwijl de invloed van systemisch racisme niet wordt erkend – een vorm van gaslighting die zwarte vrouwen maar al te goed kennen.
We weten dat gezichtsdetectie niet werkt voor mensen die niet voldoen aan de ‘wit, mannelijk en cis’-norm. Computerwetenschapper en digitaal activiste Joy Buolamwini was een van de eerste onderzoekers die het ernstige probleem signaleerde dat gezichtsherkenningstechnologie had met zwarte gezichten, en in het bijzonder met zwarte vrouwen: de computersoftware die de aanleiding vormde voor haar onderzoek herkende haar beter wanneer Buolamwini, die zwart is, een wit masker droeg dan wanneer ze zonder masker verscheen. Vorige week nog bleek uit onderzoek van RTL Nieuws dat de software van Proctorio ook niet in staat was om zwarte gezichten goed te herkennen.
Zelfs als we de vraag buiten beschouwing laten waarom een universiteit zo nalatig zou willen zijn in de zorgplicht voor haar studenten, roept de zaak belangrijke vragen op over hoe Nederlandse instellingen omgaan met klachten over racisme en wiens perspectief voorrang krijgt als die klachten worden onderzocht. Zowel de Vrije Universiteit als het College voor de Rechten van de Mens besloten om de onbetrouwbare uitspraken van een commercieel techbedrijf dat een product verkoopt waarvan bekend is dat het racistisch is, serieuzer te nemen dan de ervaringen van een zwarte vrouw, terwijl bekend is dat juist deze technologie zwarte vrouwen benadeelt.
In plaats van Pocornie’s zaak aan te grijpen als een kans om te bevestigen dat grote, machtige instellingen zouden moeten afzien van systemen die de racistische machtsstructuren in onze samenleving verder verankeren en versterken, zag onze belangrijkste mensenrechteninstelling dit als een gelegenheid om zich te liëren aan Big Tech, en een gemakkelijke uitweg te bieden aan grote instellingen die de mogelijkheid, de middelen en de morele verplichting hebben om het beter te doen.
De omstandigheden die we creëren en systemen die we gebruiken om ‘eerlijk onderwijs en eerlijke beoordelingen’ te garanderen, mogen nooit ten koste gaan van zwarte vrouwen. Of van wie dan ook. Waarom zijn onze mensenrechteninstanties niet in staat om dit te begrijpen?
Wilt u reageren? Stuur dan een opiniebijdrage (max 700 woorden) naar opinie@volkskrant.nl of een brief (maximaal 200 woorden) naar brieven@volkskrant.nl
Source: Volkskrant