Het algoritme van studiegeldverstrekker Duo én het handelen van zijn ambtenaren waren, indirect, discriminerender dan tot dusver is aangetoond. Studenten met een niet-westerse migratieachtergrond hadden een veel grotere kans te worden geprofileerd, blijkt uit nieuw onderzoek.
Door de risicofactoren die Duo hanteerde bij fraudeopsporing, ontstond een vliegwieleffect dat met name studenten met een niet-westerse migratieachtergrond raakte. Zo nam het algoritme factoren als opleidingsniveau en de afstand die een student van diens ouders woont mee in de risicoanalyse. Wie mbo-1 of mbo-2 deed of dichtbij de ouders woonde, zou sneller fraude plegen. Dit zijn factoren die bovenmatig veel voorkomen bij studenten met een niet-westerse migratieachtergrond.
Uit het nieuwe onderzoek is gebleken dat ambtenaren van Duo deze twee factoren ook nog eens gebruikten om in te schatten of er bij een student die was aangemerkt als ‘hoog risico’ reden was om over te gaan tot een huisbezoek. Zo kregen studenten met een niet-westerse migratieachtergrond zes keer meer kans bezocht te worden dan studenten zonder migratieachtergrond. Ook de kans dat dit onterecht gebeurde, was veel groter: drie keer zo vaak als bij studenten zonder migratieachtergrond.
Minister Robbert Dijkgraaf (Onderwijs, D66) bood vorig jaar maart al zijn excuses aan voor de discriminerende algoritmes van Duo. Die kwamen na een onthulling daarover van journalistiek platform Investico en een onderzoek van PricewaterhouseCoopers (PwC) in opdracht van de minister.
Duo wilde meer weten over de gemaakte fouten en deed met Stichting Algorithm Audit een nieuw onderzoek, dat minister Dijkgraaf woensdag naar de Kamer stuurt. Waar het onderzoek van PwC enkel vaststelde dat er sprake was van indirecte discriminatie bij Duo, vroeg Algorithm Audit voor het nieuwe onderzoek de migratiekenmerken op van meer dan driehonderdduizend (oud-)studenten uit de afgelopen tien jaar. Op basis daarvan kreeg Duo een duidelijker beeld van het discriminatoire karakter van het fraudebeleid.
Het gaat om indirecte discriminatie: Duo, zijn werknemers de externe partijen die huisbezoeken uitvoerden hadden volgens het nieuwe onderzoek niet de intentie iemands afkomst zwaarder te laten meewegen, maar hun handelen had wel dat effect. Minister Dijkgraaf besloot vrijwel direct na het journalistieke onderzoek van Investico al te stoppen met de algoritmen. Het is nog niet duidelijk of Duo nu iets verandert aan de manier waarop ambtenaren te werk gaan.
Jurriaan Parie van Algorithm Audit noemt het ‘uniek’ dat Duo zo de onderste steen boven heeft willen krijgen over zijn eigen fraudebeleid en discriminerende algoritmes. ‘Dat hoeft Duo niet te doen. Wat mij betreft is dit een voorbeeld voor andere overheidsorganisaties.’
Geselecteerd door de redactie
Source: Volkskrant