Weer pakte een algoritme voor fraudebestrijding discriminerend uit. Toch denkt directeur Jurriaan Parie van Algorithm Audit dat een waardevrije toepassing ervan mogelijk is.
In de zoektocht naar fraudeurs kan niet iedereen met een bijstandsuitkering, studiefinanciering of kinderopvangtoeslag gecontroleerd worden. Algoritmes bieden dan uitkomst: ze wijzen op basis van risicofactoren gebruikers aan die nader onderzocht moeten worden. Dit kan de fraudebestrijding effectiever maken.
Maar er kleven flinke nadelen aan deze methode. Zo bleek uit een publicatie van de NOS dat het algoritme, dat studiegeldverstrekker DUO gebruikte om fraude op te sporen, studenten met een migratieachtergrond werden benadeeld. Het was indirect discriminerend, oordeelde de stichting Algo- rithm Audit woensdag na onderzoek.
Het is niet voor het eerst dat algoritmes negatief in het nieuws komen. Daardoor rijst de vraag of het wel wenselijk is bij fraudeonderzoek te selecteren op bepaalde kenmerken. Directeur Jurriaan Parie van Algorithm Audit denkt van wel. Maar dan zijn er meer waarborgen nodig om ongewenste neveneffecten te voorkomen.
‘Een algoritme kan ook op een rechtvaardige manier worden toegepast’, beklemtoont Parie. ‘Niet het algoritme is de boeman, maar de manier waarop mensen het gebruiken. Bijvoorbeeld met hun selectie van risicocriteria, die groepen kunnen benadelen.’
Tijdens de coronatijd raakte wiskundige Parie in de ban van de toepassing van algoritmes. Het leidde ertoe dat hij een stichting oprichtte die gevraagd en ongevraagd advies geeft over een verantwoorde toepassing ervan, ‘zonder schadelijke bias’.
‘De rechter keurt het gebruik van algoritmes goed als met data kan worden onderbouwd dat met die selectie fraude effectiever kan worden bestreden, zonder benadeling van bepaalde groepen’, zegt Parie. ‘Het kabinet wil doorgaan met fraudebestrijding op grond van bepaalde risicofactoren. Binnen dat gegeven willen wij zo veel mogelijk waarborgen inbouwen.’
Hoe nodig dat is, blijkt uit het deze week gepubliceerde onderzoek dat Algorithm Audit uitvoerde op verzoek van en in samenwerking met DUO. Een jaar geleden meldden de NOS en onderzoeksplatform Investico dat uitwonende studenten met een migratieachtergrond opvallend vaak werden beschuldigd van fraude met studiefinanciering. De studiegeldverstrekker bleek sinds 2012 een algoritme te hanteren waarbij jongere studenten, die een mbo-opleiding volgen en dicht bij hun ouders wonen als risicovoller worden gezien. Relatief veel studenten met een migratieachtergrond bleken aan deze kenmerken te voldoen.
DUO heeft deze risicofactoren niet op basis van deugdelijk onderzoek opgesteld, maar op grond van ervaringen van medewerkers, concludeert de stichting Algorithm Audit nu. Ook heeft de studiegeldverstrekker nooit onderzocht of deze criteria nadelig uit zouden kunnen pakken voor bepaalde groepen. Er is bovendien geen bewijs dat opleidingsniveau en leeftijd samenhangen met de kans op fraude. Bij de selectie voor huisbezoeken kozen DUO-medewerkers bovendien relatief vaak voor studenten die dicht bij hun ouderlijk huis waren gaan wonen, bijvoorbeeld bij een familielid, waardoor deze groep buitenproportioneel vaak werd onderzocht – en dat betrof vaak studenten met een migratieachtergrond.
Zulke criteria, die voor sommige groepen nadelig kunnen uitwerken, zijn dus niet altijd zo duidelijk discriminerend als bij de toeslagenaffaire. Daarbij selecteerde de Belastingdienst onder meer op (dubbele) nationaliteit. Er zijn ook zogenoemde proxykenmerken, legt Parie uit, ogenschijnlijk neutrale gegevens waarin een bepaalde groep is oververtegenwoordigd: wie selecteert op bijvoorbeeld het hebben van een klantenkaart voor een damesmodezaak zal vooral vrouwen vinden, terwijl selectie op basis van geslacht niet mag. Of op basis van een postcode van een gebied waar veel mensen met een migratieachtergrond wonen. Iets dergelijks was het geval bij het algoritme van DUO.
Het gaat vaker mis. In 2020 verbood de rechter de overheid het gebruik van het algoritme SyRI (Systeem Risico Indicatie) om uitkeringsfraude mee op te sporen. Op basis van een lange reeks data over arbeid, inburgering, huisvesting en toeslagen selecteerde dit systeem huishoudens met een verhoogd risico op fraude. Dat bleken vooral bewoners van arme wijken, waardoor volgens de rechter ‘onbedoeld discriminerende effecten optreden’. Het roept de vraag op of een waardevrije toepassing van algoritmes überhaupt mogelijk is.
Volgens Parie is daarvoor een deugdelijke controle van de werkwijze essentieel. Uit het onderzoek naar DUO bleek dat de risicofactoren mede zijn opgesteld op grond van wat de medewerkers beschrijven als ‘gezond verstand’. ‘Als die criteria niet verder worden onderbouwd, dan dreigt vooringenomenheid, waarvan bepaalde groepen de dupe kunnen worden.’ DUO had onvoldoende aandacht voor de mogelijke neveneffecten, concluderen de onderzoekers. Bovendien is er dan het gevaar van het vergrootglaseffect: als bepaalde groepen vaker worden onderzocht, zul je er ook meer fraude aantreffen.
‘Het werd ons bijvoorbeeld niet duidelijk waarom inwoners van studentenhuizen afvielen bij de fraudeonderzoeken’, zegt Parie. ‘Ook is het onwenselijk om studenten van mbo’s vaker aan fraudeonderzoeken te onderwerpen dan universiteitsstudenten, terwijl daar geen statistisch bewijs voor is.’
Een adviescommissie met alle belanghebbenden zou kunnen bijdragen aan goede controle van het algoritme, denkt Parie. Bij DUO brengt hij daarvoor nu studenten en medewerkers van de studiegeldverstrekker samen. Die moeten gezamenlijk de lastige keuzes bespreken voor de risicocriteria. ‘Zo creëer je draagvlak onder de groepen die worden onderworpen aan controles’, zegt Parie. ‘Deze veel inclusievere en transparante werkwijze noemen we algoprudentie. Eigenlijk zou elke gebruiker van een algoritme zulke waarborgen moeten inbouwen.’
Over de auteur
Charlotte Huisman is verslaggever van de Volkskrant en schrijft onder meer over jeugdzorg en de nasleep van de toeslagenaffaire
Geselecteerd door de redactie
Source: Volkskrant