Stop datagedreven profilering door de overheid vanwege discriminatie. Dat is de oproep van de Staatscommissie. Waarom is dat nodig?
‘We zien dat profilering en geautomatiseerde risicoselectie door overheidsorganisaties de afgelopen jaren zijn toegenomen, terwijl we meerdere voorbeelden hebben gezien waarin dit leidt tot discriminatie van grote groepen burgers, met ingrijpende schade voor mens en maatschappij. Toezichthouders als de Autoriteit Persoonsgegevens en het College voor de Rechten van de Mens hebben herhaaldelijk gewezen op onrechtmatige en discriminerende gegevensverwerking en op de toenemende complexiteit door algoritmes en AI. Toch gaat de overheid door met haar profileringspraktijken.

Als staatscommissie hebben wij onderzocht of datagedreven profilering past binnen een overheid die discriminatie wil voorkomen, en hebben we dit getoetst aan principes van de rechtsstaat, democratische legitimiteit, en goed bestuur. Onze conclusie is dat profilering een uitdijend en moeilijk te begrenzen fenomeen is, waarbij de overheid in de praktijk vaak pragmatisch handelt. Dat vinden wij onhoudbaar.’

Hoe heeft het zo ver kunnen komen?
‘Voor overheidsorganisaties is datagedreven profilering aantrekkelijk geworden, omdat het wordt gezien als een efficiënte vorm van handhaving: met weinig capaciteit toch veel overtreders vinden. Dat idee wordt versterkt door politieke druk om fraude aan te pakken en door de noodzaak om grote overheidssystemen en -processen, zoals het toeslagenstelsel, beheersbaar te houden. Er is een bredere overtuiging dat technologie en AI overheidsprocessen verbeteren. Dat techno-optimisme brengt echter risico’s met zich mee, zeker wanneer kritische reflectie ontbreekt.

Ook de maatschappelijke en politieke context is belangrijk. Er is al langere tijd sprake van een verhard klimaat rondom fraude en misbruik van sociale voorzieningen, mede gevoed door incidenten en media-aandacht, zoals bij de ‘Bulgarenfaude’ in 2013. Dit heeft geleid tot strengere controlepraktijken, waarbij de risico’s op discriminatie onvoldoende zijn onderkend.’

Waar gaat het in de praktijk mis? En kun je voorbeelden geven?
‘De gevolgen van datagedreven profilering zijn in de praktijk zeer groot gebleken. De toeslagenaffaire is het meest indringende voorbeeld. Hierbij werd discriminerend geprofileerd: onder meer op basis van (dubbele) nationaliteit werd bepaald wie als risicovol gold en intensief gecontroleerd werd. Ook bij de controle op de uitwonendenbeurs door DUO bleek dat studenten met een migratieachtergrond vaker werden geselecteerd voor controle. Zulke praktijken hebben grote impact op het leven van mensen – financieel, sociaal en psychologisch.

De voorbeelden zijn waarschijnlijk slechts het topje van de ijsberg. Veel profilering vindt plaats buiten het zicht van burgers, in systemen die voor hen niet transparant zijn. Transparantie over en registratie van deze systemen door de overheid blijft achter, waardoor onduidelijk is hoe vaak en op welke manier profilering wordt toegepast.’

Wat is het alternatief? Want de Nederlandse overheid zal zich willen blijven beschermen tegen misbruik, fraude, criminaliteit.
‘Een belangrijk punt hier is dat de effectiviteit van datagedreven profilering niet overtuigend is aangetoond. Bovendien wordt succes vaak te smal gedefinieerd, namelijk als het opsporen van meer fraudeurs, terwijl het ook zou moeten gaan om bredere maatschappelijke doelen zoals rechtvaardigheid, welzijn en vertrouwen in de overheid.

De staatscommissie pleit daarom voor het stopzetten van huidige toepassingen, maar wijst ook op alternatieven. Denk aan aselecte steekproeven of, waar mogelijk, volledige controles, gecombineerd met betere signalering en aanvullend onderzoek. Sterker nog, wetenschappelijk onderzoek onderstreept dat aselecte steekproeven net zo effectief, zo niet effectiever, zijn. Daarnaast zijn deze methoden transparanter, eerlijker en verkleinen het risico op discriminatie.

Tegelijk erkennen we dat dit ingrijpend is voor uitvoeringsorganisaties. Mocht de overheid in de toekomst de inzet van profilering toch noodzakelijk achten, dan moet zij vooraf aantonen dat deze inzet effectief is en geen discriminerende effecten heeft. Zonder principiële maatregelen blijft het risico op discriminatie en schade te groot.’