In de nazomer van 2013 wacht Derya Selvi bij thuiskomst een vervelende verrassing. Eerder had ze op het gemeentehuis van Almere een bijstandsuitkering aangevraagd. Nu staan er twee mannen voor haar deur. Het zijn inspecteurs van de gemeente, die zeggen dat ze vanwege haar bijstandsaanvraag binnen willen kijken voor een controle.

Selvi laat de mannen binnen en voor ze het weet staan ze in haar slaapkamer de onderbroeken in haar la te tellen. Ze willen weten of er stiekem meer mensen op haar adres wonen. Voor haar voelt het als de zoveelste vernedering: Selvi is, door immense belastingschulden, achtereenvolgens al haar man, haar huis en haar baan kwijtgeraakt en kreeg vervolgens, telkens wanneer ze bij een overheidsinstantie voor hulp aanklopte, de deur in haar gezicht gesmeten. 

Selvi weet dan nog niet dat ze door de Belastingdienst als fraudeur op een zwarte lijst is gezet, in wat we nu kennen als de toeslagenaffaire, en dat het bezoek van de inspecteurs daardoor is getriggerd. Het stempel dat de Belastingdienst haar oplegde, werd automatisch door andere overheidssystemen overgenomen en ontnam Selvi zodoende elke kans op hulp. Het stigma achtervolgt haar tot op de dag van vandaag. Zuivering van haar naam is, ondanks de beloofde schone lei, nog altijd niet in zicht.

Digitalisering: een overheid uit balans 

De overheid maakt voor de uitvoering van haar publieke taken steeds vaker gebruik van geavanceerde datasystemen. En dat is nodig: een overheid met een sterk digitaal onderstel is essentieel om de maatschappij draaiende te houden. Het gebruik van innovatieve technieken zorgt ervoor dat de overheid aansluiting houdt met de wereld om zich heen en maakt efficiëntere besluitvorming, betere bereikbaarheid en uniforme dienstverlening mogelijk. 

Maar er zijn ook nadelen, zegt Reijer Passchier, docent staatsrecht aan de Universiteit Leiden en de Open Universiteit. Hij publiceerde recent een boek over de invloed van digitalisering op de rechtsstaat. Passchier: ‘Digitalisering maakt de overheid ondoorzichtig. Burgers, rechters en het parlement begrijpen vaak niet hoe de overheidssystemen werken. Het gevolg is dat met name de uitvoerende macht, die veruit de meeste technologie gebruikt, niet goed meer is te controleren. Hierdoor raakt de structuur van de rechtsstaat uit balans.’

SyRI werd in 2020 door de rechter verboden. Het was in strijd met de mensenrechten en ‘onvoldoende inzichtelijk en controleerbaar’

De oncontroleerbaarheid van het bestuur heeft volgens Passchier al tot serieuze schendingen van burgerrechten geleid. Hij wijst op het beruchte Systeem Risico Indicatie (SyRI). Dat systeem koppelde data van publieke instellingen aan elkaar, waarna die met algoritmes werden doorzocht om specifiek in achterstandswijken te speuren naar ‘verhoogd risico’ op misbruik van sociale voorzieningen. De mensen die uit het systeem kwamen rollen, werden vervolgens aan extra controles onderworpen. SyRI werd begin 2020 door de rechter verboden. Het systeem was volgens de rechtbank in strijd met de het Europees Verdrag voor de Rechten van de Mens en was ‘onvoldoende inzichtelijk en controleerbaar’. Betrokkenen wisten niet welke gegevens SyRI precies verwerkte, hoe of waarom het systeem dit deed en werden niet op de hoogte gesteld wanneer zij door het systeem als ‘risico’ waren aangemerkt.

De parallel met de toeslagenaffaire is evident. Daar bediende de Belastingdienst zich van gigantische hoeveelheden gekoppelde data die met behulp van met vooroordelen doorspekte algoritmes werden doorgeakkerd, op jacht naar ‘fraudeurs’. Begin dit jaar onthulde Trouw dat het Inlichtingenbureau er eenzelfde aanpak op nahoudt in zijn jacht op mogelijke bijstandsfraude. De Autoriteit Persoonsgegevens onderzoekt nu of ook deze overheidsinstelling onrechtmatig handelt jegens burgers.

De beschreven problemen laten een patroon zien: de wijze waarop de overheid haar digitale systemen heeft ingericht en toepast, brengt de rechten en vrijheden van burgers in gevaar. Dat patroon begint bij data.

‘Vernetwerking’ 

De overheid verzamelt op een gigantische schaal data van burgers. Praktisch alle niveaus van de overheid doen mee. Van landelijk tot lokaal, van defensie tot politie, van onderwijs tot gezondheidszorg, van instellingen als het UWV tot de Belastingdienst en de Rijksdienst Wegverkeer (RDW). Die verzamelwoede gaat gepaard met een ongekende koppeldrang, waarbij de data van al deze instellingen meer en meer aan elkaar worden geknoopt, vaak aan de hand van het burgerservicenummer (BSN). Hierdoor ontstaat een oceaan van data die voor steeds meer instanties beschikbaar is en in toenemende mate de grondslag voor hun handelen vormt.

Deze vernetwerking van de overheid maakt het overheidsapparaat efficiënter en zorgt voor uniforme bureaucratie. Dat laatste heeft volgens Passchier een belangrijke keerzijde: ‘Grootschalige gegevensuitwisseling maakt informatiestromen ondoorzichtig. Bestuursorganen nemen steeds vaker elkaars informatie over zonder dat zij zelf kunnen controleren of die eigenlijk wel klopt. Hierdoor ontstaan ketenbeslissingen die doorwerken in de hele organisatie. Als alles klopt is dat nuttig, maar als dat niet zo is, dan is het ontzettend moeilijk om dat nog te repareren.’

Computer says ‘no’ 

De toeslagenaffaire maakt pijnlijk duidelijk hoe ver de vernetwerking reikt en hoe ingrijpend de gevolgen kunnen zijn. Selvi kon door de onterechte stopzetting en terugvordering van haar kinderopvangtoeslag de dagopvang niet meer betalen. En omdat ze niet kon terugvallen op vrienden en familie, moest ze de zorg voor haar kinderen en haar werk combineren. Ze raakte haar baan kwijt. 

De belastingdienst had Selvi intussen als fraudeur ‘aangevinkt’. Die beslissing belandde door de vernetwerking ook bij het UWV, dat haar vervolgens niet wilde helpen. Selvi en haar man kregen financiële problemen en moesten hun huis verkopen – met een flinke restschuld. De geldzorgen dreven het echtpaar uit elkaar. Schuldhulpverlening kreeg Selvi niet: ‘Omdat de oorsprong van mijn belastingschuld te kwader trouw was,’ zegt ze tegen FTM: ‘Ik had immers fraude gepleegd.’ Toegang tot schuldsanering werd haar eveneens geweigerd. Nadat ze bijstand aanvroeg, kreeg ze de ondergoedtellers van de gemeente op haar dak, omdat die automatisch waren gewaarschuwd over Selvi’s status van ‘fraudeur’. Haar aanvraag voor bijstand werd daarna afgewezen.

De digitale systemen van de overheid grijpen in elkaar, waardoor een beslissing zich als een olievlek door de hele keten verspreidt

De gang van zaken laat zien hoe de digitale systemen van de overheid in elkaar grijpen en hoe een enkele beslissing zich als een olievlek door de hele keten verspreidt. Die beslissing bepaalt voortaan wie je voor de overheid bent. Selvi’s verhaal toont tegelijk aan hoe moeilijk het is om zo’n beslissing in dat systeem ongedaan te maken. Ondanks het vernietigende onderzoeksrapport van de commissie-Van Dam over de toeslagenaffaire (met de veelzeggende titel Ongekend Onrecht), de openlijke excuses van parlement en bewindslieden en het aftreden van het kabinet, is Selvi nog altijd niet verlost van haar stempel van fraudeur: ‘Ik word voor mijn werk gedetacheerd als ambtenaar van de burgerlijke stand. Daarom heb ik vaak een verklaring omtrent gedrag nodig. Een aanvraag duurt bij mijn collega’s een dag of twee, maar bij mij meer dan twee weken. Er wordt nog altijd aanvullend onderzoek naar mij uitgevoerd.’

‘Schone lei’ blijkt niet te realiseren

Om haar stempel definitief af te schudden, probeert Selvi nu met negen andere gedupeerden een nieuw burgerservicenummer af te dwingen. Advocaat en belastingkundige Khadija Bozia staat de groep bij: ‘De fraude-indicatie van deze mensen komt bij veel overheidsinstellingen terug. Die instellingen communiceren allemaal via het BSN. Daarom lijkt dit de beste mogelijkheid om een nieuwe fiscale identiteit creëren en van dit label verlost te raken. Een alternatieve manier om dat te bereiken is ons niet bekend en is ook niet aangeboden.’

De roep om een nieuwe start vond via Kamervragen van Helma Lodders (VVD) zijn weg naar staatssecretaris Alexandra van Huffelen (D66) van Financiën, Toeslagen en Douane. Op 9 februari 2021 antwoordde de staatssecretaris dat het vervangen van het BSN ‘sympathiek klinkt’, maar dat niet aannemelijk is dat dit ‘bijdraagt aan het maken van “schoon schip”.’ Om dat te bereiken is het ‘vooral van belang dat alle onjuiste informatie wordt verwijderd uit de administraties van overheidsorganisaties. Het wijzigen van het BSN zorgt niet dat “alle vinkjes” goed komen te staan.’

De overheid is niet in staat om na te gaan waar een onrechtmatige beslissing terecht komt, laat staan hoe die is te corrigeren

Van Huffelen zal niettemin, samen met staatssecretaris Raymond Knops (CDA) van Binnenlandse Zaken en Koninkrijksrelaties, de mogelijkheid van een nieuw BSN onderzoeken. Maar eerst moet volgens Van Huffelen worden onderzocht ‘in welke overheidsregistraties de gedupeerde ouders met onjuiste informatie staan geregistreerd en hoe deze onjuiste informatie zo snel mogelijk kan worden verwijderd’. 

Het is het probleem van gekoppelde systemen in een notendop. Evident onrechtmatige beslissingen worden automatisch binnen het overheidsapparaat rondgepompt, maar men is niet in staat na te gaan waar die beslissing vervolgens terecht komt, laat staan hoe die is te herstellen. Drie maanden na publicatie van het rapport Ongekend Onrecht over de toeslagenaffaire heeft de staatssecretaris nog geen idee of zij de beloofde ‘schone lei’ überhaupt kan realiseren.

‘Super SyRI’

De koppelwoede van de overheid neemt intussen alleen maar toe, getuige de Wet gegevensverwerking door samenwerkingsverbanden (WGS), die het publieke en private organisaties nog makkelijker moet maken om gegevens uit te wisselen. Volgens het collectief dat SyRI met succes aanvocht, gaat de WGS nog verder dan zijn voorganger. Ze doopten de wet daarom ‘Super SyRI’. Tijmen Wisman, voorzitter van het Platform Bescherming Burgerrechten, dat onderdeel is van dat collectief, stelde: ‘De uitspraak van de rechtbank over SyRI was een streep in het zand. Daar gaat men nu met een bulldozer overheen.’ Vice-voorzitter Kitty Jong van de FNV, eveneens onderdeel van het collectief, waarschuwt dat Super SyRI ‘leest als een blauwdruk’ voor meer toeslagenaffaires.

Pijnlijk is dat de WGS door de Tweede Kamer werd aangenomen op de dag dat het rapport van de commissie-Van Dam verscheen. Kamerlid Dilan Yeşilgöz-Zegerius (VVD) probeerde zelfs de voorwaarde van een rechtmatigheidstoets door een onafhankelijke commissie uit het wetsvoorstel te verwijderen. Zo’n toets zou maar lastig zijn. Nederlands grootste politieke partij lijkt niets van de toeslagenaffaire te hebben geleerd.

Vertrekkend Tweede Kamerlid Kees Verhoeven (D66): ‘Als de WGS wordt aangenomen, houd ik mijn hart vast. Deze wet is echt heel erg gevaarlijk.’ Dat de Eerste Kamer de behandeling van het wetsvoorstel heeft aangehouden, in afwachting van nader advies van de Raad van State en de Autoriteit Persoonsgegevens, stelt hem niet gerust: ‘Ik ben blij met de aanhouding, maar ik ben bezorgd dat het voorstel niet controversieel verklaard is door de Eerste Kamer. Ik vrees daarom dat het er toch doorheen glipt op basis van het stemgedrag van de partijen in de Tweede Kamer. Als deze wet erdoor komt, is dat ronduit beschamend.’

‘De burger staat niet centraal’

De overheid maakt voor de koppeling en verwerking van alle verzamelde data in toenemende mate gebruik van algoritmes. Algoritmes helpen de overheid om de oceaan aan data inzichtelijk te maken, daar voorspellingen aan te onttrekken en op basis daarvan besluiten te nemen. De overheid lijkt echter weinig van algoritmes te begrijpen.

In een rapport van 26 januari 2021 met de zouteloze titel Aandacht voor algoritmes bespreekt de Algemene Rekenkamer het gebruik van algoritmes binnen de rijksoverheid. De Rekenkamer schrijft dat centraal overzicht ontbreekt van de algoritmes die binnen de ministeries worden gebruikt, en dat die te weinig inzicht hebben in de risico’s ervan. Ook neemt de overheid volgens de Rekenkamer onvoldoende maatregelen om discriminatie en profilering via algoritmes te voorkomen en krijgen burgers onvoldoende zicht op de toepassing, werking en samenstelling ervan. Dat brengt de Rekenkamer tot de ontluisterende conclusie dat de burger niet ‘centraal staat’ bij het gebruik van algoritmes door de rijksoverheid. ‘Dat is hard,’ zegt Verhoeven. ‘In feite zeg je dan dat de overheid de burger sowieso niet centraal stelt.’

Algoritmes als ‘spiegel van de maatschappij’ 

Vaak wordt gedacht dat algoritmes objectief en puur ‘mechanisch’ beslissingen nemen, zonder ruimte voor interpretatie of context. Volgens Sennay Ghebreab moet dat beeld worden bijgesteld. Hij leidt de onderzoeksgroep Socially-Intelligent AI aan de Universiteit van Amsterdam en geeft leiding aan het Civic AI Lab, dat onderzoekt hoe kunstmatige intelligentie (AI) kan bijdragen aan kansengelijkheid: ‘Vaak zie je dat de verantwoordelijkheid voor de negatieve impact van technologie wordt neergelegd bij de techniek en niet bij de mensen zelf. Maar algoritmes en AI discrimineren niet uit zichzelf; dat leren ze van mensen. Ze zijn een reflectie van de noties die in de samenleving en bij hun ontwikkelaars bestaan.’ Bij de Belastingdienst heersten bijvoorbeeld discriminerende opvattingen over mensen met een dubbele nationaliteit, bij SyRI over mensen die in een ‘slechte wijk’ wonen en alleen daarom al aan vergaand onderzoek werden onderworpen.

Maar ook als algoritmes niet bewust zijn bezwaard met vooroordelen, zijn discriminatie en bias volgens Ghebreab lastig uit te sluiten, zeker wanneer ze worden losgelaten op grote, complexe datapakketten: ‘De moeilijkheid zit hem erin dat de samenleving continu verandert. Als je algoritmes ontwikkelt op basis van een dataset die niet meer representatief is, kan dat al schadelijk zijn. Ontwikkelaars houden zich onvoldoende bezig met de maatschappelijke consequenties van een algoritme. Juist daarom moet je continu blijven doorontwikkelen en bijschaven.’ Maar volgens de Rekenkamer gaat het ook daar mis bij de rijksoverheid, omdat er nauwelijks aandacht is voor lifecycle management. Dat leidt ertoe, zo schrijft de Rekenkamer, dat ‘het algoritme in de loop van de tijd bijvoorbeeld niet meer voldoet aan de veranderde ethische principes, wet- en regelgeving of gewoon technisch out-of-date is’.

Ghebreab is desondanks positief: ‘Algoritmes kunnen problemen als discriminatie en profilering juist kwantificeren en blootleggen, en dan kun je het aanpakken.’ Een algoritme ligt vast en kun je ontrafelen. Daardoor kun je een eventueel ingebakken vooroordeel objectief vaststellen. Dat kun je niet als het in het hoofd van een ambtenaar zit. Omgekeerd kun je algoritmes gebruiken om bestaande vooroordelen inzichtelijk te maken, zoals het stelselmatig afwijzen van leningen voor mensen uit overwegend zwarte wijken in de VS.

‘Algoritmes leggen niet alleen vooroordelen bloot, maar kunnen ook creatieve oplossingen bieden voor maatschappelijk vraagstukken. In de VS zijn ze daar al ver mee. Maar in Nederland worden AI en algoritmes vooral gebruikt om burgers te controleren of om efficiëntie te vergroten. Dat is een negatieve benadering waar je negatieve resultaten mee oogst, zoals het uitsluiten van mensen. Het uitgangspunt van de overheid zou moeten zijn om publieke waardes met behulp van AI te waarborgen of te versterken. De grote kans zit in de intentie van het gebruik. Daar valt heel veel te winnen.’

De Rekenkamer onderstreept intussen dat algoritmes een grote invloed hebben op het functioneren van de rijksoverheid en dat het gebruik ervan de komende jaren alleen maar zal toenemen, waarbij zij de taken van ambtenaren uiteindelijk (deels) overnemen.

De overheid zet daarbij in toenemende mate in op zelflerende algoritmes en AI. AI werd in het Strategisch Actieplan voor Artificiële Intelligentie (2019) al gebombardeerd tot een ‘sleuteltechnologie’ voor de toekomst, en de overheid heeft sindsdien niet stilgezeten. Zo meldde de NOS vorige maand dat meerdere Nederlandse gemeenten inmiddels ‘slimme algoritmes’ gebruiken, terwijl uit onderzoeken van het TNO en het CBS al bleek dat AI-technieken als machine learning en lerende algoritmes hun weg naar het publieke domein vinden.

‘Zolang de intentie is om mensen op te jagen in plaats van ze te beschermen, is dat een recept voor problemen’

Ook hier worden deze technologieën vooral ingezet in het kader van risico-inventarisaties, fraudebestrijding en profilering. Met de nieuwe WGS in het vooruitzicht geeft dit zelfs Ghebreab reden tot zorg: ‘Zolang de intentie is om mensen op te jagen in plaats van ze te beschermen, is dat een recept voor problemen. Met de inzet van zelflerende algoritmes zullen die explosief groeien. Als je het profileren van bepaalde groepen met een negatieve intentie uitvergroot, kun je er donder op zeggen dat er straks nieuwe lijken uit de kast komen rollen.’ 

Ook Passchier is niet gerust op de combinatie van complexere technologieën met complexere datasystemen: ‘De toenemende ondoorzichtigheid die zo ontstaat, maakt dat beslissingen en besluitvorming alleen maar moeilijker kunnen worden gecontroleerd door rechters en het parlement. Dat zet de rechtsstaat verder onder druk.’

‘Technology trap’ 

De risico’s ten spijt bevinden we ons inmiddels in een technology trap. Instanties als de Belastingdienst en de politie kunnen niet meer zonder big data en algoritmes functioneren. Tegelijkertijd moeten systeemfouten worden uitgebannen en voorkomen. Maar hoe? 

Critici zijn het erover eens dat de overheid transparanter moet worden over de data die zij verzamelt, hoe zij technologie inzet en hoe die werkt. Kamerlid Verhoeven pleit in dit verband al jaren voor een meldplicht voor ingrijpende algoritmes. Liefst wil hij daarvoor een openbaar register: ‘Het overzicht dat zo ontstaat, moet er voor zorgen dat er meer regie komt, plus een afweging van wat je wel en niet toestaat. Er moet daarnaast een algoritme-waakhond komen, zodat je ook achteraf voor meer grip zorgt. En misschien moet je afspreken dat je algoritmes in bepaalde domeinen niet toestaat.’

Ook Passchier pleit voor meer controle, vooral door het parlement. Een veelgehoord punt van kritiek is dat Tweede Kamerleden onvoldoende kaas hebben gegeten van het digitale domein. Dat wordt er niet beter op nu zowel Verhoeven als Kathalijne Buitenweg (GroenLinks) – die wel bekend zijn met het terrein – de Kamer binnenkort verlaten. Maar met alleen het opleiden van Kamerleden ben je er niet, zegt Passchier: ‘Het parlement is qua middelen niet veel verder dan een eeuw geleden. Het kan simpelweg onvoldoende tegenwicht bieden aan een almaar uitdijende en digitaliserende overheid. In Duitsland en de VS zijn er speciale technology assessment bureaus die parlementariërs adviseren en bijstaan bij hun controlerende en wetgevende taken. Dat soort middelen zijn hier ook nodig. De vaste digitale commissie die er nu moet komen is een stap in de goede richting, maar zet vooralsnog onvoldoende zoden aan de dijk.’

Ghebreab zet vooral in op participatie: ‘Voor de verre toekomst is het belangrijk om een open AI-systeem te ontwikkelen, waarbij co-creatie plaatsvindt en de burgers zelf een rol spelen in de ontwikkeling en bijsturing van technologie. Het gaat tenslotte om hen.’ Daarvoor is het volgens hem essentieel om AI en algoritmes op te nemen in het onderwijs: ‘De nieuwe generatie is straks aan zet. Daarom moeten we algoritmisch leren denken en handelen net zo belangrijk maken als lezen en schrijven.’

Vertrouwen

Maar de grootste uitdaging is wellicht dat de overheid het vertrouwen in haar handelen moet terugwinnen bij burgers als Selvi: ‘Ik ben, zonder dat ik het wist, op een zwarte lijst gezet en ik weet zeker dat er nog ergens vinkjes achter mijn naam aanstaan. Ik kan de Nederlandse overheid niet meer vertrouwen en dat is echt verschrikkelijk. Het voelt alsof mijn kinderen en ik niet meer veilig zijn in ons eigen huis. Dit past niet bij Nederland.’

De WGS vergroot de mogelijkheden om burgers te controleren, terwijl de controle op het handelen van de overheid zelf moeilijker wordt

Dat de Tweede Kamer het wetsontwerp voor de WGS aannam op dezelfde dag dat het rapport Ongekend Onrecht over de toeslagenaffaire werd gepresenteerd, onderstreept dat de volksvertegenwoordigers er bewust voor kiezen er een schep bovenop te doen. De WGS vergroot de mogelijkheden om burgers te controleren, terwijl de controle op het handelen van de overheid zelf moeilijker wordt. Dat laatste zit hem niet alleen in het gebruik van ondoorzichtige technologieën: ook de overheid zelf wordt minder transparant. Dat blijkt uit wijze waarop zij momenteel omgaat met Wob-verzoeken, de gebrekkige informatieverschaffing aan de Kamer en de omarming van de beruchte Rutte-doctrine om zoveel mogelijk zaken mondeling af te stemmen op ministeries.

De Tweede en de Eerste Kamer laten met de WGS zien dat zij, ondanks de toeslagenaffaire en ondanks de onwettige en zinloze inzet van SyRI – dat welgeteld nul fraudeurs ontmaskerde, maar wel de rechten van duizenden burgers schond – doorgaat op de ingeslagen weg. Een weg waarbij de overheid, buiten medeweten en zonder instemming van burgers en in strijd met hun rechten en vrijheden, stoïcijns doorgaat met het verzamelen, verwerken, opslaan en koppelen van hun gegevens, zonder dat waarborgen worden geboden over hoe die vervolgens worden gebruikt.

Dat past niet in een democratische rechtsstaat. Dat past niet bij Nederland.