Prof. mr. Janneke Gerards, Iris Muis, Julia Straatman, Arthur Vankan en Max Boiten.
Prof. mr. Janneke Gerards, Dr. Mirko Tobias Schäfer, Arthur Vankan en Iris Muis.
Het IAMA is ontwikkeld door Universiteit Utrecht in opdracht van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties.
Het Impact Assessment Mensenrechten en Algoritmes (‘IAMA’) is een instrument voor discussie en besluitvorming. Het instrument faciliteert een interdisciplinaire dialoog door degenen die betrokken zijn bij de ontwikkeling en/of inzet van een algoritmisch systeem. Het IAMA kan worden toegepast op AI-systemen, maar ook op algoritmische systemen die geen kunstmatige intelligentie bevatten. Omwille van de leesbaarheid wordt in het IAMA de term ‘algoritme’ gebruikt. Voor een verdere uitleg over deze definities kan het IAMA-toelichtingsdocument geraadpleegd worden.
Het IAMA stuurt het projectteam aan om een advies te formuleren over het al dan niet inzetten van een algoritme, en over de voorwaarden waaraan die inzet zou moeten voldoen. Het IAMA is gericht op het inschatten van de impact van het algoritme op grondrechten en biedt daarnaast ruimte voor het aan bod laten komen van andere relevante aandachtspunten rondom de inzet van het algoritme, in een vroegtijdig stadium en op een gestructureerde manier. Daardoor wordt tegengegaan dat al te snel een algoritme wordt ingezet terwijl de consequenties daarvan niet goed zijn bekeken, met de daarbij behorende risico’s, zoals die van onzorgvuldigheid, ineffectiviteit of inbreuk op grondrechten.
Als er tijdens het doorlopen van het IAMA onduidelijkheid bestaat over de vragen of de begrippen die daarin genoemd worden, biedt het IAMA-toelichtingsdocument extra houvast en verdieping.
Het huidige IAMA v2 is een actualisatie van de oorspronkelijke versie. Het is gestroomlijnd op basis van gebruikersfeedback en in lijn gebracht met de vereisten vanuit artikel 27 van de Europese AI-verordening. Eerder ingevulde IAMA’s (v1) hoeven niet herzien te worden.
- Het IAMA is een grondrechtenbeoordeling voor impactvolle algoritmes en hoog-risico AI-systemen. De Europese AI-verordening bepaalt welke AI-systemen als hoog-risico moeten worden geclassificeerd. Hiervoor gelden specifieke vereisten, waaronder een beoordeling van de gevolgen voor grondrechten (artikel 27 AI-verordening). Het IAMA is een instrument om invulling te geven aan een dergelijke grondrechtenbeoordeling. Bij de vragen in het IAMA die corresponderen met de verschillende vereisten uit artikel 27 van de AI-verordening is dat aangegeven door middel van een ‘art. 27 AI-verordening’-icoontje.
- Het IAMA is ook geschikt om een grondrechtenbeoordeling te geven bij impactvolle algoritmes die niet vallen in de categorie hoog-risico AI-systemen of die buiten het bereik van de AI-verordening vallen. Een impactvol algoritme is volgens de Handreiking Algoritmeregister een algoritme met directe rechtsgevolgen voor mensen of organisaties of een algoritme dat beïnvloedt hoe de overheid een persoon of groep categoriseert.
Bij de inzet van generatieve AI of General Purpose AI kan de uitvoering van het IAMA in de praktijk soms moeilijk blijken. Dit zijn AI-systemen waar bijna altijd gebruik wordt gemaakt van een voorgetraind model van een externe leverancier. Hierdoor is het doorgaans onmogelijk om te weten wat de trainingsdata zijn, hoe de trainingsprocedure is gelopen en welke bias er in het model zit. Ook is het van belang voor het doorlopen van het IAMA dat het AI-systeem dat getoetst wordt een heldere doelbinding heeft. Dit is doorgaans moeilijker met General Purpose AI. Het IAMA-toelichtingsdocument biedt extra handvatten voor de toepassing van het IAMA op generatieve AI en General Purpose AI.
De discussie over de verschillende vragen moet plaatsvinden in een breed samengesteld team waarin mensen met verschillende specialisaties en achtergronden zitting hebben. In het team moeten in elk geval de volgende functies betrokken worden:
- Projectleider
- Data scientist
- Jurist
Hoewel bovengenoemde functies de kern beslaan van het team, is het cruciaal dat er meerdere functies betrokken worden bij dit proces. Een interdisciplinair en breed team is het uitgangspunt. Voor houvast hierbij: zie de functietabel in het IAMA-toelichtingsdocument. Voor een soepel proces wordt aangeraden het IAMA in te vullen met een groep van 4–7 personen, die op locatie aanwezig zijn en het IAMA gezamenlijk bespreken onder leiding van een gespreksleider. Een jurist die uitzoekwerk kan doen op het gebied van grondrechten is voor deel 4 onmisbaar.
Voor het invullen van het IAMA, het ophalen van de benodigde informatie en reflectie op het waarom en hoe van de inzet van het algoritme, is tijd nodig. Wees op tijd met het inplannen van de sessies voor het IAMA en doe dit niet vlak voor een opleverdeadline. Het IAMA is geen afvinklijstje, maar een instrument voor dialoog, reflectie en besluitvorming.
Het wordt sterk aangeraden het proces in verschillende bijeenkomsten op te knippen, bijvoorbeeld een sessie van twee uur voor deel 1 en 2 en een sessie van twee uur voor deel 3 en subonderdeel 4.1. Voor subonderdeel 4.2 zal een jurist hoogstwaarschijnlijk uitzoekwerk moeten verrichten. Wanneer dat is gedaan, kan een laatste sessie worden gepland van een uur voor de resterende vragen van deel 4 en de afsluiting.
Het is de bedoeling om in teamverband de vragen door te nemen en de antwoorden in het IAMA-document vast te leggen. Per vraag moeten de antwoorden en de belangrijkste overwegingen en gemaakte keuzes worden vastgelegd. Als meer houvast of uitleg gewenst is bij een specifiek subonderdeel, kan het IAMA-toelichtingsdocument worden geraadpleegd.
Het IAMA stuurt het team aan om een advies te formuleren over het al dan niet inzetten van het algoritme, en over de voorwaarden waaraan inzet zou moeten voldoen. Dit advies kan ter goedkeuring worden voorgelegd aan de inhoudelijk of politiek verantwoordelijke(n). Deze verantwoordelijke dient eveneens te besluiten over acceptatie van eventuele restrisico’s. Het ingevulde IAMA kan dienen als naslagwerk en ter verantwoording van het besluitvormingsproces rondom de ontwikkeling en de implementatie van het algoritme.
Nadere toelichting op verscheidene aspecten uit het IAMA kan worden gevonden in het IAMA-toelichtingsdocument. Hierin wordt uitgebreide houvast gegeven voor de beantwoording van specifieke vragen, de werkwijze van het toepassen van het IAMA en de relatie met de AI-verordening.
Voor een overzicht van de belangrijkste wettelijke vereisten wordt verwezen naar de meest recente versie van het Algoritmekader van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Daarin staat ook een overzicht van aanbevolen hulpmiddelen, die tevens nuttig kunnen zijn voor het toepassen van het IAMA, te raadplegen via: https://minbzk.github.io/Algoritmekader/voldoen-aan-wetten-en-regels/hulpmiddelen/.
START
-
Waarom?
- Beoogde effecten (doel)
- Aanleiding
- Doelen, waarden, grondslag
- Bekijk deel 1: Waarom?
-
Wat?
- Algoritmes en data
- Randvoorwaarden
- Kwaliteit, accuraatheid, bias, dataminimalisatie
- Bekijk deel 2: Wat?
-
Hoe?
- Implementatie en gebruik algoritme (output)
- Randvoorwaarden
- Gebruikscontext, menselijke tussenkomst en toezicht, communicatie, impact
- Bekijk deel 3: Hoe?
-
Mensenrechten
- Nagestreefde doelen
- Aangetaste grondrechten
- Bekijk deel 4: Mensenrechten
-
Afsluiting
- Belangenafweging, advies, actiepunten en restrisico’s
- Bekijk deel 5: Afsluiting
Indien nodig toepassen:
- Mitigerende maatregelen
- Alternatieven
Daarna het proces nog eens doorlopen
FINISH
Wanneer alle vragen voldoende beantwoord zijn en de grondrechtenafweging positief uitvalt, is het IAMA succesvol afgerond.
In dit hoofdstuk komen de volgende onderdelen aan bod:
- 1.1 Aanleiding en doelstelling
- 1.2 Publieke waarden
- 1.3 Wettelijke grondslag
- 1.4 Verantwoordelijkheden
Deel 1 van het IAMA gaat over het ‘Waarom?’ van het voornemen om een algoritme in te gaan zetten. Wat zijn de aanleiding en de doelstelling van de inzet van het algoritme? Wat zijn de onderliggende waarden die geraakt worden door de inzet van het algoritme? En hoe worden de verantwoordelijkheden omtrent het algoritme ingeregeld? Deze overkoepelende vragen moeten in een besluitvormingsproces over de inzet van algoritmes als eerste worden behandeld, voordat wordt toegekomen aan technische vragen of mogelijke impact op grondrechten. Deze antwoorden zijn voor het beantwoorden van die specifiekere vragen namelijk steeds relevant.
1.1.1 Wat is de aanleiding geweest voor de ontwikkeling van het algoritme? Voor welk probleem moet het algoritme een oplossing bieden?
1.1.2 [art. 27 AI-verordening] Wat is het doel dat bereikt dient te worden met de inzet van het algoritme? Wat is hierbij het hoofddoel en wat zijn subdoelen?
Noteer maximaal 6 publieke waarden per vraag. Bij de beantwoording van deze vragen kan het CODIO-waardenkader in de toelichting als houvast genomen worden.
1.2.1 Wat zijn de publieke waarden die mogelijk positief geraakt worden door de inzet van het algoritme?
1.2.2 Wat zijn de publieke waarden die mogelijk negatief geraakt worden door de inzet van het algoritme?
Zo ja, dan mag het algoritme niet worden gebruikt.
1.3.2 Wordt het algoritme gebruikt om een wettelijke taak uit te voeren? Zo ja, wat is de wettelijke grondslag?
NB: wanneer het algoritme slechts wordt gebruikt voor interne processen, is geen wettelijke grondslag vereist.
1.4.1 Welke partijen en/of functies zijn er bij het algoritme betrokken? Hoe zijn de verantwoordelijkheden belegd?
1.4.3 Is er een exitstrategie wanneer in de toekomst blijkt dat het algoritme niet meer gewenst of nodig is? Hoe ziet deze exitstrategie eruit?
In dit hoofdstuk komen de volgende onderdelen aan bod:
- 2.1 Type algoritme
- 2.2 Totstandkoming algoritme
- 2.3 Inzet algoritme
- 2.4 Kwaliteit en accuraatheid
- 2.5 Data governance en -beveiliging
In deel 2 wordt gekeken naar de gebruikte algoritmes en data: wat voor algoritme wordt er gebruikt? Hoe komt het tot stand? En is die toepassing eigenlijk wel goed genoeg?
Voordat er gestart wordt met de vragen, worden drie verduidelijkingspunten uitgelicht:
- Het IAMA spreekt van algoritmes, maar in de praktijk wordt ook over modellen gesproken. Een algoritme is een set van regels en instructies die een computer volgt om een taak uit te voeren. Dit kan een simpele set instructies zijn, maar ook gecompliceerd. Statistische modellen of machine learning modellen worden getraind op data. Modellen zijn ook algoritmes. In de vragen hier wordt de term ‘algoritme’ gebruikt waar het beide kan betreffen. Alleen bij vragen die uitsluitend gaan over zelflerende algoritmes wordt gesproken van een ‘model’. Zie Definities in het IAMA-Toelichtingsdocument voor een verheldering.
- In sommige toepassingen worden meerdere algoritmes gecombineerd. Doet u bijvoorbeeld een risicoscreening met meerdere indicatoren, dan kan het zo zijn dat bepaalde indicatoren door een losstaand algoritme tot stand komen. De vragen in deel 2 zijn geformuleerd om een dergelijk geval per algoritme los te bespreken. Wel wordt in dat geval aangeraden om te beginnen aan het eind van de keten, omdat die laatste stap direct raakt aan de beleidsdoelstelling. (NB: Bespreek het systeem in delen 1, 3 en 4 van het IAMA alsnog in samenhang en niet per algoritme). Zie Notitie meerdere algoritmes in het IAMA-toelichtingsdocument voor verdere tips over de aanpak van deel 2.
- Gebruikt uw toepassing generatieve AI of een Large Language Model? Dit maakt de vragen soms uitdagend. Lees eerst wat er in het IAMA-toelichtingsdocument staat over generatieve AI.
2.1.1 Wat voor type algoritme wordt ontwikkeld of gebruikt? Maak ten minste onderscheid tussen zelflerend en niet-zelflerend.
2.1.2 Welke alternatieven zijn er? Waarom is dit type algoritme het meest geschikt voor de geformuleerde doelstellingen (zie vraag 1.1.2)?
Hoe specifieker het antwoord hier is, hoe makkelijker het is om de hiernavolgende vragen te beantwoorden.
Binnen 2.2 maken de vragen onderscheid tussen niet-zelflerende algoritmes (2.2A) en zelflerende algoritmes zoals statistische modellen of modellen o.b.v. machine learning (2.2B). Als er enkel beslisregels in de getoetste toepassing worden ingezet, kan 2.2B worden overgeslagen. Wordt er alleen een model gebruikt, dan kan 2.2A worden overgeslagen.
Voor het beantwoorden van de vragen kan het nodig zijn om documentatie over het algoritme op te vragen bij de aanbieder/ontwikkelaar.
2.2A.3 Hoe wordt dataminimalisatie gewaarborgd? Zijn alle indicatoren nodig om tot een goed resultaat te komen?
2.2B.2 Zijn de kwaliteit en betrouwbaarheid van de trainings- en testdata voldoende voor de beoogde toepassing? Leg uit.
2.2B.3 Zijn de trainings- en testdata representatief voor de context waarin het algoritme ingezet gaat worden? Hoe verschillen de trainingsdata en testdata van de data die bij inzet als input dienen?
2.2B.4 Hoe wordt dataminimalisatie gewaarborgd? Zijn alle data nodig om tot een goed resultaat te komen?
Als het algoritme extern wordt ingekocht en de ontwikkelaar niet aanwezig is, raadpleeg dan de instructies voor gebruik voor het beantwoorden van de volgende vragen.
2.3.1 Wat voor type data gaan gebruikt worden als input voor het algoritme wanneer het in de praktijk wordt ingezet en uit welke bronnen zijn de data afkomstig?
2.3.2 Zijn de kwaliteit en betrouwbaarheid van de data die als input worden gebruikt voor het algoritme voldoende voor de beoogde toepassing? Leg uit.
2.3.3 Welke aannames en bias liggen besloten in de data die als input worden gebruikt voor het algoritme?
2.4.1 Hoe wordt de kwaliteit van het algoritme bepaald? Welke metric of metrics zijn leidend en waarom?
2.4.2 Wanneer is de kwaliteit goed genoeg? Welke beoordelingen op de metrics horen daarbij? Leg uit.
2.4.3 Tot welke ongewenste uitkomsten kunnen fouten van het algoritme leiden? Wat zijn de gevolgen van deze ongewenste uitkomsten?
In de toelichting worden voorbeelden gegeven van methoden om dit eenvoudig te analyseren.
2.5.1 Als het algoritme is ontwikkeld door een externe partij: zijn er heldere afspraken gemaakt over eigenaarschap en beheer van het algoritme? Wat zijn die afspraken?
2.5.2 Zijn de data voldoende beveiligd? Maak hierin onderscheid tussen de inputdata en de outputdata en leg uit.
2.5.3 Is er controle op de toegang tot de data? Maak hierin onderscheid tussen de inputdata en de outputdata en leg uit.
In dit hoofdstuk komen de volgende onderdelen aan bod:
- 3.1 Gebruikscontext
- 3.2 De rol van de medewerker
- 3.3 Communicatie
- 3.4 Monitoring en evaluatie
- 3.5 Impact op betrokkenen en maatschappij
Een algoritme als zodanig zorgt niet voor ongewenste effecten. Die worden altijd veroorzaakt door hoe het algoritme wordt ingezet, de context waarin het opereert en de beslissingen en maatregelen die worden gekoppeld aan de output van het algoritme. Deel 3 gaat dan ook over deze ‘Hoe?’ vraag: wat is de gebruikscontext van het algoritme? Wat is de rol van de medewerker? En wat is de impact van het algoritme op betrokkenen? Kortom: vragen over (de omgang met) de ‘output’ van het algoritme.
3.1.1 [art. 27 AI-verordening] Hoe ziet het proces eruit waar het algoritme een onderdeel van is? Wat gebeurt er met de uitkomsten van het algoritme en welke beslissingen worden daarop gebaseerd?
3.1.2 Tijd/periode: wanneer gaat het algoritme ingezet worden? Hoe lang is de periode dat het ingezet wordt?
3.1.4 Plaats: waar vindt inzet van het algoritme plaats? Is dat bijvoorbeeld in een bepaald geografisch gebied en/of bij een bepaalde groep personen of dossiers?
3.1.5 Levert de inzet van dit algoritme mogelijk (onbedoelde) neveneffecten op bij andere algoritmes of organisatorische processen? Is er voldoende rekening gehouden met die neveneffecten? Leg uit.
3.2.1 [art. 27 AI-verordening] Welke rol spelen medewerkers in het proces waar het algoritme een onderdeel van is (‘menselijke tussenkomst’)?
3.2.2 [art. 27 AI-verordening] Is het mogelijk voor de medewerker om af te wijken van de uitkomst van het algoritme (indien nodig)? Leg uit.
3.2.3 Zijn de betrokken medewerkers voldoende AI-geletterd om met het algoritme om te gaan? Hebben medewerkers nieuwe kennis en vaardigheden nodig en hoe wordt gezorgd dat ze die krijgen?
3.2.4 Vormt de inzet van het algoritme een risico voor de huidige kennis en kunde van de medewerker? Leg uit.
3.3.1 Op welke manier gaat er binnen de organisatie gecommuniceerd worden over de inzet van het algoritme?
3.4.1 [art. 27 AI-verordening] Hoe wordt de inzet van het algoritme gemonitord gedurende de levenscyclus? Wat zijn de mogelijkheden voor bijsturing als blijkt dat de geïdentificeerde risico’s zich daadwerkelijk manifesteren?
3.4.2 [art. 27 AI-verordening] Kunnen medewerkers op een laagdrempelige manier melding maken wanneer iets niet in orde lijkt te zijn rond het algoritme en hoe worden deze mensen dan gehoord? Leg uit.
3.4.3 Kunnen betrokkenen op een laagdrempelige manier melding maken wanneer iets niet in orde lijkt te zijn rond het algoritme en hoe worden deze mensen dan gehoord? Leg uit.
3.4.4 Bestaat er een risico dat het algoritme wordt ingezet voor andere doeleinden dan waar het oorspronkelijk voor is bedoeld (‘function creep’)? Zo ja, hoe wordt dit risico gemitigeerd?
3.4.5 Wanneer is de inzet van het algoritme een succes? Op basis waarvan wordt dit bepaald? Op welk(e) moment(en) wordt dit bepaald?
Refereer bij de beantwoording van dit deel naar je antwoorden bij 1.2 (publieke waarden).
3.5.1 [art. 27 AI-verordening] Welke mensen en/of groepen worden mogelijk geraakt door de inzet van het algoritme?
3.5.2 [art. 27 AI-verordening] Welke risico’s of nadelige effecten introduceert de inzet van het algoritme voor deze mensen en/of groepen? Let ook op de geraakte publieke waarden (1.2.1).
3.5.3 Welke positieve effecten introduceert de inzet van het algoritme voor deze mensen en/of groepen? Let ook op de gediende publieke waarden (1.2.2).
3.5.6 Zou de inzet van dit (soort) algoritme(s) kunnen leiden tot ongewenste maatschappelijke effecten? Hoe acceptabel zijn deze ongewenste effecten? Leg uit.
Bijvoorbeeld: afhankelijkheid van technologie, erosie van vertrouwen in (publieke) instellingen, veranderingen in maatschappelijke normen, overmatige simplificatie van de werkelijkheid, negatieve impact op het milieu, etc.
3.5.7 Zijn er zorgen over dit algoritme die tot dusver niet (genoeg) aan bod zijn gekomen? Zo ja, wat zijn deze zorgen en hoe kunnen deze weggenomen worden?
In dit hoofdstuk komen de volgende onderdelen aan bod:
- 4.1 Toepasselijke grondrechten
- 4.2 Specifieke wetgeving
- 4.3 Ernst van de inbreuk
- 4.4 Doeltreffendheid/effectiviteit/geschiktheid
- 4.5 Noodzakelijkheid/subsidiariteit
Grondrechten of mensenrechten zijn van bijzonder groot belang in een democratische rechtsstaat. Het zijn rechten die uitdrukking geven aan fundamentele waarden, zoals persoonlijke autonomie, vrijheid, menselijke waardigheid, gelijkwaardigheid, eerlijkheid (ook als het gaat om procedures) en democratie. We spreken meestal over mensenrechten als het gaat om rechten die echt alleen aan mensen toekomen of die alleen voor mensen nut hebben. Voorbeelden zijn het recht op leven en het verbod van onmenselijke of vernederende behandeling, maar ook het recht op bescherming van persoonsgegevens. Rechtspersonen, zoals ondernemingen, verenigingen of stichtingen, kunnen op die rechten geen beroep doen. Toch kunnen sommige belangrijke rechten ook voor rechtspersonen van belang zijn, ook al zijn zij dan geen ‘mensen’. Denk bijvoorbeeld aan procedurele rechten, het recht op goed bestuur, het gelijkheidsbeginsel of het eigendomsrecht. Om die reden wordt in Nederland en ook in het EU-recht bij voorkeur gesproken van grondrechten of fundamentele rechten.
Omdat algoritmes niet alleen impact kunnen hebben op mensen (natuurlijke personen), maar ook op rechtspersonen en soms zelfs op overheden, gebruiken wij hierna de bredere koepelterm grondrechten. Daartoe kunnen dus ook alle mensenrechten worden gerekend. Het IAMA (impact assessment voor mensenrechten en algoritmes) is dus eigenlijk een IAGA (impact assessment voor grondrechten en algoritmes).
Het vierde deel van dit IAMA heeft een tweeledig doel:
- Het IAMA dient als hulpmiddel om te identificeren of het in te zetten algoritme positieve of negatieve impact zal hebben op bepaalde (aspecten van) grondrechten;
- Als er uiteindelijk een negatieve impact blijkt te zijn op grondrechten, dan maakt het IAMA een gestructureerde discussie mogelijk over de vraag of er redenen zijn waarom deze impact toch aanvaardbaar kan worden gevonden.
De vragen uit subonderdelen 4.1, 4.2 en 4.6 zijn in de praktijk het belangrijkste. Vraag 4.1.1 is een brainstormvraag en kan met het hele team worden beantwoord. Subonderdeel 4.2 bevat uitzoekvragen, die het nodige juridische voorwerk vereisen.
De vragen uit subonderdelen 4.3–4.5 komen alleen aan bod als uit het uitzoekwerk en de antwoorden op de vragen uit subonderdeel 4.2 blijkt dat dat nodig is. Alleen in dat geval is er namelijk een negatieve impact zichtbaar op grondrechten, maar biedt specifieke wetgeving of rechtspraak geen (volledig of bevredigend) antwoord op de vraag of het algoritme een gerechtvaardigde inbreuk maakt op grondrechten. Zorg er wel voor dat u, voor zover relevant, noteert welke maatregelen u van plan bent te treffen om de negatieve impact op grondrechten te mitigeren. [art. 27 AI-verordening]
Juristen kan opvallen dat in dit IAMA-deel de stap van een wettelijke grondslag voor een grondrechteninbreuk ontbreekt. Die stap is in deel 1 al expliciet aan bod gekomen, namelijk bij vraag 1.3.2. Het nogmaals opnemen van deze stap in het stappenplan zou onnodige herhaling opleveren. Ook de klassieke proportionaliteitsstap van het maken van een belangenafweging lijkt misschien te ontbreken. In dit IAMA is die onderdeel van de afsluitende, concluderende vragen.
4.1.1 Brainstorm: welke grondrechten en aspecten van grondrechten kunnen potentieel door het algoritme worden aangetast (negatieve impact) of juist beschermd (positieve impact)?
Zie de Grondrechtenclusters in het IAMA-toelichtingsdocument voor een overzicht van grondrechten en aspecten van grondrechten.
4.1.2 Verfijning: op welke (aspecten van) grondrechten zal het algoritme realistisch gezien écht impact hebben (negatief of positief)?
Zo ja, toets dan op een ander moment of is voldaan aan de eisen van hoofdstuk 2 van de AI-verordening. Maak hier eventueel een actiepunt van.
4.2.2 Maakt het algoritme gebruik van persoonsgegevens en is een DPIA verplicht? (Gebruik hiervoor bijvoorbeeld de pre-scan DPIA.)
Zo ja, voer dan een DPIA uit en maak bij het invullen daarvan gebruik van de antwoorden op de eerdere vragen uit het IAMA.
4.2.3 Levert het algoritme een (direct of indirect) onderscheid of potentieel discriminatoir profiel op dat binnen het toepassingsbereik van de gelijkebehandelingswetgeving valt (Algemene wet gelijke behandeling, Wet gelijke behandeling op grond van handicap en chronische ziekte, etc.)?
4.2.4 Zijn er andere specifieke wettelijke bepalingen van toepassing op de grondrechteninbreuk, zoals de Algemene wet bestuursrecht, strafprocesrecht, civiel procesrecht, DSA, DMA, IE-wetgeving, mediawetgeving, consumentenrecht, milieuwetgeving?
Zo ja, toets dan of het algoritme verenigbaar is met de specifiek toepasselijke wettelijke bepalingen. Het gaat dan bijvoorbeeld om de vraag of beperkingen van procedurele mogelijkheden toegelaten zijn door het toepasselijke procesrecht, of algemene beginselen van behoorlijk bestuur worden gerespecteerd, of verplichtingen dreigen te worden geschonden die voortvloeien uit Europese verordeningen en richtlijnen, etc. Maak hier eventueel een actiepunt van.
4.2.5 Is er specifieke nationale of Europese rechtspraak beschikbaar waarin concrete criteria en factoren worden aangereikt om de negatieve impact op het grondrecht te kunnen beoordelen?
Zo ja, pas dan primair deze concrete criteria en factoren toe. Is er geen concreet toetsingskader voorhanden, ga dan verder met de vragen uit subonderdelen 4.3–4.5.
NB: de vragen 4.3–4.5 hoeven alleen te worden beantwoord als en voor zover er negatieve impact is op grondrechten waarop geen specifieke wetgeving of rechtspraak van toepassing is, of als de toepassing van specifieke wetgeving of rechtspraak geen volledig of bevredigend antwoord heeft opgeleverd op de vraag of het algoritme een gerechtvaardigde inbreuk op grondrechten teweegbrengt. Als via de specifieke wetgeving voldoende duidelijkheid is komen te bestaan over de rechtvaardiging van de negatieve impact op grondrechten, kan het team doorgaan naar de laatste stap van het IAMA (‘Afsluiting’).
4.3.1 Hoe ‘belangrijk’ is het (aspect van het) grondrecht waarop het algoritme negatieve impact heeft? Leg uit of het gaat om een heel belangrijk (aspect van een) grondrecht, een niet zo belangrijk (aspect van een) grondrecht, of iets ertussenin.
Instructie: Inzicht in de ernst van de inbreuk is nodig om aan de slag te kunnen gaan met subonderdelen 4.4 en 4.5. Die vragen gaan over de vraag of het algoritme een geschikt en een noodzakelijk beleidsinstrument is om de gestelde doelen te realiseren (proportionaliteit). Een instrument kan in de praktijk meer of minder doeltreffend zijn. Ook er zit ook nogal wat ruimte tussen een instrument dat ‘nuttig’ is en een instrument dat echt ‘onmisbaar’ is om bepaalde doelen te bereiken. Dit subonderdeel van deel 4 heeft als doel om te helpen om te bepalen hoe doeltreffend of noodzakelijk de inzet van een algoritme nu echt moet zijn. Bij heel ernstige grondrechteninbreuken zal een maatregel (zoals een algoritme) alleen proportioneel zijn als die naar verwachting heel effectief is en als ook echt geen andere maatregelen mogelijk zijn. Andersom is het bij lichtere inbreuken niet zo erg als het algoritme maar een kleine verbetering oplevert of als niet heel uitgebreid onderzoek is gedaan naar alternatieven.
Om hier iets over te zeggen is het nuttig om te kijken naar de wezenlijke grondslagen van het grondrecht, die iets zeggen over waarom het zo belangrijk is om het te beschermen. Bij die wezenlijke grondslagen kan worden gedacht aan persoonlijke autonomie, vrijheid, menselijke waardigheid, gelijkwaardigheid, democratie, rechtsstaat (een vollediger overzichtje is te vinden bij de Grondrechtenclusters in het IAMA-toelichtingsdocument). Sommige (aspecten van) grondrechten zijn heel nauw met zo’n grondslag verbonden (‘kernrechten’), andere staan er veel verder vandaan. Aan de hand van de ‘afstand’ tot de grondslag kun je bepalen hoe ‘belangrijk’ het toepasselijke aspect van het grondrecht is. Concreter gezegd: hoe belangrijk is wat er op het spel staat voor het realiseren van vrijheid, gelijkwaardigheid, persoonlijke autonomie etc.?
4.3.2 Hoe groot is de verwachte negatieve impact op het (aspect van het) grondrecht? Leg uit of het grondrecht heel vergaand wordt ingeperkt, of dat de invloed van het algoritme beperkt zal zijn.
Om deze vraag te kunnen beantwoorden, kan bijvoorbeeld worden ingeschat hoeveel er nog van het grondrecht overblijft als het beperkende algoritme is doorgevoerd. Wordt het bijvoorbeeld heel erg moeilijk of bijna onmogelijk om het grondrecht nog te benutten, of levert het algoritme blijvende schade op? In dat geval is de negatieve impact heel groot. Of blijft de verwachte invloed van het algoritme op het grondrecht beperkt, bijvoorbeeld omdat de output gemakkelijk kan worden gecorrigeerd?
4.3.3 Hoe ‘ernstig’ is de verwachte inbreuk op het grondrecht als de antwoorden op vragen 4.3.1 en 4.3.2 in onderlinge samenhang worden bekeken? Is de inbreuk te zien als ‘ernstig’, ‘medium’ of ‘licht’?
Een niet zo verstrekkende inbreuk op een minder belangrijk aspect van een grondrecht zal al snel gelden als een ‘lichte’ inbreuk, terwijl een heel vergaande inbreuk op een aspect dat dicht aanligt tegen de kern van het grondrecht juist heel ernstig is. Discussie is natuurlijk mogelijk als een lichte inbreuk wordt gemaakt op een heel belangrijk aspect van een grondrecht, of als een minder belangrijk aspect van een grondrecht juist wel heel vergaand wordt ingeperkt. In die gevallen zal de impact vaak als ‘medium’ kunnen worden aangemerkt.
4.4.1 Kijk nog een keer naar de doelen zoals die bij vraag 1.1.2 zijn geformuleerd. Gaat het algoritme vrijwel zeker de doelen bereiken, of is dit heel onduidelijk of onwaarschijnlijk?
- de verwachte doeltreffendheid/effectiviteit/geschiktheid, in samenhang met
- de ernst van de grondrechteninbreuk die het resultaat is van het algoritme (vraag 4.3.3)?
Zo ja, leg uit. Zo nee, stop dan met deel 4 van het IAMA en ga terug naar de tekentafel.
4.5.1 Zouden de bij vraag 1.1.2 geformuleerde doelen ook kunnen worden bereikt zonder inzet van het algoritme? Zijn er andere (beleids)instrumenten beschikbaar die ook bruikbaar zouden zijn en die de grondrechten minder vergaand aantasten (‘subsidiariteit’)?
4.5.2 Kunnen er aanpassingen worden gemaakt aan het algoritme (of de inbedding/toepassing ervan) waardoor de inbreuk op het grondrecht minder ernstig wordt? Zo ja, welke aanpassingen zijn dit?
4.5.3 Welke restrisico’s blijven er voor het grondrecht over als alle bij vraag 4.5.2 bedachte maatregelen doorgevoerd zijn?
- De noodzaak van de inzet van dit specifieke algoritme, de beschikbare alternatieven en de eventuele aanpassingen (vraag 4.5.1-4.5.4), in samenhang met
- De ernst van de grondrechteninbreuk die het resultaat is van het algoritme (vraag 4.3.3)?
Zo ja, leg uit. Zo nee, stop dan met deel 4 van het IAMA en ga terug naar de tekentafel.
Via het IAMA zijn heel veel verschillende aspecten van de besluitvorming rondom de inzet van een algoritme in kaart gebracht. Op dit punt in het IAMA is inzicht verkregen in de doelen en redenen van de inzet ervan, in de totstandkoming van het algoritme en de manier waarop implementatie en inzet vorm krijgen, en in de verenigbaarheid van het algoritme met grondrechten. Het is nu van belang om de verschillende draden samen te nemen en het algoritme te beoordelen in het licht van alle overwegingen die tot nu toe op papier zijn gezet. Dit betekent dat een belangenafweging moet worden gemaakt: wat weegt uiteindelijk het zwaarst: de belangen die zullen worden gediend met de inzet van het algoritme, of de maatschappelijke of individuele belangen (inclusief grondrechten) die erdoor dreigen te worden geschaad?
Een dergelijke belangenafweging kan nooit helemaal rationeel worden gemaakt, omdat het heel moeilijk is om objectief te bepalen hoe ‘zwaarwegend’ een belang is en hoe heel ongelijksoortige belangen als kostenbesparing, efficiëntie, privacy en milieu-impact met elkaar moeten worden vergeleken.
Om de afsluitende belangenafweging zo goed mogelijk te maken en te onderbouwen, is het goed om de in het IAMA geformuleerde doelstellingen en grondrechten te vertalen naar ‘belangen’ die tegen elkaar kunnen worden afgewogen. Denk daarbij aan het beeld van de ‘balans’, die naar de ene of de andere kant kan doorslaan, maar ook in evenwicht kan hangen. Het voordeel van deze benadering is dat veel verschillende belangen in de uiteindelijke afweging kunnen worden betrokken, zoals maatschappelijke belangen (bijvoorbeeld de verwachte milieu-impact), belangen van kosteneffectiviteit of organisatorische efficiëntie, grondrechtelijke belangen en individuele belangen die niet als grondrechten kunnen worden gekwalificeerd.
De volgende vragen helpen bij het goed afsluiten van het IAMA. Ze zijn erop gericht om (A) de betrokken belangen in beeld te brengen en (B) op basis van al het voorgaande een advies te geven of besluit te nemen over de inzet van het algoritme. In het algemeen zal het uiteindelijke besluit moeten worden genomen door een politiek of ambtelijk verantwoordelijke. Deze verantwoordelijke zal daarnaast moeten kijken naar (C) de eventuele restrisico’s die bij inzet van het algoritme blijven bestaan.