Valt jouw gemeente onder de ‘high-risk’ regels van de EU AI Act?

De korte-termijnconclusie is: Nee, een gemeente is geen high-risk AI system, maar Nederlandse gemeenten zullen onvermijdelijk gebruikers (en soms zelfs ontwikkelaars) zijn van AI-systemen die wél als ‘hoog-risico’ worden geclassificeerd. De impact van de AI Act op gemeenten zal hierdoor disproportioneel groot zijn in vergelijking met veel private organisaties, omdat hun kerntaken (juist) in de hoog-risico zones van de wet vallen.

1. Wat is hoog risico?

Een AI-systeem wordt als hoog-risico (HR) beschouwd als het:

1. Gebruikt wordt in een specifieke, gevoelige context zoals gedefinieerd in Annex III van de verordening.
2. EN het een significant risico vormt voor gezondheid, veiligheid of fundamentele rechten.

Het zijn de categorieën in Annex III die voor gemeenten cruciaal zijn. Als een systeem hieronder valt, gelden er strenge eisen op het gebied van datakwaliteit, transparantie, menselijk toezicht en cyberveiligheid.

2. De ‘Perfecte Storm’: Waar gemeentelijke taken en Annex III elkaar raken

Gemeentelijke portefeuilles bijna één-op-één mappen op de HR-categorieën. Een gemeente is de uitvoerder van de diensten die de EU wil beschermen.

• Domein: Sociaal Domein (WMO, Jeugdzorg, Participatiewet)
  • Annex III Categorie: Het krijgen van toegang tot en het daadwerkelijk gebruiken van essentiële particuliere en openbare diensten en voordelen.
  • Praktijkvoorbeeld: Een AI-systeem dat helpt bij het prioriteren van WMO-aanvragen, een algoritme dat ‘risicoscores’ berekent voor fraude in de bijstand, of software die de urgentie van jeugdhulp inschat.
  • Conclusie: Zodra AI meer doet dan ‘simpelweg sorteren’ en daadwerkelijk de beoordeling of toekenning beïnvloedt, is het hoog-risico.

• Domein: Openbare Orde en Veiligheid (OOV)
  • Annex III Categorie: Rechtshandhaving.
  • Praktijkvoorbeeld: ‘Slimme’ camera’s in de openbare ruimte die met AI afwijkend gedrag detecteren (crowd management), systemen die helpen bij het voorspellen van ‘hotspots’ voor overlast (predictive policing), of de analyse van bewijsmateriaal bij ondermijningszaken.
  • Conclusie: Hoewel de politie de eerste speler is, hebben gemeenten (en boa’s) hier een cruciale rol. Het gebruik van dergelijke systemen valt vrijwel zeker onder HR.

• Domein: Werk en Inkomen (Interne Organisatie & Dienstverlening)
  • Annex III Categorie: Werkgelegenheid, personeelsbeheer en toegang tot zelfstandig ondernemerschap.
  • Praktijkvoorbeeld: Een gemeente is een grote werkgever. Als de HR-afdeling een AI-tool gebruikt om sollicitatiebrieven te filteren, cv’s te rangschikken of prestaties van medewerkers te beoordelen, is dit een HR-systeem.

• Domein: Burgerzaken en Vergunningen
  • Annex III Categorie: Toegang tot openbare diensten (zie punt 1).
  • Praktijkvoorbeeld: Een AI die de verdeling van schaarse goederen, zoals sociale huurwoningen of parkeervergunningen, mede-bepaalt. Zodra er sprake is van profiling of een geautomatiseerde beslissing die de burger raakt, is het risico significant.

3. De Gemeente in de ‘AI Keten’: De Plichten van de ‘Gebruiker’

De AI Act maakt een scherp onderscheid tussen de ‘provider’ (de ontwikkelaar, zoals een softwarebedrijf) en de ‘deployer’ (de gebruiker, in dit geval de gemeente).

De provider moet zorgen voor de CE-markering en technische documentatie. Maar de gemeente, als ‘deployer’, heeft haar eigen, niet te onderschatten verantwoordelijkheden:

1. Menselijk Toezicht: De gemeente moet zorgen voor effectief menselijk toezicht. Een ambtenaar moet het systeem kunnen ‘overrulen’. De ‘computer zegt nee’-valkuil wordt wettelijk verboden.
2. Data-instructie: De gemeente is verantwoordelijk voor de data die zij in het systeem ‘voedt’. Als dit data van lage kwaliteit of vol vooroordelen (bias) is, is de gemeente aansprakelijk voor de output.
3. Transparantie & Uitlegbaarheid: De gemeente moet aan de burger kunnen uitleggen waarom een (door AI ondersteund) besluit is genomen.
4. Logboeken: De gemeente moet het gebruik van het systeem loggen om later verantwoording af te kunnen leggen.
5. Fundamental Rights Impact Assessment (FRIA): Voor overheidsinstanties die HR-systemen gebruiken, wordt een impactbeoordeling op de grondrechten verplicht. Dit is een zware, nieuwe eis bovenop de bestaande AVG-eisen (DPIA).

4. De Grijze Zone: Wanneer de Gemeente Zelf ‘Provider’ Wordt

Hier ligt een verborgen risico. Wat als het ‘data science team’ van de gemeente, of een samenwerkingsverband zoals de VNG, zelf een algoritme ontwikkelt en inzet?

• Dan wordt de gemeente zowel ‘deployer’ als ‘provider’.
• Dit betekent dat de gemeente zelf verantwoordelijk wordt voor het volledige CE-markeringsproces: de conformiteitsbeoordeling, de technische documentatie, de risico-assessments, etc. Dit zijn extreem zware verplichtingen die de meeste gemeentelijke organisaties nu niet kunnen dragen.

5. Conclusie voor de Praktijk

Voor Nederlandse gemeenten is de AI Act geen ‘ver-van-mijn-bed-show’. Het is een directe interventie in het hart van hun processen.

• Inventariseer nu: Gemeenten kunnen niet wachten. Ze moeten nu hun ‘algoritmeregister’ (indien aanwezig) toetsen aan Annex III. Welke systemen vallen (potentieel) in de HR-categorie?
• Wijs verantwoordelijkheid aan: Dit is geen IT-feestje. Dit is een juridische, ethische en bestuurlijke verantwoordelijkheid. De gemeentesecretaris en de portefeuillehouders moeten ‘aan boord’ zijn.
• Stel eisen aan inkoop: Bij elke nieuwe aanbesteding van software moet de AI Act op tafel liggen. Is het een HR-systeem? Hoe garandeert de leverancier (de ‘provider’) compliance, en welke plichten blijven er voor ons (de ‘deployer’) over?

De AI Act dwingt gemeenten om wat ze altijd al hadden moeten doen: kritisch kijken naar de impact van technologie op de rechten van hun bewoners. De vrijblijvendheid is voorbij.