Terugblik: CoP Digitale Innovaties - Hoe koop je verstandig algoritmische toepassingen in?

Community of Practice Digitale Innovaties

Digitale innovatie biedt in potentie waarde voor publieke organisaties. Het zijn innovaties waarbij digitale technologie een aanzienlijk aandeel heeft, een drijvende kracht is. Dat levert ook veel nieuwe inkoopvraagstukken op. De Community of Practice (CoP) is bedoeld voor innovatiemanagers, programmamanagers, met als centrale vraag: hoe regel je die inkoop? PIANOo organiseert de CoP in opdracht van het ministerie van BZK. De CoP komt bijeen in online sessies. Aansluiten kan nog steeds.

Overkoepelende wetgeving voor de toepassing van AI bestaat niet. Nog niet. De Europese Unie werkt aan de AI Act die naar verwachting in 2025 in werking treedt. Een eerste concept is al gepubliceerd en voor het eind van dit jaar verschijnt een tweede, aangescherpte versie. Al eerder, in 2018, besloot de gemeente Amsterdam zelf meer duidelijkheid te scheppen met eigen voorwaarden voor de inkoop van AI. Met een groep van experts werkte Naves aan het opstellen van die voorwaarden. “Ze zijn niet alleen belangrijk voor de inkoop”, zegt hij. “Maar ook voor het bestuurlijk beleid. Je laat daarmee zien dat je de rechtsbescherming van burgers serieus neemt.”

Definitie van AI

Want dat is de mythe die speelt rond AI: verzamelt ‘slimme software’ niet (onbedoeld) meer persoonsgegevens dan gewenst en neemt het geen automatische beslissingen die ondemocratische, discriminatoir of op een andere manier onwenselijk zijn? “Om hier de juiste inkoopvoorwaarden aan te koppelen, moeten we eerst weten wat we onder AI verstaan”, zegt Naves. “Het is een containerbegrip dat alle techniek omvat om een specifieke taak van mensen heel goed en snel te kunnen doen. Het verzamelt data uit de omgeving, verwerkt en analyseert die en maakt op grond daarvan een beslissing om een bepaalde actie te verrichten.”

Bestaande regelgeving

Een van de bijzonderheden is dat de werking van AI soms ondoorzichtig kan lijken, maar in veel gevallen is dat proces wel transparant te maken. “Het is niet altijd duidelijk op grond waarvan AI een bepaalde beslissing neemt. Ook zijn er data-issues: door fouten in de data of door een bias in het genereren van data kunnen onwenselijke beslissingen volgen.” Om die risico’s te beperken is vooral de EU bezig met regelgeving specifiek gericht op AI. Dit komt bovenop de bestaande wet- en regelgeving rond bijvoorbeeld mensenrechten, privacy en aansprakelijkheid.

“Ook de Nederlandse rechter roert zich. Zo heeft de hoogste bestuursrechter geoordeeld dat overheden informatie moeten verstrekken hoe een besluit tot stand is gekomen, zodat de burger reële rechtsbescherming kan worden geboden. Toen die informatie bijvoorbeeld niet kon worden verstrekt bij het inzetten van AI voor het bepalen van WOZ-waarden, zette de rechter een streep door deze toepassing.”

Risico’s AI volgens EU-verordening

“De nieuwe AI Act zal voor de inkoop van algoritmische toepassingen meer duidelijkheid geven”, zegt Naves. “De concept-verordening gaat uit van een risico gebaseerde aanpak. Hoe hoger het risico, hoe meer regels er gelden.” Het risico hangt af van het type AI en de situatie waarin het wordt gebruikt. Zo verbiedt de concept-verordening bepaalde manipulatieve AI-systemen en bepaalde AI-systemen voor biometrische identificatie en social scoring. AI-systemen met een hoog, specifiek en laag risico worden ook benoemd, inclusief de doeleinden en de verplichtingen van de leverancier (aanbieder) en opdrachtgever (gebruiker). “Vanwege het risico van de systemen in combinatie met het gebruik zul je bepaalde procedures moeten doorlopen om dat risico zo klein mogelijk te maken.”

AI Act in 2025?

De AI Act treedt waarschijnlijk pas in 2025 in werking. Toch drukt Naves aanbestedende diensten op het hart er nu al rekening mee te houden. “Want de AI-toepassing die je nu inkoopt, zal vermoedelijk aan de AI Act moeten voldoen. Vooral bij inkoop van AI met een hoog risico, moet je nu al met de leverancier de nodige afspraken maken. Denk aan zaken als risicobeheer, kwaliteitscriteria voor data en databeheer, transparantie en informatieverstrekking voor gebruikers en menselijk toezicht.”

Tips voor inkoop van algoritmische toepassingen

• Koop je systemen in waarin AI wordt toegepast? Houd dan nu alvast rekening met de aankomende AI Act.
• Wil je weten tot welke risicocategorie jouw ingekochte AI-systemen behoren? Raadpleeg de goed uitgewerkte bijlagen van de AI Act.
• Maak duidelijke contractuele afspraken met je leverancier over de procedures om risico’s conform de AI Act te verkleinen. Ook voor mogelijke situaties met een hoger risico.
• Regel het eigenaarschap van data goed. Want bij een nieuwe aanbesteding moet een nieuwe AI-leverancier daarvan gebruik kunnen maken.
• Niet alle aanbieders zullen voldoen aan de AI Act, wat een monopolistische markt en vendor lock-ins in de hand werkt. Overweeg daarom kritieke processen niet uit te besteden om zo’n lock-in te voorkomen.

De gemeente Amsterdam heeft een set aan inkoopvoorwaarden voor algoritmische toepassingen opgesteld. Deze is inclusief toelichting te vinden op de website van Amsterdam.