Terugblik: Leernetwerk AI Beeldherkenning- Borgen van kwaliteit

Het Leernetwerk AI Beeldherkenning organiseert in 2024 themasessies over de 4 thema’s uit de marktvisie. Deze sessie op 26 maart 2024 was de eerste van 4 sessies. Wil je op de hoogte gehouden van de activiteiten van het leernetwerk, schrijf je dan op de pagina Leernetwerk AI beeldherkenning.

Van belang bij borgen kwaliteit

Om kwaliteit van projecten met AI-beeldherkenningstechnologie te borgen, is het van belang om de levenscyclus van een algoritme te volgen. Ook het betrekken van gebruikers, het hanteren van open standaarden bij de ontwikkeling én het evalueren van de werking en uitkomsten zijn belangrijk om tot kwalitatieve uitkomsten te komen. 

Zelf ontwikkelen of hergebruiken?  

Een AI-systeem kan een oplossing zijn, maar dit hoeft niet. Voordat je een nieuw ontwikkeltraject opstart, maak je eerst een overweging: kan een AI-systeem of algoritme het probleem oplossen? Als dat voor jouw vraagstuk zinvol blijkt, kies dan of je een algoritme laat ontwikkelen of dat je een reeds bestaand algoritme gebruikt. 

Kijkje in een proeftuin

Hans Nouwens, projectmanager van Bredata, nam ons mee in een proeftuin van de gemeente Breda. Er wordt daar onder meer getest hoe je AI-beeldherkenningstechnologie op een drone kunt inzetten voor diverse handhavingsdoeleinden. Bedrijventerreinen kunnen zo veiliger en aantrekkelijker gemaakt worden. Uit het algoritmeregister bleek een soortgelijk algoritme al bij een andere gemeente te bestaan. De data, waarmee dit algoritme was getraind, was verkregen vanuit een scanauto. Toch bleek dit algoritme ook redelijk goed te functioneren bij het analyseren van beelden genomen vanaf een drone. De toepassing wordt verder getoetst en ontwikkeld, onder meer door het trainen met data vanuit de lucht. 

Samenwerken als sleutel tot succes

De marktvisie benadrukt het belang van het betrekken van gebruikers. In de praktijk wordt ook het betrekken van overige stakeholders als belangrijk ervaren. Zo betrok Bredata de bedrijven van het bedrijventerrein waar de proeftuin plaatsvindt. Zo creëer je meer draagvlak bij het inzetten van een drone en het vervaardigen en verwerken van de informatie. 

Wil je verschillende perspectieven op de data en werking van het algoritme krijgen? Ook daarvoor is het nuttig om stakeholders in een vroeg stadium te betrekken. 

Gemeente Amsterdam borgt kwaliteit met BaaS

Laurens Samson, lead van het Computer Vision team van, gemeente Amsterdam, legde uit hoe de gemeente kwaliteit waarborgt met behulp van beelden van de publieke ruimte. Blurring as a Service (BaaS) is een generieke dienst, ontwikkeld door de gemeente die met een algoritme personen en kentekens vervaagt/’blurt’. Hierdoor kan de dienst voor verschillende databronnen vrij gebruikt worden, want personen zijn onherkenbaar gemaakt. Niet alleen de gezichten worden ‘geblurt’, ook kleding(stijl) en houding.

Vooruitdenken bij het ontwikkelen

De eerder genoemde marktvisie richt zich op de levenscyclus van een algoritme. Om algoritmes op een verantwoorde manier te gebruiken, moet je op de juiste momenten aandacht besteden aan de juiste onderwerpen en risico's. Met de levenscyclus ontwikkel je een algoritme op een gestructureerde manier en zorg je voor de nodige prestatienormen en -vereisten. Zo houd je rekening met toezicht op en inzicht in de resultaten tijdens het gebruik van het algoritme, maar ook bij de uiteindelijke uitfasering. 

Samson benadrukte in zijn presentatie het belang om tijdens de ontwikkeling na te gaan of de oplossing met AI-beeldherkenningstechnologie aansluit op bestaande processen en systemen, zodat de AI-oplossing toepasbaar blijft en dus waarde toevoegt. Hij voegt eraan toe dat de robuustheid en schaalbaarheid van de oplossing ook invloed hebben op de bestaande infrastructuur. 

Controleren en evalueren 

Ook na de ingebruikname van de oplossing met AI-beeldherkenningstechnologie is controle op de werking belangrijk. Bij de ontwikkeling van BaaS is een feedbackloop ingericht. Hiermee kun je fouten corrigeren en indien nodig de oplossing verder ontwikkeleng. In de marktvisie wordt ook benadrukt dat de opdrachtgever zeggenschap moet behouden over de levenscyclus van de oplossing. Daarnaast worden de resultaten van de BaaS-oplossing continue gemonitord. Dit waarborgt inzicht in de werking, aangezien data-drift (het fenomeen waarbij de statistische eigenschappen van inputgegevens in de loop van de tijd veranderen) een bekend probleem is.

Verder is het belangrijk om de oplossing na de implementatie met nieuwe data te blijven trainen. Zo blijft deze up-to-date en voorkom je ‘bias’ (vertekening).

Tips 

• Vind het wiel niet opnieuw uit als dat niet nodig is: kijk of er al algoritmes bestaan met hetzelfde of soortgelijke doel, zodat je niet eenzelfde algoritme laat ontwikkelen. Zorg dat de oplossing goed aansluit bij bestaande processen en systemen.
• Betrek verschillende stakeholders in een vroeg stadium: bouw aan de relatie met opdrachtnemer(s), gebruikers en overige stakeholders. Het levert niet alleen verschillende perspectieven op maar ook draagvlak. 
• Begrijp wát je uitvraagt: bepaal hoe je het probleem benadert, welke data hiervoor nodig is en of deze data al bestaat. Kijk vervolgens tijdens de ontwikkeling welke resultaten deze data geven en bepaal of het daadwerkelijk meet wat je wilt meten. 
• Monitor wat er wordt gemeten: houd de uitkomsten bij en richt een feedbackloop in om te kunnen ingrijpen bij fouten door bijvoorbeeld data-drift. Door steekproeven en jaarlijkse evaluaties te houden borg je de werking én relevantie van het algoritme. 
• Denk na over de uitfasering: houd bij de ontwikkeling al rekening met de mogelijke uitfasering.