De gevaren van algoritmen!

"The end justifies the means". Algoritmen worden tegenwoordig op allerlei plekken en verschillende manieren ingezet. In principe is een algoritme niets meer dan een reeks instructies die leidt tot een bepaald resultaat. Zo'n reeks instructies kan zowel worden gebruikt voor het uitvoeren van gezichtsherkenning door smartphones als voor het opsporen van illegale content op het internet. De inzet van algoritmen kan in bepaalde gevallen dus grote gevolgen hebben. Het is daarom dan ook dat met de komst van de AVG een verbod op geautomatiseerde besluitvorming is geïntroduceerd in artikel 22 AVG. De gevaren van algoritmen en het blind vertrouwen op de toepassing ervan kwamen duidelijk naar voren in onderstaande situatie, die zich onlangs voordeed in de Verenigde Staten.

Een vader heeft op verzoek van de huisarts een foto moeten maken van het ziekteverschijnsel van zijn peuter. Het ging in dit geval om een infectie bij het geslachtsdeel. De gemaakte foto werd automatisch opgeslagen in het google drive account van de vader, waarna de foto gedeeld kon worden met de huisarts. Hiermee lijkt de zaak afgedaan, maar ondertussen heeft zich achter de schermen een heel ander proces afgespeeld. Google maakt namelijk gebruik van algoritmen om google drive te scannen op beelden van seksueel misbruik. De foto in kwestie is als zodanig gemarkeerd, waarna google aangifte heeft gedaan bij de politie voor verder onderzoek. Negen maanden later ontving de vader een brief van de politie dat er naar aanleiding van de melding uitgebreid onderzoek is gedaan naar zijn zoekopdrachten op internet, locatie geschiedenis, berichten, en alle documenten, foto's en video's op zijn google drive. Op basis hiervan was de politie tot de conclusie gekomen dat er geen sprake was van kindermisbruik. Google had echter ondertussen het gehele account permanent verwijderd, inclusief alle data. [1]

Hoewel iedereen het doel van het onderzoek zal onderschrijven, zullen de meesten het er ook over eens zijn dat de middelen die gebruikt zijn niet de beste keuze zijn geweest. Het verdedigen van de ene waarde gaat op zo'n moment ten koste van andere waarden en het vinden van het equilibrium in een dergelijk geval is ontzettend lastig. Het is daarom dan ook van cruciaal belang dat bij het gebruik van algoritmen of elke andere vorm van automatische besluitvorming goed nagedacht wordt over de mogelijke gevolgen die dit met zich mee kan brengen. Hiertoe kan bijvoorbeeld een DPIA (data protection impact assessment) of AIIA (ai impact assessment) uitgevoerd worden. 

Bovenstaande roept logischerwijs de vraag op of een dergelijke situatie zich ook in Europa kan afspelen.

Er ligt op dit moment een voorstel voor de oprichting van een Europees centrum ter voorkoming en bestrijding van CSAM (child sexual abuse material). Aanbieders van hosting- en communicatiediensten krijgen daarmee de mogelijkheid dit soort materiaal in hun systemen te detecteren en verwijderen, en de autoriteiten te informeren. De European Data Protection Board en European Data Protection Supervisor hebben een gezamenlijk statement naar buiten gebracht over dit voorstel.[2]

Ze betuigen hun steun, maar uiten tegelijkertijd hun zorgen over de gevolgen voor de privacy van individuen. Het gebrek aan detail, duidelijkheid en precisie van de voorwaarden voor het uitvaardigen van een opsporingsbevel voor CSAM creëert  een risico, namelijk dat op grond hiervan algemene en willekeurige inhoud van vrijwel alle soorten elektronische communicatie gescand kan worden. Om situaties zoals in Amerika te voorkomen, is dus nog verdere verduidelijking nodig. Ook hier zal het lastig maar noodzakelijk zijn om een evenwicht te vinden tussen het gerechtvaardigde doel en de proportionaliteit van de middelen die daartoe worden ingezet.

Daniël Tjeerdsma
Adviseur L2P