Meer dan 150 wetenschappers hebben een open brief ondertekend waarin ze hun zorgen uiten over een nieuw voorstel van de Europese Commissie. Dat zou techplatformen vragen om automatisch alle toestellen van gebruikers te scannen op onder meer kinderporno.
Aanleiding van de brief is een voorstel van de Europese Commissie om kinderporno of ‘Child Sexual Abuse Material’ (CSAM) tegen te gaan. De voorgestelde verordening bevat onder meer de eis dat diensten als WhatsApp hun berichten scannen op zoek naar verboden materiaal. Ook voorzien de nieuwe regels een kunstmatige intelligentie die automatisch nieuwe CSAM en zogeheten ‘groominggedrag’ moet detecteren. Volgens de wetenschappers zijn de regels echter niet haalbaar en hebben ze een belangrijke negatieve impact op cyberveiligheid. De wet gaat bovendien uit van scanningtechnologie die vandaag nog niet bestaat, die onveilig is vanuit een cybersecurity- en privacystandpunt en die de deur voor misbruik ervan open zet. Ze concluderen dat de voorgestelde verordening haar doel zeker niet zal bereiken, maar integendeel een wereldwijd precedent zal scheppen voor het filteren van het internet, het controleren wie toegang heeft tot het internet en het wegnemen van enkele van de weinige beschikbare instrumenten voor mensen om hun recht op een privéleven in de digitale ruimte te beschermen. Ze voorspellen daarom een afschrikwekkend effect op de samenleving en een negatief effect op democratieën over de hele wereld.
Carmela Troncoso (SPRING Lab) en Bart Preneel (COSIC) op de website van Euronews:
Eerst en vooral zijn seksueel misbruik en seksuele uitbuiting van kinderen zeer ernstige misdrijven die levenslange schade kunnen toebrengen aan de slachtoffers, terwijl de online verspreiding van materiaal voor seksueel misbruik van kinderen toeneemt.
Het is de verantwoordelijkheid van overheidsinstanties, met de steun van bedrijven en gemeenschappen, om effectieve maatregelen te nemen om deze misdrijven te voorkomen en snel te reageren wanneer ze zich voordoen.
Toch hebben wij als wetenschappers om verschillende redenen ernstige bedenkingen bij dit voorstel: het heeft grote technische gebreken die niet kunnen worden opgelost en het is zeer waarschijnlijk dat de technologie waarop het gebaseerd is, misbruikt zal worden.
In het algemeen zal het voorstel de online privacy en veiligheid van alle burgers (inclusief kinderen) schaden en het levert ernstige problemen op in termen van mensenrechtenschendingen.
De technologie staat nog niet ver genoeg
De voorgestelde verordening vereist dat dienstverleners gekende CSAM-inhoud detecteren. Het probleem is dat de onderliggende technologieën nog niet volwassen zijn en zeer indringend zijn; bovendien zien we geen realistisch pad om deze de komende decennia aanzienlijk te verbeteren. De Europese Commissie wijst op huidige benaderingen die moeilijk in te zetten zijn, waarvan bekend is dat ze gemakkelijk te omzeilen zijn en die niet kunnen worden opgeschaald naar de hoeveelheid berichten die zou moeten worden gescand als deze verordening wordt aangenomen. Bovendien zal de inzet van deze technologieën leiden tot enorme hoeveelheden valse positieven – in de orde van een miljoen berichten per dag. Dit betekent dat veel onschuldige burgers onderzocht zullen worden voor ernstige misdrijven, wat een traumatiserende ervaring kan zijn.
AI maakt fouten en dat kan onschuldigen schaden
Daarnaast verplicht het voorstel ook het gebruik van met machine learning voor de detectie van nieuwe CSAM-beelden en video’s en de detectie van kinderlokkerij via tekst of audio. Hoewel AI enorme vooruitgang heeft geboekt, zijn deze technologieën nog verre van perfect en zullen ze een groot aantal fouten genereren. We hebben vooral grote twijfels of AI in staat is om de specifieke sociale context en subtiele interacties te begrijpen. Denk aan de vader die de toegang tot zijn Google-account verloor omdat hij foto’s van zijn dochter naar een medische professional stuurde of de tiener die een foto naar zijn vriendje of vriendinnetje stuurt. Alarm slaan in deze gevallen kan een remmend effect hebben op het gebruik van online diensten.
Het voorstel kan het internet ook minder veilig maken
Het huidige voorstel is gericht op het opsporen van expliciet materiaal waarbij kinderen betrokken zijn. Maar als zo’n infrastructuur er eenmaal is, zal er waarschijnlijk function creep optreden: dezelfde oplossing kan worden toegepast voor het opsporen van rekrutering voor terrorisme, georganiseerde misdaad en minder ernstige misdrijven. Nog verontrustender is dat minder democratische regeringen het zullen gebruiken om automatisch inhoud te identificeren die kritisch is over het regime. De voorgestelde technologieën zijn noodzakelijkerwijs niet transparant en verbergen de inhoud waarnaar wordt gezocht; dit maakt het veel moeilijker om function creep en misbruik op te sporen.
Een groeiend aantal diensten heeft de bescherming van gebruikers verhoogd door end-to-end encryptie in te zetten. Dit bemoeilijkt het scannen naar CSAM-inhoud aan de serverzijde. De voorgestelde verordening is bedoeld om encryptietechnologieën te omzeilen door de inhoud op de apparaten van de gebruiker te scannen. Dit soort aanpak is vergelijkbaar met spyware: het creëert een ernstige kwetsbaarheid waardoor andere partijen gemakkelijker toegang kunnen krijgen tot dat apparaat. Ondanks de beweringen van de Europese Commissie lijdt het geen twijfel dat deze aanpak encryptie zal ondermijnen en de communicatie van iedereen minder veilig zal maken.
Mensen het recht ontnemen op een digitaal privéleven
Middelen kunnen beter besteed worden aan andere manieren om kinderen te beschermen tegen seksueel misbruik. Online diensten zouden het bijvoorbeeld veel makkelijker moeten maken voor gebruikers om te klagen over misbruik – het is bekend dat klachten in de praktijk een effectieve manier zijn om nieuw misbruikmateriaal op te sporen.
Concluderend kan worden gesteld dat de voorgestelde verordening haar doel zeker niet zal bereiken. Bovendien zou het een wereldwijd precedent scheppen voor het filteren van het internet, het controleren wie toegang heeft tot het internet en het wegnemen van enkele van de weinige beschikbare instrumenten voor mensen om hun recht op een privéleven in de digitale ruimte te beschermen. Dit zal een afschrikwekkend effect hebben op de samenleving en waarschijnlijk een negatief effect hebben op democratieën over de hele wereld.
Meer lezen
- Detecting child sexual abuse material shouldn’t be done at any cost / Euronews
- Wetenschappers roepen in open brief op tot bescherming end-to-end encryptie / datanews
- Stop Scanning Me / campagne