Wat als gezichtsherkenningstechnologie donkere mensen niet herkent?

Wat als de gezichtsherkenningstechnologie donkere mensen niet goed herkent? Geen probleem zou je denken, maar wel als deze ondertussen gecommercialiseerde software door de politie ingezet wordt om criminelen te identificeren. Een verkeerde match heeft verrregaande gevolgen voor de persoon in kwestie. En dat maakte Robert Williams aan den lijve mee. Toen de politie begin dit jaar zijn huis binnenviel tijdens het avondeten en hem voor zijn gezin arresteerde en meevoerde.

Dit artikel verscheen
oorspronkelijk bij
De Wereld Morgen

De meesten kennen algoritmes vooral via social media. Als je jouw Facebookoverzicht bekijkt, zie je maar een fractie van de posts van al je vrienden of pagina’s die je volgt. Dit komt omdat de algoritmes op je account getraind zijn om jouw voorkeuren bij te houden: de mensen die je het meest aanklikt, waarmee je chat, de berichten die je liket, … Op die manier weten de algoritmes perfect wat je al dan niet leuk vindt. Maar niet alleen op sociale media platformen maar in meer en meer aspecten van ons dagelijks leven worden algoritmes gebruikt. Gezichtsherkenningstechnologie is één van de vele algoritmes die in gecommercialiseerde vorm ingezet wordt.

Computerfoutje

Begin dit jaar werd Robert Williams een zwarte Amerikaanse man uit Detroit gearresteed voor zijn vrouw, dochter en de buren. Hij viel uit de lucht en wist helemaal niet waarvoor. Later bleek dat hij beschuldigd werd van een misdrijf op basis van camerabeelden en gezichtsherkenningsalgoritme die hem identificeerden als de persoon op de beelden. Toen de advocaat hem met die beelden confronteerde zag Williams meteen dat hij totaal niet op de man op de foto lijkt. En ook zijn advocaat en de politie moesten achteraf hetzelfde toegeven en lieten hem na 30 uur vrij met als uitleg, oh de computer heeft een foutje gemaakt.

Volgens MIT-onderzoekster in de computerwetenschappen Joy Buolamwini is dit niet zomaar een foutje in de gezichtsherkenningsalgoritme, maar gaat het om structureel maatschappelijk racisme dat ook ingebed is in onze algoritmes en digitale systemen. Williams is niet de enige zwarte persoon die dit meemaakte. Er zijn andere gedocumenteerde voorbeelden van zwarte en Aziatische mensen die verkeerdelijk beschuldigd werden van misdrijven op basis van gezichtsherkeningsalgoritme.

Wit masker

Tijdens haar doctoraatsstudie ondervond ze ook zelf hoe robotten met gezichtsherkenningstechnologie waarmee ze moest interageren voor de verschillende projecten,  waaraan ze werkte, haar gezicht niet konden herkennen. De computers konden haar enkel herkennen als ze een wit masker opzette. Wat ze ook deed om haar project tot een goed eind te brengen. Het onderwerp liet haar na haar doctoraat niet meer los en ze startte er onderzoeken rond.

Buolamwini publiceerde samen met Dr. Timnit Gebru in 2018 het onderzoek Gender Shades, waarin ze aantoonde hoe commerciële gezichtsherkenningstechnologie verkeert matchten naargelang geslacht en huidskleur. In een daaropvolgend onderzoek Actionable Auditing, die ze publiceerde in 2019 samen met Inioluwa Deborah Raji, onderzochten ze de gebruikte gezichtsanalysesystemen van IBM, Microsoft en Amazon. Daaruit bleek dat de systemen over het algemeen slecht scoorden bij donkere gezichten vergeleken met witte gezichten. En ze scoorden ook slechter bij vrouwelijke dan bij mannelijke gezichten. De slechtste score was bij donkere vrouwengezichten. Ze noemden het de racial bias. Op basis van haar bevindingen werd de documentaire “Coded Bias” gemaakt met voorbeelden uit o.a. Groot-Brittannië.

Hoe werkt nu zo’n algoritme? De programmeurs moeten het eerst trainen door het te voeden met verschillende soorten gezichten zodat die software nadien doorheeft wat een gezicht is en welke verschillende onderdelen een gezicht heeft. Volgens Buolamwinis analyse van deze technologie bleek dat 75 procent van het materiaal waarmee ze de software trainden, mannelijke gezichten waren en in 80 procent van de gevallen ging het om lichte gezichten. Dat noemt Buolamwini de alghoritmic bias.

In onze surveillance era waar op elke hoek van de straat camera’s staan en gezichten massaal registreert en in databases steekt, heeft een dergelijke fout een enorme impact. Joy Buolamwini voert al jaren campagne met haar non-profit organisatie Algorithmic Justice League om het gebruik van gezichtsherkenningssoftware bij politiediensten te verbieden.

Black mirror

Het bericht over de verkeerdelijke arrestatie van Williams verscheen in juni in de New York Times midden in de BLM-protesten. De democraten hebben alvast een wetsvoorstel ingediend om de inzet van deze software door politiediensten te verbieden. Amazon heeft promt een moratorium van een jaar ingesteld voor het gebruik van haar gezichtsherkenningstechnologie door politiediensten. En IMB kondigde aan dat ze zich helemaal terugrekt uit de business van gezichtsherkenningstechnologie.

Gezichtsherkenningstechnologie is maar een van de massa’s algoritmes die veel sectoren vandaag gebruiken om data te sorteren en beslissingen te nemen. Meer en meer worden deze algoritmes in de vorm van scoresystemen ingezet die een diepgaande impact kunnen hebben op ons leven, bijvoorbeeld de scores die je krijgt om recht te hebben op een hypotheeklening, toegang tot bepaalde opleidingen, aanvaard worden door bepaalde verzekeringen of persoonlijkheidstests voor bepaalde jobs etc …

Algoritmes zijn niet neutraal, het zijn opinies ingebed in codes, stelt Cathy O’Neil in haar boek Weapons of Math Destruction. Daar fileert ze de zogenaamde neutraliteit van codes waarop algoritmes gebouwd zijn aan de hand van voorbeelden. En ze toont de impact ervan op het dagelijks leven van gewone mensen. Achter deze algoritmes zitten mensen die deze creëren. We moeten ons de vraag stellen wie deze mensen zijn, met welke referentiekader en intentie ze de doelen van deze algoritmes bepalen en trainen.

De Black Mirror-maatschappij waar we geëvalueerd worden op basis van scoresystemen is dichterbij dan we denken. Algoritmes worden de nieuwe gatekeepers. De vraag is welke soort algoritmes we willen. Want ondanks de enorme impact ervan op ons leven, zijn er amper wettelijke kaders voor de inzet en gebruik van deze algoritmes.

Dit artikel verscheen oorspronkelijk bij De Wereld Morgen