De Amerikaanse winkelketen Rite Aid mag vijf jaar lang geen gezichtsherkenning gebruiken, omdat de technologie mensen ten onrechte als winkeldief aanmerkte. Dat heeft de Amerikaanse toezichthouder FTC bepaald.
Rite Aid, een keten van ruim 2100 drogisterijen in de Verenigde Staten, heeft tussen 2012 en 2020 gebruik gebruik gemaakt van gezichtsherkenning om klanten te identificeren waarvan werd verondersteld dat ze “waarschijnlijk” winkeldiefstal zouden plegen. De winkelketen deed dit zonder toestemming van de klanten en identificeerde mensen – vooral vrouwen en klanten van zwarte, latino of Aziatische origine – bij talloze gelegenheden verkeerd. De database met zogenoemde ‘persons of interest’ bevatte tienduizenden foto’s van personen, vaak afkomstig van de beveiligingscamera’s in de winkels en de smartphones van medewerkers. De beelden waren echter van een lage kwaliteit. Daarnaast werden de beelden aangevuld met andere informatie, zoals namen en strafblad.
Het systeem genereerde duizenden valse meldingen. Medewerkers ondernamen actie op deze meldingen en volgden de als winkeldief aangemerkte klanten en fouilleerden hen. Ook kwam het voor dat het deze mensen verboden werd om aankopen te doen, dat ze verplicht werden de winkel te verlaten of werd de politie gebeld. Personeel beschuldigde deze klanten, soms in de aanwezigheid van hun vrienden en familie, van eerdere misdrijven.
Burgerrechtenorganisaties zoals Epic reageerden dat gezichtsherkenning in elke context schadelijk kan zijn, maar dat Rite Aid zelfs de meest elementaire voorzorgsmaatregelen niet nam. “Het resultaat was helaas voorspelbaar: duizenden verkeerde identificaties die onevenredig veel zwarte, Aziatische en Latino klanten troffen, waarvan sommige leidden tot vernederende fouilleringen en winkeluitzettingen.”
Volgens de FTC had Rite Aid geen maatregelen genomen om te voorkomen dat klanten ten onrechte werden beschuldigd. Daarom heeft de toezichthouder de keten nu een verbod opgelegd voor het gebruik van gezichtsherkenningssoftware voor een periode van vijf jaar. Daarnaast moet de drogisterijketen de verzamelde foto’s verwijderen, klanten informeren wanneer hun biometrische informatie in een database wordt opgeslagen, klachten van klanten onderzoeken en hierop reageren, een databeveiligingsprogramma implementeren, klanten informeren over gezichtsherkenning in de winkels en zich jaarlijks laten certificeren dat het aan de regels van de FTC voldoet.
Verschillende studies hebben al aangetoond dat gezichtsherkenning systematisch mensen van kleur routinematig verkeerd identificeert. In de afgelopen jaren zijn er in de VS zes gevallen bekend van zwarte mensen die ten onrechte zijn gearresteerd door gezichtsherkenning. Epic bestempelt de zaak tegen Rite Aid als eeen baanbrekende zaak, een grote stap voorwaarts voor privacy en burgerrechten, en hopelijk slechts het begin van een trend. Maar het is belangrijk om te weten dat Rite Aid niet de enige is. Bedrijven gebruiken routinematig onbewezen algoritmes en andere surveillancetools om consumenten te screenen, vaak in het geheim. De FTC treedt terecht op tegen deze praktijken en bedrijven zouden er goed aan doen om hier nota van te nemen. Algoritmische wetteloosheid is geen optie meer.”