Wat te denken van een trui of een t-shirt waarmee bewakingscamera’s in de war kan brengen? Ars Technica sprak met Tom Goldstein van de University of Maryland. Samen met zijn studenten onderzocht Goldman “adversarial attacks on state-of-the-art object detection frameworks.” Simpel gezegd bestudeerden ze de manier waarop algoritmen voor het detecteren van individuen bij camerabewaking gebruikt worden. Om die vervolgens te bedotten door de software te laten geloven dat de camera niet naar een mens maar naar iets anders aan het kijken is.
Ondertussen hebben Goldman en co er zelfs een kledinglijn van gemaakt, met prints die bewakingscamera’s in de war moeten brengen.
“The bright adversarial pattern, which a human viewer can darn-near see from space, renders the wearer invisible to the software looking at him. … Code does not “think” in terms of facial features, the way a human does, but it does look for and classify features in its own way. To foil it, the “cloaks” need to interfere with most or all of those priors. Simply obscuring some of them is not enough. Facial recognition systems used in China, for example, have been trained to identify people who are wearing medical masks while trying to prevent the spread of COVID-19 or other illnesses.”
“And of course, to make the task even more challenging, different object detection frameworks all use different mechanisms to detect people, Goldstein explained. “We have different cloaks that are designed for different kinds of detectors, and they transfer across detectors, and so a cloak designed for one detector might also work on another detector,” he said.”
Of het effectief werkt, is dus alles behalve zeker. Maar elk beetje verwarring van onze controlemaatschappij is natuurlijk mooi meegenomen.
- Ars Technica: Some shirts hide you from cameras—but will anyone wear them?
- Zuxuan Wu, Ser-Nam Lim, Larry Davis, Tom Goldstein: Making an Invisibility Cloak: Real World Adversarial Attacks on Object Detectors