MIT-forskare: Algoritmer diskriminerar svarta

Joy Buolamwini har studerat datavetenskap och teknik vid bland annat Oxford i Storbritannien. Nu doktorerar hon på det prestigefulla teknikuniversitetet MIT i Massachusetts, USA.

Hennes senaste studie – som är citerad i 140 artiklar i 35 länder – visar att algoritmer för ansiktsigenkänning främst är anpassade för ljushyade ansikten.

Joy Buolamwini

– Det reflekterar makten hos människor som formar ny teknologi och deras preferenser. Det kan också spegla deras fördomar, sa hon under sitt anförande på konferens Women in tech 2018 i Stockholm nyligen och fortsatte:

– En hudtyp kan inte kan representera hela mänskligheten. Vi måste tänka på total inkludering när vi utvecklar ny teknologi. Det finns en övervikt mot vit data, vilket är problematiskt eftersom den används för att träna algoritmer i maskininlärande system.

Idén till forskningen väcktes när Joy Buolamwini upptäckte att en vanlig webbkamera inte kunde identifiera hennes ansikte. Men när hon satte på sig en vit mask så hittades det direkt. 

Hon testade andra liknande lösningar från Google, Kairos IT, IBM, Microsoft och kinesiska Face++. Samtliga identifierade Joy Buolamwinis ansikte – men kategoriserade henne som en 22-årig man.

Det är exempel på vad Joy Buolamwini kallar för ”algoritmisk bias”. Systemen tränas i igenkänning genom att exponeras för stora mängder ansiktsbilder – som uppenbarligen inte är representativa för hela befolkningen. Och det kan få obehagliga konsekvenser.

En undersökning från Georgetown University från 2016 visar att hälften av USA:s befolkning, cirka 130 miljoner personer, lagras och är sökbara i ett nätverk tillhörande det amerikanska rättsväsendet. 

Medarbetare kan söka på ansikten för att exempelvis identifera potentiella brottslingar. Men systemets träffsäkerhet har inte granskats av någon oberoende expert. Liknande data används även i dataaggregerad marknadsföring, enligt Joy Buolamwini.

Hon bestämde sig därför för att undersöka vilka hudtyper och könstillhörigheter som lösningar för ansiktsigenkänning lättast identifierar.  Hon valde system från Microsoft, IBM och kinesiska Face++.

Resultat för Micorsoft. Foto: David Gustavson

Microsoft visade sig vara bäst i klassen, med en generell träffsäkerhet i ansiktsigenkänning på närmare 94 procent, följt av Face++, 90 procent, och IBM, 88 procent. 

Men alla var dåliga på att identifiera mörkhyade ansikten. Sämst var Face++ som bara klarade av hitta 77 procent av mörkhyade kvinnoansikten, följt av IBM (77,6 procent) och Microsoft (83 procent).

Det fanns också könsskillnader. Microsofts lösning identifierade över 90 procent av de ljushyade mans- och kvinnoansiktena och mörkhyade männen. Men bara 79 procent av de mörkhyade kvinnorna. Samma siffror för Face++ och IBM var ynka 65 procent.

Generellt var också felprocenten högst för svarta kvinnor, enligt Joy Buolamwini standardiserade metod för hudfärgsgradering. Felprocenten för svarta kvinnor låg på mellan 25-46 procent.

Resultat för IBM. Foto: David Gustavsson

Hon lät de undersökta bolagen att titta på resultaten och efterfrågade kommenterar.

– Jag hörde ingenting från Face++. Men bolaget uppger på sin hemsida att de inte ”ger några som helst garantier för att deras lösning fungerar”. Microsoft svarade att de vill bättre sig, medan IBM direkt gjorde slag i saken och replikerde mitt resultat internt. Utifrån min studie skapade de ett nytt ”dataset”, en ny API och redovisade, enligt egen utsago, sedan en tio procentig förbättring för mörkhyade kvinnoansikten.

Ändå var träffsäkerheten för den gruppen lägst på 96,5 procent, jämfört med 100 procent för till exempel ljushyade kvinnor.

– IBM:s respons visar ändå att kan man kan göra förbättringar och att felprocenten inte, som man ofta får höra, beror på att mörkhyade ansikten lider brist på kontrastverkan, varför de blir mer svårupptäckta. Det behövs också mycket större mångfald bland de som skapat aloritmer och datasystem.

Men det krävs också ökad mångfald bland utvecklarna. 

– Jag har noterat att de flesta programmerare i de undersökta företagen är ryssar, indier och kineser, men där finns till exempel inga svarta kvinnor.

Joy Buolamwini leder i dag därför en aktivistisk arbetsgrupp som kallas ”Algorithm justice league” (AJL). Gruppen ska sprida kunskap om diskriminerande algoritmer och utöva påtryckning på bland annat techföretag och stater att motverka det.

– Vi ska också utveckla en global standard för automatiserade algoritmer för ansiktsigenkänning, säger Joy Buolamwini.