Inhoud
- De AI Beauty Bias
- De geslachtsbias in talen
- 2. Gender en leeftijdsdiscriminatie in banen
- Gezichtsherkenning mislukt
- Recidive Bias
Afhaal:
In de afgelopen jaren is AI steeds meer toegepast en toegepast op alles, van het beoordelen van schoonheid tot het beoordelen van het risico op recidive. Daarbij heeft het ook normen gehandhaafd die in verschillende gevallen vooringenomenheid en discriminatie ondersteunen.
De vooruitgang van technologie kan de toegang tot informatie en kansen echt democratiseren. Wanneer het in sommige gevallen echter wordt gebruikt op een manier die het idee versterkt dat sommige mensen in onze samenleving meer gelijk zijn dan anderen.
Dit is wat we hebben gezien in de volgende zeven gevallen waarin kunstmatige intelligentie (AI) opzettelijk wordt gebruikt om bepaalde categorieën uit te sluiten of waarin het eenvoudig de vooringenomenheid weerspiegelt die door menselijke programmeurs is ingebed met een discriminerend effect.
De AI Beauty Bias
Schoonheid kan in de ogen van de toeschouwer zijn, maar wanneer die subjectieve kijk AI kan programmeren, heb je vooringenomenheid in het programma. Rachel Thomas rapporteerde over een dergelijke aflevering in een schoonheidswedstrijd van beauty.ai in 2016. De resultaten toonden aan dat lichtere teint aantrekkelijker werd beoordeeld dan donkere.
Het volgende jaar, "FaceApp, dat neurale netwerken gebruikt om filters voor foto's te maken, creëerde een‘ hotness-filter ’dat de huid van mensen verlichtte en hen meer Europese functies gaf."
De geslachtsbias in talen
Thomas haalt ook een gedocumenteerd voorbeeld aan van vertalingen die stereotiepe verwachtingen van carrières overdragen. Het uitgangspunt is twee zinnen: "Ze is een arts. Hij is een verpleegster."
Als je ze vervolgens naar het Turks en terug in het Engels vertaalt, krijg je het soort resultaten dat je van een spelletje telefoon zou verwachten.
In plaats van te krijgen waar je mee begon, zou je de jaren 1950 soort verwachting krijgen: "Hij is een arts. Ze is een verpleegster." Ze legt uit dat dit komt door het genderneutrale enkelvoud voornaamwoord in de Turkse taal dat geslacht toewijst op basis van verwachtingen en stereotiepe vooringenomenheid. (Lees Women in AI: Seksisme en stereotypen versterken met technologie.)
Hoewel raciale en gendergerelateerde vooroordelen die in afbeeldingen en taal filteren oorzaak zijn van ergernis, zijn ze niet helemaal hetzelfde als actieve discriminatie als gevolg van AI, maar dat is ook gebeurd.
Het bewijs was een screenshot van de beperkingen voor een advertentie onder zijn woningcategorie die de mogelijkheid bood om het publiek te verkleinen door uitsluitingen van categorieën zoals Afro-Amerikaans, Aziatisch-Amerikaans of Hispanics af te vinken. De advertentie kan hier worden bekeken.
Zoals ProPublica opmerkt, is het discriminerende effect van dergelijke advertenties illegaal, zowel onder de Fair Housing Act van 1968 als de Civil Rights Act van 1964. De enige verdediging in dit geval was dat de advertentie niet bedoeld was voor huisvesting zelf, zoals het was ' t over een onroerend goed of huis te koop of te huur.
Er zijn echter andere gevallen van targeting geweest die duiden op raciale vooroordelen en die verschillende entiteiten hebben gemotiveerd om civielrechtelijke processen tegen het sociale netwerk in te stellen. Zoals Wired meldde, besloot hij eindelijk om zijn advertentietargetingtechnologie aan te passen als gevolg van een regeling van vijf juridische zaken die hem beschuldigden van het toestaan van discriminatie van minderheden door advertenties in maart 2019.
In haar rapport over de schikking wees de ACLU erop hoe verraderlijk dergelijke gerichte advertenties kunnen zijn, omdat minderheden en vrouwen zich misschien niet eens realiseren dat ze niet dezelfde toegang krijgen tot informatie, huisvesting en vacatures die worden gedeeld met blanke mannen.
Naarmate meer mensen internet zoeken om banen, appartementen en leningen te vinden, is er een reëel risico dat advertentietargeting de bestaande raciale en gendervooroordelen in de samenleving zal repliceren en zelfs verergeren. Stel je voor dat een werkgever ervoor kiest om advertenties voor engineeringtaken alleen aan mannen te tonen - niet alleen gebruikers die niet als mannen worden geïdentificeerd, zullen die advertenties nooit zien, ze zullen ook nooit weten wat ze hebben gemist.
We hebben tenslotte zelden een manier om de advertenties te identificeren die we niet online zien. Dat deze discriminatie onzichtbaar is voor de uitgesloten gebruiker, maakt het des te moeilijker om te stoppen.
2. Gender en leeftijdsdiscriminatie in banen
Onder de rechtszaken was de illegale discriminatie in woningen die gericht is. In haar rapport over de schikking zei ProPublica dat het het platform heeft getest en erin is geslaagd om “woninggerelateerde advertenties te kopen op die uitgesloten groepen zoals Afro-Amerikanen en Joden, en het vond eerder werkadvertenties exclusief gebruikers naar leeftijd en geslacht geplaatst door bedrijven dat zijn bekende namen. '
Een aantal vacature-advertenties van de ACLU die expliciet alleen gericht waren op mannen in een bepaalde leeftijdscategorie, zoals gebruikers konden vinden door op het antwoord te klikken waarom ze die bepaalde advertentie te zien kregen, stonden in een ander artikel in Wired. De ACLU heeft een aanklacht ingediend bij de Equal Employment Opportunity Commission tegen het sociale netwerk en de bedrijven die de advertenties hebben geplaatst op grond van het feit dat ze de arbeids- en burgerrechtenwetten overtreden.
Discriminatie tegen het aannemen van mensen ouder dan 40 is in strijd met de federale Age Discrimination in Employment Act (ADEA). Maar het richten van vacatures alleen op mensen jonger dan die leeftijd is een van de mogelijkheden van het platform.
ProPublica maakte dat de focus van een van zijn rapporten onthulde welke vacature-advertenties gebruik maakten van deze illegale vorm van uitsluiting naar leeftijd. De 'huishoudelijke namen' zijn onder andere Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fund For The Public Interest, Goldman Sach, OpenWorks en zichzelf.
Gezichtsherkenning mislukt
"Gezichtsherkenning is nauwkeurig, als u een blanke man bent" verklaarde de kop van een artikel in New York Times gepubliceerd in februari 2018. Het citeerde resultaten die een duidelijke correlatie vonden tussen huidskleur en foutieve identificatie:
"Hoe donkerder de huid, hoe meer fouten er ontstaan - tot bijna 35% voor afbeeldingen van vrouwen met een donkere huid, volgens een nieuwe studie die nieuwe wegen inslaat door te meten hoe de technologie werkt op mensen van verschillende rassen en geslachten."
De bevindingen worden gecrediteerd aan Joy Buolamwini, een onderzoeker bij het MIT Media Lab, en de oprichter van de Algorithmic Justice League (AJL). Haar onderzoeksgebied is de vooringenomenheid die ten grondslag ligt aan AI, wat resulteert in zulke scheve resultaten als het gaat om het herkennen van gezichten die niet voldoen aan de blanke mannelijke norm die voor het model is ingesteld.
Buolamwini presenteerde het probleem van raciale en gendervooroordelen voor gezichtsherkenning in een TED-talk 2017, waarnaar ze begin 2018 verwees in de video over het Gender Shades Project van het MIT Lab:
<
Uit de beschrijving van de video blijkt dat het verlaten van AI-vertekening 'de leeftijd van automatisering zal verlammen en ongelijkheid verder verergert als het wordt achtergelaten'. Het risico is niets minder dan "het verliezen van de winst gemaakt met de burgerrechtenbeweging en vrouwenbeweging onder de valse veronderstelling van machine-neutraliteit."
De videobeschrijving voegt de waarschuwing toe waar vele anderen op hebben gewezen, zoals we hebben gezien in Women in AI: Seksisme en stereotypen versterken met Tech: "Geautomatiseerde systemen zijn niet inherent neutraal. Ze weerspiegelen de prioriteiten, voorkeuren en vooroordelen - de gecodeerde blik - van degenen die de macht hebben om kunstmatige intelligentie te vormen. "
Op 25 januari 2019 publiceerde Buolamnwini een Medium-post die gebaseerd was op haar eigen onderzoek en dat van extra onderzoekers die erop wijzen hoe de AI-fouten leiden tot fouten in Amazon's Rekognition en eisten dat het bedrijf stopte met de verkoop van de AI-service aan politiediensten.
Hoewel Rekognition kon bogen op 100% nauwkeurigheid voor het herkennen van mannen met een lichte huid en 98,7% nauwkeurigheid, zelfs voor donkere mannen, daalde de nauwkeurigheid voor vrouwelijke vrouwen tot 92,9%. Nog opvallender was de scherpe daling tot slechts 68,6% nauwkeurigheid voor donkerdere vrouwen.
Maar Amazon weigerde toe te geven. Een Venture Beat-artikel citeerde een verklaring van Dr. Matt Wood, algemeen manager van deep learning en AI bij AWS, waarin hij erop stond dat de bevindingen van de onderzoekers niet weerspiegelden hoe de AI daadwerkelijk wordt gebruikt, waarin wordt uitgelegd:
“Gezichtsanalyse en gezichtsherkenning zijn compleet verschillend in termen van de onderliggende technologie en de gegevens die worden gebruikt om ze te trainen. Proberen gezichtsanalyse te gebruiken om de nauwkeurigheid van gezichtsherkenning te meten, is onverstandig, omdat dit niet het beoogde algoritme voor dat doel is. "
Maar het zijn niet alleen diegenen die zijn aangesloten bij grote onderzoekscentra die de algoritmen erg problematisch hebben gevonden. De ACLU heeft zijn eigen test uitgevoerd tegen de meest redelijke kosten van $ 12,33, volgens het Gizmodo-rapport. Het bleek dat Rekognition 28 leden van het Congres overeenkwam met foto's van criminelen.
"De valse identificaties werden gemaakt toen de ACLU van Noord-Californië Rekognition opdracht gaf met bijpassende foto's van alle 535 congresleden tegen 25.000 openbaar beschikbare mugshotfoto's."
Aangezien 11 van de 28 mensen van kleur waren, weerspiegelde dit een significant foutenpercentage van 39% voor hen. Het foutenpercentage als geheel was daarentegen een acceptabelere 5%. Zes leden van de Congressional Black Caucus, die tot de Rekognition behoorden die verband hielden met mugshots, uitten hun bezorgdheid in een open brief aan de CEO van Amazon.
Recidive Bias
De vooringenomenheid ingebed in AI tegen mensen van kleur wordt een serieuzer probleem wanneer het meer betekent dan alleen een fout bij het identificeren. Dat was de conclusie van een ander ProPublica-onderzoek in 2016. De gevolgen van dergelijke vooringenomenheid zijn niets minder dan individuele vrijheid in combinatie met het negeren van het reële risico van de persoon wiens huidskleur wordt begunstigd door het algoritme.
Het artikel verwees naar twee parallelle zaken waarbij één witte en één zwarte dader betrokken was. Een algoritme werd gebruikt om te voorspellen welke waarschijnlijk de wet opnieuw zou overtreden. De zwarte kreeg een hoog risico en de witte een laag risico.
De voorspelling klopte helemaal en de blanke die vrijliep, moest opnieuw worden opgesloten. Dit is uiterst problematisch, omdat de rechtbanken vertrouwen op de score bij de beslissing over voorwaardelijke vrijlating, en dat betekent dat de raciale vooringenomenheid die in het programma wordt verwerkt, een ongelijke behandeling volgens de wet betekent.
ProPublica heeft het algoritme zelf getest, waarbij de risicoscores van meer dan 7.000 mensen die in 2013 en 2014 in Broward County, Florida werden gearresteerd, werden vergeleken met het aantal dat in de volgende twee jaar tegen hen werd aangeklaagd.
Wat ze ontdekten, was dat slechts 20% van de voorspellingen voor het herhalen van geweldsmisdrijven uitkwam, en meer kleine misdaden kwamen alleen voor bij 61% van degenen met scores die een risico aangeven.
Het echte probleem is niet alleen het gebrek aan nauwkeurigheid, maar ook de raciale voorkeur:
- De formule zou met name zwarte beklaagden ten onrechte als toekomstige criminelen markeren en ze op deze manier ten onrechte bijna twee keer zo snel labelen als witte beklaagden.
- Witte beklaagden werden vaker als laag risico bestempeld als zwarte beklaagden.
Dit vertaalde zich in feite in een foutenpercentage van 45% voor zwarte mensen en 24% voor blanke mensen. Ondanks die opvallende statistiek meldde Thomas dat het Hooggerechtshof van Wisconsin het gebruik van dit algoritme nog steeds handhaafde. Ze geeft ook informatie over andere problemen die verband houden met recidive-algoritmen.