Vorige week haalde de nieuw verkozen Amerikaanse vertegenwoordiger Alexandria Ocasio-Cortez de krantenkoppen toen ze zei, als onderdeel van het vierde jaarlijkse MLK Now-evenement, dat gezichtsherkenningstechnologieën en -algoritmen 'altijd deze raciale ongelijkheden hebben die worden vertaald, omdat algoritmen nog steeds worden gemaakt door mensen, en die algoritmen zijn nog steeds gekoppeld aan menselijke basisaannames. Ze zijn gewoon geautomatiseerd. En geautomatiseerde aannames - als je de bias niet oplost, automatiseer je alleen de bias. "
Betekent dit dat algoritmen, die theoretisch zijn gebaseerd op de objectieve waarheden van wiskunde, 'racistisch' kunnen zijn? En zo ja, wat kan er worden gedaan om die vertekening weg te nemen?
Het blijkt dat de output van algoritmen inderdaad vertekende resultaten kan opleveren. Datawetenschappers zeggen dat computerprogramma's, neurale netwerken, machine learning-algoritmen en kunstmatige intelligentie (AI) werken omdat ze leren hoe ze zich moeten gedragen op basis van gegevens die ze krijgen. Software is geschreven door mensen met vooringenomenheid en trainingsgegevens worden ook gegenereerd door mensen met vooringenomenheid.
De twee fasen van machine learning laten zien hoe deze vooringenomenheid in een schijnbaar geautomatiseerd proces kan kruipen. In de eerste fase, de trainingsfase, leert een algoritme op basis van een set gegevens of op basis van bepaalde regels of beperkingen. De tweede fase is de inferentiefase, waarin een algoritme toepast wat het in de praktijk heeft geleerd. Deze tweede fase onthult de vooroordelen van een algoritme. Als een algoritme bijvoorbeeld wordt getraind met afbeeldingen van alleen vrouwen met lang haar, zal het denken dat iedereen met kort haar een man is.
Google kwam berucht onder vuur te liggen in 2015 toen Google Foto's zwarte mensen bestempelde als gorilla's, waarschijnlijk omdat dat de enige donkere wezens waren in de trainingsset.
En vooringenomenheid kan via vele wegen binnensluipen. "Een veelgemaakte fout is het trainen van een algoritme om voorspellingen te doen op basis van eerdere beslissingen van bevooroordeelde mensen", vertelde Sophie Searcy, een senior data scientist bij de data-science-training bootcamp Metis, aan WordsSideKick.com. "Als ik een algoritme maak om beslissingen te automatiseren die eerder door een groep leningmedewerkers waren gemaakt, zou ik misschien de makkelijke weg inslaan en het algoritme trainen op eerdere beslissingen van die leningmedewerkers. Maar als die leningofficieren natuurlijk bevooroordeeld waren, dan het algoritme dat ik bouw zal die vooroordelen voortzetten. "
Searcy haalde het voorbeeld aan van COMPAS, een voorspellend hulpmiddel dat in het hele Amerikaanse strafrechtsysteem wordt gebruikt voor veroordelingen, dat probeert te voorspellen waar misdaad zal plaatsvinden. ProPublica voerde een analyse uit op COMPAS en ontdekte dat de tool, na controle voor andere statistische verklaringen, het risico op recidive voor zwarte gedaagden overschatte en het risico voor blanke gedaagden consequent onderschatte.
Om te helpen bij het bestrijden van algoritmische vooroordelen, vertelde Searcy aan WordsSideKick.com, dat ingenieurs en datawetenschappers meer diverse datasets moeten bouwen voor nieuwe problemen, en dat ze moeten proberen de vooringenomenheid in bestaande datasets te begrijpen en te verminderen.
Eerst en vooral, aldus Ira Cohen, een datawetenschapper bij het voorspellende analysebedrijf Anodot, zouden ingenieurs een trainingsset moeten hebben met een relatief uniforme weergave van alle soorten bevolking als ze een algoritme trainen om etnische of genderattributen te identificeren. "Het is belangrijk om voldoende voorbeelden van elke bevolkingsgroep te vertegenwoordigen, zelfs als ze een minderheid vormen in de totale populatie die wordt onderzocht", vertelde Cohen aan WordsSideKick.com. Ten slotte raadt Cohen aan om te controleren op vooroordelen op een testset met mensen uit al deze groepen. "Als voor een bepaalde race de nauwkeurigheid statistisch significant lager is dan bij de andere categorieën, kan het algoritme een vertekening hebben en zou ik de trainingsgegevens evalueren die ervoor werden gebruikt," vertelde Cohen WordsSideKick.com. Als het algoritme bijvoorbeeld 900 van de 1.000 witte gezichten correct kan identificeren, maar slechts 600 van de 1.000 Aziatische gezichten correct detecteert, dan kan het algoritme een voorkeur hebben "tegen" Aziaten, voegde Cohen eraan toe.
Het verwijderen van vooroordelen kan een enorme uitdaging zijn voor AI.
Zelfs Google, beschouwd als een voorloper op het gebied van commerciële AI, kon vanaf 2015 blijkbaar geen uitgebreide oplossing voor zijn gorillaprobleem bedenken. Wired ontdekte dat Google in plaats van een manier te vinden voor zijn algoritmen om onderscheid te maken tussen mensen van kleur en gorilla's, Google eenvoudig blokkeerde de algoritmen voor beeldherkenning van het identificeren van gorilla's überhaupt.
Het voorbeeld van Google is een goede herinnering dat het trainen van AI-software een moeilijke oefening kan zijn, vooral wanneer software niet wordt getest of getraind door een representatieve en diverse groep mensen.
