‘Gezichtsherkenningssoftware werkt goed, als je een blanke man bent’, kopte de New York Times op 9 februari 2018. De alomtegenwoordige algoritmen worden geacht neutraal te zijn, maar tegenwoordig zijn er steeds meer voorbeelden van discriminatoire algoritmen. Zijn het wel de algoritmen die discrimineren of geven zij slechts weer wat mensen denken?
Oud-werknemers van gigantplatforms Instagram, Facebook, Twitter, Google, YouTube, Apple en Pinterest stellen in de Netflix-documentaire ‘The Social Dilemma’ ethische bezwaren te hebben tegen de gevolgen van het gebruik van sociale media. De razendsnelle veranderingen die de technologie met zich meebrengt, zorgen voor vraagstukken omtrent privacy, duurzaamheid, democratie, transparantie en gelijkheid. Zo komt steeds vaker aan het licht dat het algoritme ons indeelt in hokjes: arm, rijk, hoogopgeleid, zwart, vrouw, gay, en almaar meer wordt er gesteld dat het algoritme discrimineert. Zo stelde de ‘sollicitatierobot’ van Amazon vrouwen stelselmatig achter.1 Een zelfrijdende auto heeft moeite om mensen met een zwarte huidskleur als mens te herkennen, waardoor je meer kans hebt aangereden te worden dan een niet-zwart persoon.2 Ook informaticus Sennay Ghebreab ondervond zelf hoe ongelijkheid in machines gebouwd zit: “De draaideur opende wel voor mijn witte collega’s, maar niet voor mij”.3 Algoritmen worden geacht ‘neutraal’ te zijn, maar er komt aldoor meer aandacht voor de schaduwkanten van algoritmes. De vraag is: Zit de oorzaak in het algoritme zelf of gaat het over het probleem van de maatschappij dat zich achter het algoritme verschuilt?
Hoe werken algoritmen?
Google gebruikt ze. De belastingdienst gebruikt ze. Jij gebruikt ze. Algoritmes zijn óveral, maar wat is een algoritme? Elk algoritme heeft een reeks instructies om een specifiek doel te bereiken. Vergelijk een algoritme met een recept in de keuken: om een pasta pesto te maken, heb je een reeks instructies om het uiteindelijke doel – een pasta pesto op tafel zetten – te kunnen bereiken. Je ziet tegenwoordig vaak dat algoritmes worden gebruikt om beslissingen (deels) te automatiseren. Volgens wiskundige Hannah Fry heeft het algoritme vier verschillende functies, namelijk 1) prioriteren (een zoekmachine beslist welke zoekresultaten bovenaan komen te staan); 2) classificeren (een algoritme onderscheidt kankercellen van gewone cellen); 3) associëren (een datingsapp beveelt je een geschikte partner aan op grond van bepaalde kenmerken) en 4) filteren (Siri filtert het achtergrondgeluid weg voor spraakherkenning).4 Een algoritme combineert vaak meerdere van deze functies. Hoe een algoritmisch model in elkaar steekt, hangt af van het algoritme dat wordt gebruikt, maar ook van de verschillende belangen die door het algoritme moeten worden behartigd. Daarbij zijn algoritmes grofweg in twee categorieën onder te verdelen. De eerste categorie zijn de algoritmes die zelf kunnen leren aan de hand van machine learning, een onderdeel van kunstmatige intelligentie. Daarnaast bestaan de op regels gebaseerde algoritmes, waarbij een programmeur de regels één voor één formuleert.5 Je zou kunnen zeggen: de programmeur bepaalt hoe een algoritme zijn werk doet. Niet echt objectief dus!
Algoritmen maken is mensenwerk
Voorspellende algoritmes worden gebruikt om in te schatten of je een goede werknemer of een financiële last voor een verzekeringsmaatschappij zult zijn, of dat je toegang moet krijgen tot het voortgezet onderwijs.6 Veel algoritmes kennen namelijk een score toe aan een mens. In databases wordt gekeken welke criteria het best ‘succes’ voorspellen. Enerzijds maken algoritmes het misschien wel makkelijker om morele en empathische besluiten buiten de deur te houden; de beslissingen zijn dan immers gemaakt door een algoritme. In zo’n geval wordt beweerd dat discriminatie enkel kan ontstaan door het gebruik van een onjuist model bij een bepaalde situatie of dat er een programmeerfout zit in de algoritmes. Indien het juiste model wordt gebruikt, zou de kans op ongelijke behandeling door het gebruik van algoritmes te reduceren zijn. Anderzijds beslist een algoritme op grond van vooraf ingestelde parameters of datamodellen. Aangezien techniek niet autonoom is, heeft de mens veel invloed op het ontwerpen van deze modellen.7 Hierbij wordt bepleit dat het niet het algoritme is dat discrimineert, maar discriminatie eerder het gevolg is van (on)bedoelde menselijke vooroordelen verwerkt in de data van algoritmen. Het gevaar van algoritmes ligt daarmee vooral in de menselijke besluitvorming, zoals sollicitatieprocedures. Een oud gezegde is: “Garbage in, garbage out”. Indien er eerder foutieve of onbetrouwbare data zijn gebruikt voor bepaalde beslissingen, zal het algoritme de vooroordelen van deze voorbeelden reproduceren.8 Achtergestelde groepen kunnen hierdoor blijvend worden benadeeld, zeker als dit gebaseerd is op ongefundeerde aannames.9
‘Voorspellende algoritmes worden gebruikt om in te schatten of je een goede werknemer zult zijn.’
Algoritmische discriminatie moeilijk te bewijzen
Het is de vraag of geautomatiseerde beslissingen eerlijk(er) zijn dan beslissingen die genomen zijn door de mens. De complexiteit en ondoorzichtigheid van met name zelflerende algoritmes maken het lastig te beoordelen of er sprake is van ongelijke behandeling. Discriminatie die voortkomt uit data kan niet eenvoudig worden ontdekt, doordat achteraf moeilijk kan worden geconstrueerd waarom algoritmes een dergelijke beslissing namen. Wanneer sprake is van indirecte discriminatie kan deze pas worden aangetoond bij een groot aantal gevallen, doordat daardoor een patroon van ongelijke behandeling aan het licht komt. De ongelijke behandeling is moeilijk zichtbaar en de daaruit voortvloeiende verkrijging van bewijs is daardoor lastig. Met name in strafrechtelijke zaken is het van belang of er sprake is van opzettelijke discriminatie, hetgeen in deze gevallen vaak leidt tot bewijsproblemen.10 Vooralsnog lijkt de technologie onvoldoende in staat om te verduidelijken hoe beslissingen tot stand komen en dat brengt slachtoffers van algoritmische discriminatie in een onmogelijke bewijspositie.
Ondanks het feit dat er sprake is van discriminatoire algoritmes en de bewijspositie van burgers soms onmogelijk lijkt te zijn, biedt het algoritme ook kansen. Het is niet eerlijk om algoritmes alleen maar af te schilderen als gevaarlijk of oneerlijk. Ze zijn over het algemeen gereguleerd, toetsbaar en bovendien in staat om rechtszekerheid en transparantie van overheidshandelen te garanderen. Het is echter van belang dat wij computers vooral blijven zien als hulpmiddel. Wij mensen zijn namelijk nooit in staat om zoveel data als een computer te verzamelen, maar een computer is nooit in staat om moraliteit en ethiek te begrijpen. Wij moeten niet vergeten waar discriminatie vandaan komt: algoritmen zijn een spiegel van de maatschappij.
‘De computer is nooit in staat om moraliteit en ethiek te begrijpen.’
Annemiek van ‘t Hof
