Tech-ableisme | Algoritme met voorbehoud

Een vervormd geautomatiseerd gezichtsherkenningssysteem van de online retailer Amazon dat zwarte mensen minder effectief identificeert dan witte mensen. Een Amerikaanse financiële instelling die AI gebruikt om kredietbeslissingen te nemen, begint plotseling minder leningen aan vrouwen te verstrekken. Het is algemeen bekend dat AI niet vrij is van discriminatie. Het algoritme is gebaseerd op eenzijdige data en levert bevooroordeelde resultaten op.

Dit is ook duidelijk te zien in Large Language Models (LLM's), die tekst kunnen herkennen en genereren en gebaseerd zijn op grote hoeveelheden data. Toepassingen zoals Chat-GPT zijn hierop gebaseerd. Ondertussen werken steeds meer ondersteunende technologieën ook samen met LLM's. Deze technologieën zijn bedoeld om de communicatiemogelijkheden uit te breiden en de toegankelijkheid te verbeteren.

De software "Be my eyes" gebruikt bijvoorbeeld GPT-4 om afbeeldingen of tekst om te zetten in audiobestanden. Als deze toepassingen niet op vooringenomenheid worden onderzocht, kunnen ze het tegenovergestelde effect hebben, ontdekte een team onderzoekers van de Universiteit Zürich vorig jaar. Het programma genereert dan output die "minder ondersteunend of zelfs discriminerend is ten opzichte van mensen met een beperking en het doel van ondersteunende technologieën ondermijnt door mensen met een beperking verder te marginaliseren en in gevaar te brengen", waarschuwen Rong Li, Ashwini Kamaraj, Jing Ma en Sarah Ebling.

"Vooroordelen vormen een voortdurende uitdaging die zich net zo snel ontwikkelt als de technologie zelf."

Rong Li, Ashwini Kamaraj, Jing Ma en Sarah Ebling Universiteit van Zürich

Vooral grote datasets veranderen hier op zichzelf niets aan. De onderzoekers pleiten er daarom voor om individuele taalmodellen continu te onderzoeken op vooroordelen, met aandacht voor hun interactie met andere vormen van discriminatie – hun intersectionaliteit. "Vooroordelen vormen een voortdurende uitdaging die zich net zo snel ontwikkelt als de technologie zelf", concluderen ze.

Ute Kalender van de Duitse Ethische Raad onderzoekt intersectionele perspectieven op digitalisering en AI. Volgens haar werk worden de vermeende belangen van mensen met een beperking regelmatig gebruikt om AI maatschappelijk te versterken. In de ontwikkelingspraktijk blijft de technologie echter "geïnspireerd door een androcentrische ideaalbeeld van een autonome, niet-gehandicapte, (hyper)witte persoon", schrijft ze in een essay.

"Over het algemeen zijn op AI gebaseerde digitale architecturen vaak moeilijker toegankelijk voor mensen met een beperking dan voor mensen die zogenaamd normaal zijn", legt Kalender uit aan "nd". Deze "frictionele toegankelijkheid tot digitale architecturen" kan op verschillende niveaus gevolgen hebben. Bijvoorbeeld op het niveau van de digitaal-sociale kloof, waarbij mensen met een beperking tot de armste groepen ter wereld behoren. Apparaten die AI-applicaties draaien, evenals AI-systemen die worden gebruikt in slimme huizen of op AI gebaseerde auto's, zijn duur en daarom vaak onbetaalbaar.

Bovendien zijn programma's en gebruikersinterfaces vaak niet toegankelijk. Dit blijkt bijvoorbeeld uit het ontbreken van alt-teksten die bedoeld zijn om afbeeldingen te beschrijven voor mensen met een visuele beperking, het gebruik van lichte lettertypes op lichte achtergronden, complexe zinnen, beperkte navigatiemogelijkheden op websites en problematische snelheden. Bovendien is de representatie, met name op sociale media, vaak gebaseerd op stereotiepe opvattingen over normaliteit. Zo liet het videoportaal TikTok in 2019 zijn moderators expliciet afbeeldingen van mensen met een beperking filteren.

Een dramatisch voorbeeld van validisme in technologie en slimme software zijn zelfrijdende auto's. Wetenschapper Jutta Treviranus onderzocht hoe geautomatiseerde voertuigen zouden reageren op een persoon die achteruit reed in een rolstoel: ze zouden de persoon overrijden. Treviranus trainde het programma vervolgens door het meer data te geven over mensen die achteruit reden in een rolstoel. Maar hoe meer data de software ontving, hoe groter de kans dat de auto de persoon overreed. De verklaring: AI elimineert uitschieters wanneer het gebaseerd is op statistische modellen. Om dit soort gevaarlijke discriminatie te voorkomen, zijn niet alleen verschillende of grotere datasets nodig, maar ook meer diverse fundamenten en statistische modellen.

Kalender pleit daarom voor een holistische benadering. Willen LLM's in de toekomst echt inclusief zijn, dan zouden ze moeten worden samengesteld door mensen uit meer diverse groepen en getraind met diverse leervoorbeelden. "Dit zou echter nog steeds de overtuiging versterken dat AI de maatschappij neutraal kan vertegenwoordigen of recht kan doen aan haar diversiteit", benadrukt ze.