De scheidingslijn tussen gewenste en ongewenste gevolgen is in het scenario van ‘Privacy for sale’ flinterdun. Enerzijds zorgt de hoge mate van automatisering voor een enorme efficiëntieslag en komt er tijd vrij voor mensen om zich bezig te houden met de zaken die ‘echt ertoe doen’, anderzijds raken we in steeds meer domeinen de controle kwijt en zorgt AI voor een enorme mate van ongelijkheid in de samenleving. Veel van de gevolgen zijn moeilijk te overzien. Het is bijzonder lastig om in te schatten op welke wijze autonome systemen zich gaan gedragen wanneer deze aan elkaar gekoppeld worden.
Denk bijvoorbeeld aan het ontstaan van negatieve feedbackloops. Wanneer uit data bijvoorbeeld blijkt dat zwarte mannen een grotere kans hebben om na vrijlating weer terug te komen in de gevangenis, dan zal het algoritme bepalen dat zwarte mannen langer in de gevangenis moeten blijven. Dit heeft vervolgens weer invloed op de gevolgcijfers: zwarte mannen zitten dan daadwerkelijk langer in de cel, wat vervolgens weer wordt versterkt door het algoritme, etc. Hierbij wordt geen rekening gehouden met het feit dat de cijfers gebiased zijn als gevolg van menselijk politiewerk, waarbij mogelijk sprake is van profilering. Ook wanneer AI met kleinere hoeveelheden data kan werken of data in real time kan verwerken, dan nog zal er een bepaalde afhankelijkheid van data bestaan. Een aaneenkoppeling van systemen kan dit effect versterken. Hierdoor kan dan een soort ‘kastensysteem’ ontstaan, waarin mensen op basis van hun data worden ingedeeld in groepen, inclusief bijbehorende kansen (of het ontbreken daarvan). Mensen kunnen deze groepen nauwelijks nog ontstijgen, tenzij ze genoeg geld hebben om off the grid te leven.
Efficiënte oplossingen zijn dus niet altijd maatschappelijk wenselijk. Ontwikkelingen binnen predictive crime zorgen ervoor dat mogelijk de verkeerde mensen worden opgepakt. Want, hoe valideer je het algoritme? Zet je mensen mogelijk onterecht vast, of riskeer je dat ze een misdaad begaan? Het formuleren van wetgeving wordt daarbij steeds uitdagender: wetgeving ontwikkelen voor iets wat verschillende uitingsvormen heeft, is enorm lastig. En is wetgeving wel genoeg? Wie controleert de software updates? Doordat systemen autonome keuzes maken is het voor de mens steeds lastiger om in te grijpen. Zelfs wanneer er aan het eind van het proces een human in the loop zit, dan is alsnog de vraag hoeveel invloed deze nog heeft. Systemen zijn dermate complex↓Explainability: Het wordt steeds lastiger voor mensen om te achterhalen op basis van welke data de uitkomsten van AI gebaseerd zijn. AI wordt daarom nu nog vaak vergeleken met een black box n. >Hoofdstuk 1.2.2 dat het vrijwel onmogelijk is om te achterhalen waarop keuzes zijn gebaseerd.
