Ethiek↓Ethiek is een tak binnen de filosofie die zich bezighoudt met de systematische reflectie van wat als goed of juist handelen bestempeld wordt. >Hoofdstuk 3.1 staat binnen de ontwikkeling van AI↓De meest dominante associatie met AI is machine learning. Uit onderzoek van de World Intellectual Property Organisation (WIPO) uit 2019 blijkt tevens dat machine learning de meest dominante AI-technologie is die in patentaanvragen is opgenomen. Binnen deze toekomstverkenning richten we ons daarom hoofdzakelijk op machine learning en aanverwante methodieken. >Hoofdstuk 1.1.1 volop in de spotlight. Vraagstukken omtrent explainibility↓Het wordt steeds lastiger voor mensen om te achterhalen op basis van welke data de uitkomsten van AI gebaseerd zijn. AI wordt daarom nu nog vaak vergeleken met een black box. >Hoofdstuk 1.2.2, privacy en biases↓Niet alleen menselijke intelligentie, maar ook AI heeft last van vooroordelen. De output van algoritmen kan gender en race biases bevatten. De verklaring ervan is simpel. Wanneer de input niet zuiver is, dan is de output dat ook niet. Biases van algoritmen worden dus veroorzaakt door cognitieve biases van mensen. >Hoofdstuk 1.2.2 vliegen je om de oren. Maar wat houden deze begrippen precies in? En hoe uiten deze zich in de praktijk? Om een oordeel te kunnen vellen over deze vraagstukken moeten we eerst in kaart brengen over welke ethische vraagstukken het precies gaat en welke afwegingen hierbinnen gemaakt kunnen worden. Bij het in kaart brengen van ethische vraagstukken worden er vaak drie centrale begrippen gehanteerd, namelijk verantwoordelijkheid, vrijheden & rechten en rechtvaardigheid (van Dalen, 2013).
Verantwoordelijkheid
Wanneer het over de ontwikkeling van AI gaat wordt het begrip ‘verantwoordelijkheid’ vaak genoemd. De meeste mensen hebben bijvoorbeeld de vraag wie er verantwoordelijk is bij een ongeluk met een zelfrijdende auto wel eens voorbij horen komen. Is het de inzittende, de ontwikkelaar óf het systeem zelf? Machines als onafhankelijke actor kenden we eerder alleen uit sciencefictionfilms. Dit levert allerlei nieuwe vraagstukken op, zowel juridisch als sociaal. De tijd van filosoferen vanaf de zijlijn is voorbij. Dergelijke vraagstukken zijn inmiddels de realiteit. Maar om te bepalen wie er verantwoordelijk is moeten we eerst bepalen waar zij dan precies verantwoordelijk voor zijn en welk gedrag wel en niet te verantwoorden is. Daarbij is het de vraag op welke wijze we de mate van verantwoordelijkheid kunnen herleiden.
Waarvoor zijn we verantwoordelijk?
Een bekend gedachte-experiment binnen de ethiek is het zogenaamde ‘trolleyprobleem’. De hamvraag hierbij is of het te verantwoorden is wanneer het leven van een persoon wordt opgeofferd om de levens van meerdere personen te redden. Om deze gedachte-exercitie voorstelbaar te maken wordt in het experiment gebruik gemaakt van een tram, oftewel trolley.
‘Een op hol geslagen tram rijdt op een groep van vijf spoorwerkers af. Je kunt nog ingrijpen door de spoorwissel om te zetten, zodat de tram op een ander spoor terecht komt. Op dit spoor staat echter nog een andere spoorwerker. Red je het leven van vijf personen door de wissel om te zetten, of spaar je het leven van één persoon door niets te doen?’
Dit roept uiteraard allerlei vragen op. Zijn vijf levens meer waard dan één leven? Ben je verantwoordelijk als je ingrijpt? En hoe zit dat wanneer je niet ingrijpt? Interessant hierbij is om te bekijken of de afweging die gemaakt wordt afhankelijk is van de identiteit van de vijf personen die eventueel gered worden en de ene persoon die daarvoor mogelijk opgeofferd wordt. Maken mensen dezelfde keuze wanneer die ene persoon hun liefdespartner is en de vijf andere personen onbekenden? Of wanneer die ene persoon een jonge dokter is en de vijf andere personen bejaarden? De vraag gaat dan niet langer over kwantiteit, maar over kwaliteit. En juist die vraag is in het kader van AI veel moeilijker om te automatiseren.
Met de komst van de zelfrijdende auto kunnen we eigenlijk nauwelijks nog van een gedachte-experiment spreken. Vergelijkbare verkeerssituaties kunnen zich nu daadwerkelijk voordoen. De semi-autonome auto’s die momenteel op de weg zijn toegestaan kunnen immers zelfstandig remmen en van baan wisselen. De vraag is dan wat een auto moet doen wanneer er bijvoorbeeld een groep mensen bij een zebrapad oversteekt en de auto niet meer op tijd kan remmen. Doorrijden om de inzittenden te sparen of uitwijken om de overstekende mensen te sparen? Door de uitwijkmanoeuvre komt de inzettende echter wel om het leven. De vraag hierbij is natuurlijk of het dan nog uitmaakt wie er oversteken en wie er in de auto zitten. MIT ontwikkelde hiervoor de Moral Machine om te kijken wat mensen in zo’n situatie zouden doen. Het experiment startte in 2016 en is wereldwijd inmiddels door meer dan 40 miljoen mensen ingevuld. De resultaten zijn in 2018 gepubliceerd in Nature. Uit een analyse van de resultaten blijkt dat er op sommige vlakken algemeen geldende voorkeuren bestaan. Denk hierbij aan het sparen van jongeren boven ouderen en het sparen van mensen boven dieren. Andere oordelen zijn juist cultureel bepaald. Deelnemers uit Midden- en Zuid-Amerika blijken vrouwen te sparen boven mannen en mensen met een atletisch lichaam boven mensen met overgewicht. Bij deelnemers uit landen met een hoge inkomensongelijkheid bleken mensen met een hoge sociale status gespaard te blijven ten opzichte van mensen met een lagere sociale status.
Wat we als ‘verantwoordelijk’ beschouwen lijkt daarmee niet volledig te objectiveren. Toch kun je je afvragen of dit de ontwikkeling van de zelfrijdende auto moet tegenhouden. Hoe vaak komen dit soort keuzesituaties in de praktijk daadwerkelijk voor? En hoe verhoudt zich dit tot het aantal ongelukken dat voorkomen kan worden met autonome voertuigen? Juist wanneer alles met elkaar verbonden is (dus niet alleen de auto’s onderling, maar álle weggebruikers en dus ook voetgangers en fietsers) kan een autonoom systeem nog veel sneller dan de mens vooruitkijken en anticiperen op mogelijk gevaarlijke situaties. Het trolleyprobleem werkt goed om te filosoferen en om de complexiteit van ethische dilemma’s inzichtelijk te maken, maar het is en blijft een gedachte-experiment. Ontwikkelaars houden zich in de praktijk eerder bezig met de vraag op welke wijze de zelfrijdende auto zo veilig mogelijk gemaakt kan worden. Je kunt dan ook kijken naar de weg die het voertuig heeft afgelegd vóórdat het dilemma zich voordoet. Bij het trolleyprobleem gaat men te veel uit van de bestaande context: waarom zouden we bij de zelfrijdende auto een omgeving creëren waarbij voertuigen en voetgangers elkaar überhaupt kunnen kruisen? Elon Musk werkt bijvoorbeeld met ‘The Boring Company’ aan een ondergrondse vorm van mobiliteit. Mensen kunnen dan in een ondergrondse tunnel door autonome voertuigen verplaatst worden. Daar bestaat het trolleyprobleem in principe helemaal niet.
» De discussie over het trolleyprobleem zou niet over de gedwongen keuze moeten gaan, maar over het optimaliseren van veiligheid. «
— Arjen Goedegebure, OGD ict-diensten
Wie is er verantwoordelijk?
Zelfs al doet het trolleyprobleem zich niet voor, dan nog kunnen er ongelukken ontstaan als gevolg van systeemfouten van autonome voertuigen en blijft het de vraag wie er volgens de wet verantwoordelijk is bij bijvoorbeeld een botsing. Verantwoordelijkheden die door de wet worden voorgeschreven noemen we aansprakelijkheid. Het aansprakelijkheidsvraagstuk is overigens niet volledig nieuw voor AI. Volgens de Nederlandse wet bestaat er namelijk het principe van ‘productaansprakelijkheid’. In artikel 6:185 van het Burgerlijk Wetboek wordt productaansprakelijkheid als volgt omschreven: ‘De producent is aansprakelijk voor de schade veroorzaakt door een gebrek in zijn product’. Wanneer een bestuurder van een reguliere auto kan aantonen dat deze letsel heeft opgelopen en dat het letsel is veroorzaakt door het gebrekkige product dan is de producent van de auto dus aansprakelijk.
Volgens informatie van de Nederlandse Rijksoverheid gelden de regels voor aansprakelijkheid die gelden voor normale auto’s ook bij testen met zelfrijdende auto’s. ‘De bestuurder is verantwoordelijk, als hij zelf het voertuig bestuurt. Maar als het systeem niet goed werkt, is de producent verantwoordelijk.’ Deze wetgeving is volgens de overheid voor de testfase voldoende. Bij de semi-autonome auto’s die momenteel op de markt zijn wordt van de bestuurder immers verwacht dat hij nog steeds blijft opletten en direct kan ingrijpen als er iets misgaat. Verschillende autoproducenten hebben echter aangekondigd binnen enkele jaren volledig zelfrijdende auto’s op de markt te gaan brengen. In dat geval zal productaansprakelijkheid in de toekomst een veel grotere rol gaan spelen. Autonome auto’s nemen dan immers de taken van de bestuurder volledig over en daarmee ligt de verantwoordelijkheid voor het waarborgen van de veiligheid ook in steeds hogere mate bij het systeem. Ondanks de redenatie dat autonome voertuigen de verkeersveiligheid drastisch kunnen vergroten, zullen de systemen hun eigen uitdagingen hebben. Denk hierbij aan situaties waarbij: de hardware faalt, er een bug in de software zit, het systeem wordt gehacked, de interactie tussen mens en machine hapert of wanneer het systeem niet goed anticipeert op andere deelnemers aan het verkeer of onverwachte verkeerssituaties (Van Wees, 2018).
Momenteel lijken de richtlijnen omtrent productaansprakelijkheid echter nog onvoldoende geschikt te zijn voor de introductie van autonome voertuigen. Zo is het momenteel niet duidelijk of software ook onder de richtlijnen valt. Het principe van productaansprakelijkheid richt zich namelijk op roerende zaken (zoals een zelfrijdende auto), maar het is nog de vraag of software hier juridisch gezien ook onder geschaard wordt. Wanneer autonome voertuigen vanaf niveau 3 worden ingevoerd treedt daarbij een paradoxale situatie op. Volgens de richtlijnen van de Society of Automotive Engineers (SAE) kunnen voertuigen op niveau 3 onder specifieke omstandigheden autonoom rijden en is de bestuurder niet nodig voor het in de gaten houden van de omstandigheden. De bestuurder dient echter wel op ieder moment in staat te zijn om in te grijpen, wanneer het voertuig aangeeft dat dit nodig is. Maar een bestuurder die niet op hoeft te letten, lijkt ook niet in staat te zijn om in te grijpen.
Daarbij komt dat wanneer mensen niet langer zelf hoeven te rijden, de rijvaardigheid in de loop der tijd zal afnemen. De vraag is of mensen dan nog in staat zijn om in te grijpen wanneer het systeem daarom vraagt. In de meeste gevallen zal dit om complexe situaties gaan. Een zelfrijdende auto vraagt in dat opzicht dus juist om een meer bekwame, in plaats van een minder bekwame chauffeur. Dit principe geldt ook in andere situaties. Wanneer bijvoorbeeld een menselijke arts moet ingrijpen bij een robotchirurg zal deze ook zijn chirurgische skills op peil moeten hebben en kennis moeten hebben van het complexe systeem. Dit maakt het lastig om het principe van human in the loop (HITL) te kunnen waarborgen.
» The curse of automation: the need of higher skilled operators. «
— Edgar Reehuis, Hudl
Toch dendert de ontwikkeling van autonome systemen voort. Techgiganten zoals Google en Alibaba zijn naar eigen zeggen al druk bezig met de ontwikkeling van voertuigen op niveau 4 en zelfs al op niveau 5, waarbij geen menselijke bestuurder meer aanwezig hoeft te zijn. Waymo (het voormalige self-driving project van Google) experimenteert al vanaf 2017 met volledig autonome auto’s in enkele buitenwijken van Phoenix. Vooralsnog zat er altijd een mens achter het stuur die kon ingrijpen als het mis ging, maar in 2019 kondigde het bedrijf aan dat ze betaalde taxiritten gaan aanbieden zónder menselijke bestuurder. Uiteraard is het verkeer in de buitenwijken van Phoenix wat voorspelbaarder dan in het centrum van Amsterdam, maar het is alsnog een doorbraak.
» Binnenkort op de weg: zelfrijdende robottaxi’s zonder reservemens achter het stuur. «
— Bard van de Weijer, Volkskrant
Aangezien het om zelflerende systemen gaat (waarbij keuzes niet volledig geprogrammeerd zijn, maar gebaseerd worden op data en ervaringen van het systeem zelf) kan de producent niet volledig aansprakelijk gesteld worden. En zonder menselijke bestuurder kan de inzittende ook niet alle aansprakelijkheid dragen. In dat geval zou het systeem zelf tot de verantwoording geroepen moeten kunnen worden. Dit klinkt als toekomstmuziek, maar dat is het niet. In 2016 werd het zelfrijdende autosysteem van Google in de VS officieel erkend als ‘driver’ door de National Highway Traffic Safety Administration (NHTSA). Hierdoor wordt het AI-systeem dus geclassificeerd als de bestuurder van de auto. In hetzelfde jaar introduceerde de Europese Commissie voor het eerst de term ‘e-personhood’. De term werd in een rapport gebruikt om de juridische status van de meest geavanceerde autonome robots te beschrijven. Volgens het rapport zouden deze systemen specifieke rechten en verplichtingen kunnen krijgen om zo aangesproken te kunnen worden op gemaakte schade (Delvaux, 2016). Inderdaad, naast verplichtingen zouden de systemen dan ook rechten verkrijgen. Zouden autonome systemen in de toekomst dan ook mensen aansprakelijk kunnen stellen? Lees hier meer over in het scenario ‘Robot Rights’.
Hoe kunnen we verantwoordelijkheid herleiden?
Naarmate AI steeds autonomere beslissingen gaat nemen (en daardoor steeds vaker aansprakelijk gesteld zal moeten gaan worden) is het van belang dat het inzichtelijk is op welke wijze de beslissingen van dergelijke systemen tot stand zijn gekomen. Algoritmen↓Een algoritme is een wiskundige formule. Het is een eindige reeks instructies die vanuit een gegeven begintoestand naar een vooraf bepaald doel leidt. >Hoofdstuk 1.1.1 maken hierbij steeds vaker zélf de clusters↓Het algoritme gaat bij het maken van clusters zelfstandig op zoek naar overeenkomsten in de data en probeert op deze wijze patronen te herkennen. >Hoofdstuk 1.1.1, zonder voorgeprogrammeerde labels. Het wordt hierdoor steeds lastiger voor mensen om te achterhalen waarop de uitkomsten gebaseerd zijn. AI wordt daarom nu nog vaak vergeleken met een black box. Een belangrijke vraag hierbij is of het besluitvormingsproces van de toekomst voldoende transparant is en of de uitkomst voldoende uitlegbaar is. Er wordt daarom veel aandacht besteed aan Explainable AI↓Het wordt steeds lastiger voor mensen om te achterhalen op basis van welke data de uitkomsten van AI gebaseerd zijn. AI wordt daarom nu nog vaak vergeleken met een black box. >Hoofdstuk 1.2.2 (XAI).
Er moet hierbij onderscheid gemaakt worden tussen transparantie, de uitleg en uitlegbaarheid. Transparantie gaat voornamelijk over het proces en de opgestelde criteria vooraf, terwijl de uitleg en uitlegbaarheid over de toelichting op en herleidbaarheid van het besluit achteraf gaan. Uitlegbaarheid is daarbij erg subjectief en contextafhankelijk, terwijl transparantie en de uitleg veel meer objectief zijn. Het in de praktijk brengen van uitlegbaarheid is daardoor enorm lastig. Je moet van een blackbox naar een ‘glassbox’. In de praktijk betekent dit dat je dan achteraf een redenatie opzet. Systemen die momenteel ontwikkeld worden met behulp van bijvoorbeeld deep learning↓Deep learning is een machine learning-methode die gebruik maakt van verschillende gelaagde artificial neural networks. >Hoofdstuk 1.1.1 zijn echter dermate complex, dat deze voor mensen nauwelijks nog te begrijpen zijn. Het is niet zo dat je een systeem om uitleg vraagt en er dan netjes een A4’tje uitrolt met een chronologisch overzicht van de belangrijkste overwegingen en beslissingen. Het is een multi-layered web van verbindingen. Net als het menselijk brein overigens. Ook bij menselijke besluitvorming kunnen we niet onder de motorkap↓We kunnen de complexe concepten die wij aan het brein willen koppelen, zoals bewustzijn en vrije wil, nog niet modelleren en we kunnen ze niet een-op-een linken aan gebieden in het brein. >Hoofdstuk 1.2.1 kijken. Wanneer iemand in het verkeer een ongeluk veroorzaakt moeten we ons ook beroepen op een geregisseerde verklaring achteraf. We kunnen ook dan niet in de hersenpan kijken om zo de exacte aanleiding van een keuze te achterhalen.
» Het agenderen van transparantie en uitlegbaarheid is eenvoudig, maar het realiseren ervan is enorm complex. «
— Marijn Janssen, TU Delft
Transparantie is daarbij überhaupt een misleidend begrip; het is namelijk altijd een beperkte weergave van de realiteit. Denk bijvoorbeeld aan een raam. Door het glas kun je naar buiten kijken en lijkt het transparant. Maar je kunt slechts zoveel zien als het venster van het raam je laat zien. Dit levert een governance probleem op. Alles moet gecontroleerd en geaudit kunnen worden; niet alleen de output, maar ook de beslisregels en de input. Het is echter bijna onmogelijk te herleiden wat de precieze oorsprong van de data is. Data wordt namelijk al opgeschoond en gereduceerd voordat het gebruikt wordt. Deze zogenaamde data cleansing maakt het lastig om het proces te kunnen reproduceren zelfs voordat het gestart is.
In de huidige discussies omtrent de toepasbaarheid van AI bij besluitvormingsprocessen wordt er onvoldoende onderscheid gemaakt tussen de verschillende typen besluiten en de impact die de besluiten hebben op de betrokkenen. Het maakt nogal een verschil of het gaat om een aanbeveling voor een film, een medische diagnose op basis van longfoto’s of een uitwijkmanoeuvre van een autonoom voertuig. De mate van impact is dus onder andere afhankelijk van de mogelijke risico’s. Er zijn daarom ‘levels of explainability’ nodig. Bij chatbots is uitlegbaarheid bijvoorbeeld minder noodzakelijk dan bij zelfrijdende auto’s en oorlogsdrones. De noodzaak van explainability en de gevolgen van foutieve beslissingen zijn dus afhankelijk van de context en het type besluit.
Dit hangt nauw samen met de mate van autonomie die we aan het systeem zullen toekennen en daarmee de relatie die we met de technologie hebben. Is het ‘slechts’ een tool of maakt het volledig autonome beslissingen? AI heeft in dat opzicht nog een lange weg te gaan. Uit onderzoek van de UvA naar geautomatiseerde besluitvorming door AI uit 2018 blijkt dat veel Nederlanders bezorgd zijn dat AI leidt tot manipulatie, risico’s of onaanvaardbare resultaten. Alleen bij meer objectieve besluitvormingsprocessen, zoals de aanvraag van een hypotheek, worden er kansen gezien voor AI. Menselijke controle, menselijke waardigheid, eerlijkheid en nauwkeurigheid↓In het algemeen geldt dat hoe vollediger en omvangrijker de dataset is waarmee een AI-systeem getraind wordt, hoe nauwkeuriger het systeem is. >Hoofdstuk 3.2.2 worden als belangrijke waarden genoemd bij het nadenken over besluitvorming door AI.
» Er komt misschien wel een dag dat wij tegen AI zeggen ‘verklaar jezelf’ maar dat de AI zegt ‘you wouldn’t understand it anyway’. «
— Maarten Stol, BrainCreators
Vrijheden en Rechten
Vrijheid gaat in de basis over de vrijheid die mensen hebben om zelf te kunnen bepalen hoe zij hun leven inrichten. Dit is zelfs een recht, het zelfbeschikkingsrecht. Dit recht wordt vervolgens ingeperkt door het verbod om bij anderen schade aan te richten. Je bent dus bijvoorbeeld niet vrij om bij andere mensen thuis in te breken. Bij de formulering van rechten staat de vrijheid van het individu centraal. Bij sommige rechten gaat het erom dat anderen zich niet met je bemoeien of zelfs dingen moeten nalaten om je vrijheden te beschermen (vrijheidsrechten), terwijl het er bij andere rechten juist om gaat dat anderen – meestal overheden – zich moeten inspannen voor je om je vrijheden te kunnen realiseren (sociale rechten). Vrijheidsrechten en sociale rechten worden internationaal onderkend en zijn opgenomen in de Universele Verklaring van de Rechten van de Mens. Met de komst van AI is het de vraag in hoeverre wij nog volledig vrij zijn en in hoeverre bepaalde rechten worden aangetast. Zo worden we steeds meer in de gaten gehouden door bijvoorbeeld gezichtsherkenningssoftware.
Hoeveel vrijheid hebben we om zelf te kiezen?
In de discussie omtrent AI gaat het vaak over het schrikbeeld↓Scenario’s over robots die in opstand komen vormen al bijna 100 jaar een populaire verhaallijn (ervan uitgaande dat ‘Metropolis’ uit 1927 van regisseur Fritz Lang de eerste echte sciencefiction film is waarbij een robot slechte intenties heeft). >Hoofdstuk 3.1.1 dat intelligente robots de controle kunnen overnemen en we elke vorm van zelfbeschikking kwijtraken. Hierbij wordt er vanuit gegaan dat een afzonderlijk systeem de capaciteit zal hebben om menselijke intelligentie↓Intelligentie kan omschreven worden als een aaneenschakeling van verstandelijke vermogens, processen en vaardigheden, zoals kunnen redeneren en je flexibel kunnen aanpassen in nieuwe situaties. >Hoofdstuk 1.2.1 te overstijgen. Wat hierbij echter over het hoofd wordt gezien is dat als hele krachtige specialistische systemen aan elkaar worden gekoppeld, er ook een intelligent systeem ontstaat. In plaats van ‘General AI↓Artificial General Intelligence zou in staat moeten zijn om alle intellectuele taken uit te voeren die een mens ook kan uitvoeren. >Hoofdstuk 1.1.1 gone bad’, is het dan ‘Narrow AI↓Artificial Narrow Intelligence is een vorm van AI die zeer goed is in het doen van specifieke taken. Denk hierbij aan schaken, aanbevelingen doen en het geven van kwantificeerbare voorspellingen. >Hoofdstuk 1.1.1 everywhere’.
Steden hangen in steeds hogere mate vol met sensoren. Dit stelt intelligente systemen in staat om steeds meer geautomatiseerde keuzes te maken, ook zónder tussenkomst van de mens. Elke zelf respecterende stad noemt zichzelf tegenwoordig een Smart City. Oftewel een stad die verschillende vormen van data inzet om processen te optimaliseren en problemen op het gebied van bijvoorbeeld vervoer, veiligheid en milieu aan te pakken. Dit gaat veel verder dan slimme stoplichten. Denk bijvoorbeeld aan camera’s met gezichtsherkenningssoftware waarmee voetbalhooligans uit stadions kunnen worden geweerd of het monitoren van sociale media om de toeristenstroom in de stad inzichtelijk te maken en te kunnen sturen.
» In de stad van de toekomst praten lantaarnpalen mee en burgers niet. «
— Maurits Martijn & Sanne Blauw, De Correspondent
De democratie kan dan veranderen in een zogenaamde ‘algocratie’, waarbij steden (en dus mensen) worden bestuurd door data. Steeds meer experts waarschuwen hierbij voor een black box society, waarin keuzes van slimme algoritmen niet meer te herleiden zijn. Burgers kunnen dan in steeds mindere mate zelf beslissen of ze onderdeel uitmaken van deze datagedreven samenleving. Met behulp van de technologie kan zelfs een totalitaire staat gecreëerd worden; Big Brother is watching you. Zo rolt China stap voor stap een ‘sociaal kredietsysteem’ uit. Chinese burgers krijgen op basis van hun gedrag een bepaalde score. Op basis van deze score kunnen mensen op een zwarte lijst worden geplaatst en allerlei (voor)rechten verliezen, zoals de mogelijkheid geld te lenen of naar het buitenland te reizen. In 2018 werden al 23 miljoen Chinezen verboden een trein- of vliegticket te kopen. Ook worden wereldwijd op steeds meer plekken restricties gelegd op het internetgebruik. Zo keurden autoriteiten in Pakistan in 2020 ingrijpende nieuwe regels goed die het gebruik van sociale media beperken, waarmee de vrijheid van meningsuiting in gevaar wordt gebracht.
De vrijheid om zelf keuzes te maken kan uiteraard ook vanuit het omgekeerde standpunt worden benaderd. AI wordt (of is) op verschillende vlakken beter dan de mens. Met name wanneer het gaat om zeer specialistische toepassingen. Dit gaat verder dan extreem krachtige schaakcomputers. Zo blijken algoritmes nu al beter in staat om vormen van kanker te herkennen op longfoto’s dan artsen. Je kunt dan de vraag stellen of het nog wel verantwoord is om bepaalde taken door mensen uit te laten voeren. In dat opzicht zouden mensen zelf de keuze moeten krijgen om een artificieel systeem te verkiezen boven de mens.
Hebben we het recht vergeten te worden?
AI-systemen dringen alsmaar verder door in ons leven en schuren tegen de Rechten voor de Mens. Denk bijvoorbeeld aan het Systeem Risico Indicatie (SyRI) dat de Nederlandse overheid gebruikte om fraude te bestrijden op het gebied van toeslagen, belastingen en uitkeringen. Op basis van gegevens over onder andere werk, inkomen, pensioenen en schulden berekende het systeem wie er mogelijk zou kunnen frauderen. Met name in kwetsbare wijken. Een groot bezwaar bij een dergelijk systeem is dat de gegevens van álle bewoners in een wijk geanalyseerd kunnen worden, ook als ze onschuldig zijn. Dit maakte mensen Bij Voorbaat Verdacht. Verschillende burgerrechten- en privacyorganisaties vonden dan ook dat het systeem niet door de beugel kon en klaagde de Nederlandse Staat aan. En met succes. In 2020 oordeelde de rechtbank dat de wetgeving die de inzet van SyRI regelt in strijd is met artikel 8 van het Europees Verdrag voor de Rechten voor de Mens (EVRM), namelijk het recht op respect voor het privéleven. Deze bepaling vereist een eerlijke balans tussen het maatschappelijk belang dat de wetgeving dient en de inbreuk op het privéleven die de wetgeving maakt. De rechtbank oordeelde dat het voorkomen en bestrijden van fraude onvoldoende opwoog tegen de inbreuk op het privéleven.
Het Rathenau Instituut pleitte in 2017 voor een nieuw Europees verdrag waarmee mensenrechten een update zouden krijgen en daarmee aangepast zouden worden aan de digitale samenleving. In het rapport worden zelfs nieuwe mensenrechten geopperd, waaronder het recht om niet gemeten, geanalyseerd of beïnvloed te worden (het kunnen weigeren van online profilering, tracking en beïnvloeding). En niet zonder reden. Toepassingen op het gebied van bijvoorbeeld gezichtsherkenning↓Bij toepassingen op het gebied van beeldherkenning wordt vaak gebruik gemaakt van een zogenaamd Convolutional Neural Network (CNN). CNN werkt als een filter die over een afbeelding beweegt en op zoek gaat naar de aanwezigheid van bepaalde eigenschappen. >Hoofdstuk 1.1.1 zetten ons recht op privacy steeds verder onder druk. Denk bijvoorbeeld aan de ophef rondom het bedrijf Clearview, dat voor het trainen van hun gezichtsherkenningssoftware foto’s van Facebook en miljoenen andere websites ‘schraapt’ en hun diensten aanbiedt aan verschillende opsporingsdiensten. Of aan zangeres Taylor Swift die tijdens haar concerten gezichtsherkenningstechnologie inzette om mogelijke stalkers in het publiek te kunnen identificeren. Camera’s hoeven niet eens meer in de buurt te zijn. Er wordt nu gewerkt aan gezichtsherkenningssystemen voor militaire doeleinden waarmee gezichten tot op een kilometer afstand herkend kunnen worden.
Een variant op het recht om niet gemeten te worden is in 2018 realiteit geworden in de Europese General Data Protection Regulation (GDPR) of Algemene Verordening Gegevensbescherming (AVG). In deze regelgeving is onder andere het ‘Right to be Forgotten’ opgenomen, oftewel het ‘Recht op Vergetelheid’. Het doel van deze verordening is om gebruikers de controle te geven over hun persoonlijke gegevens en zo te kunnen inzien wat bedrijven precies met deze gegevens doen. Dit betekent dat alle organisaties expliciet om toestemming moeten vragen om persoonsgegevens te mogen verzamelen en gebruiken. Het betekent ook dat gebruikers het recht hebben om inzicht te krijgen in welke persoonsgegevens een organisatie verwerkt en op welke wijze deze gegevens worden beveiligd. Gebruikers hebben daarbij het recht om organisaties te vragen om alle persoonsgegevens te verwijderen. Organisaties die hier niet aan voldoen riskeren hoge boetes. De Zweedse Autoriteit voor Gegevensbescherming heeft in 2019 de eerste GDPR-boete van het land uitgedeeld aan een scholengemeenschap voor het gebruik van gezichtsherkenningstechnologie om de aanwezigheid van studenten op school te controleren. Het ging om een boete van 200.000 Zweedse Kronen, wat neerkomt op bijna 19.000 euro.
Er zijn echter uitzonderingen. Bijvoorbeeld als een organisatie wettelijk verplicht is om gegevens te gebruiken. Denk hierbij aan gegevens die noodzakelijk zijn voor een rechtsvordering of het waarborgen van de volksgezondheid. Dit zet de discussies omtrent apps die worden ingezet om epidemieën te monitoren, zoals tijdens de coronacrisis in 2020, verder op scherp. Het recht om vergeten te worden reikt daarbij niet verder dan de grenzen van de Europese Unie, zo oordeelde het Europese Hof van Justitie in 2019. Het evenwicht tussen het recht op privacy enerzijds en de vrijheid van informatie van internetgebruikers anderzijds, zal volgens een verklaring van de rechter aanzienlijk variëren over de hele wereld. Dit betekent dat zoekmachinegiganten niet verplicht zijn om informatie buiten de EU-landen te verwijderen. Privacy zou daarmee in de toekomst een luxeproduct kunnen worden dat slechts voor een kleine groep mensen toegankelijk is. Lees hier meer over in het scenario ‘Privacy for Sale’.
Hoe kunnen we het recht in eigen handen nemen?
Steeds vaker komen ‘spionagepraktijken’ door overheden aan het licht en we komen daardoor steeds meer in een ‘surveillancesamenleving’ terecht. Voormalig CIA-medewerker Edward Snowden luidde in 2013 de klokken over massale afluisterpraktijken van de Amerikaanse National Security Agency (NSA). ‘Big brother is watching you’ werd realiteit. Geïnspireerd op deze ontwikkelingen en de quote van George Orwell uit zijn boek 1984, lanceerde een Australisch kledingmerk in 2014 een speciaal ontwikkelde kledinglijn waarmee je telefoon van de radar verdwijnt. De belangrijkste eigenschap van de 1984-kledinglijn is de zogenaamde ‘UnPocket’. Een canvas zakje, gewoven met metalen stoffen, waarmee onder andere WiFi- en GPS-signalen geblokkeerd worden. Of je hiermee veilig bent voor de NSA is nog maar de vraag, maar het beveiligt mensen wel eenvoudig tegen locatietracking.
» I don’t know why people are so keen to put the details of their private life in public; they forget that invisibility is a superpower. «
— Banksy
In plaats van te wachten op herziene wetgeving (die niet altijd afdoende is) ontwikkelen steeds meer creatieve ondernemers apps en gadgets waarmee we zelf onze eigen privacy kunnen waarborgen. Ook uit andere voorbeelden blijkt dat de fashion-industrie erg actief is op dit vlak. Denk bijvoorbeeld aan grafische prints op kleding waardoor surveillancetechnologie in de war wordt gebracht of gestileerde gezichtsmaskers waarmee je gezicht niet herkend wordt door gezichtsherkenningssoftware. Ook om te voorkomen dat we te pas en te onpas op de foto worden gezet (en vaak onbedoeld, maar wel ongevraagd op social media belanden) is er een kledingstuk. De van oorsprong Nederlandse ontwerper, Saif Siddiqui, ontwikkelde The ISHU scarf. Een speciale sjaal waarmee de flits van smartphones direct wordt teruggekaatst door hele kleine kristallen balletjes die in de sjaal verwerkt zijn. Hierdoor kan de foto dus niet gebruikt worden.
Rechtvaardigheid
Wanneer het over rechtvaardigheid gaat, dan gaat het in de basis over de gelijkwaardigheid van mensen. Mensen dienen gelijk behandeld te worden én gelijke kansen te krijgen. Dit betekent niet dat er geen verschillen tussen mensen kunnen of mogen zijn. Maar wanneer mensen verschillend behandeld worden moet hier een duidelijk aanwijsbare reden voor zijn om het verschil te kunnen rechtvaardigen. Denk bijvoorbeeld aan verschillende salarisschalen die gebaseerd zijn op ervaring en opleiding. De vraag is of een gelijkwaardige verdeling en behandeling met de opkomst van AI gewaarborgd kan blijven.
Wat is een rechtvaardige verdeling?
AI wordt steeds vaker ingezet bij kredietbeoordelingen, fraudedetecties en sollicitatieprocessen. Het uitgangspunt is dat mensen hierbij gelijke kansen en mogelijkheden krijgen. In de praktijk blijkt dit echter vaak niet op te gaan. Zo heeft Amazon in 2014 een AI-applicatie ontwikkeld om sollicitanten te evalueren om zo tot een selectie van de beste kandidaten te komen. Pas een jaar later kwamen ze erachter dat deze seksistisch was. Het probleem was dat het algoritme werd getraind met data van sollicitanten die de afgelopen 10 jaar bij Amazon gesolliciteerd hadden. Aangezien dit in de techbranche voornamelijk mannen zijn, kreeg het algoritme een voorkeur voor mannelijke kandidaten. In 2017 is de ontwikkeling van de applicatie stopgezet. Om de ongelijkwaardige verdeling van algoritmen zelf te kunnen ervaren ontwikkelden vier alumni van NYU Abu Dhabi het spel ‘Survival of the Best Fit.’ Het educatieve spel legt de vooroordelen van AI↓Niet alleen menselijke intelligentie, maar ook AI heeft last van vooroordelen. De output van algoritmen kan gender en race biases bevatten. De verklaring ervan is simpel. Wanneer de input niet zuiver is, dan is de output dat ook niet. Biases van algoritmen worden dus veroorzaakt door cognitieve biases van mensen. >Hoofdstuk 1.2.2 in het sollicitatieproces bloot.
Bij dergelijke toepassingen worden vooroordelen – en daarmee digitale discriminatie – dus juist versterkt. Het probleem is dat data niet divers genoeg is en dat de technologieën daardoor niet neutraal zijn. Uit onderzoek van het Georgia Institute of Technology blijkt dat zelfs de beste beeldherkenningssystemen minder nauwkeurig zijn in het detecteren van voetgangers met een donkere huidskleur dan voetgangers met een lichte huidskleur. De onderzoekers gaven aan dat deze bias voornamelijk werd veroorzaakt door het feit dat er te weinig voorbeelden van voetgangers met een donkere huidskleur in de trainingssets worden gebruikt. Wanneer de input niet volledig is, dan is de output dat ook niet. ‘Garbage In, Garbage Out’.
De vraag hierbij is of er überhaupt voldoende data beschikbaar is van de meer kwetsbare groepen. Het lijkt erop dat vooroordelen tegen gehandicapten nog moeilijker te bevechten zijn dan discriminatie op basis van geslacht of ras. Bijvoorbeeld bij zelfrijdende auto’s. De algoritmen worden onder andere getraind om voetgangers te kunnen herkennen, zodat de voertuigen er niet overheen rijden. Wanneer de trainingsgegevens bijvoorbeeld geen mensen in een rolstoel bevatten, kan de technologie die mensen in levensbedreigende situaties brengen. Handicaps komen weliswaar relatief vaak voor, maar er zijn enorm veel verschillende soorten handicaps. En deze zijn niet altijd zichtbaar. Een auto kan bijvoorbeeld wel claxonneren om naderende voetgangers te waarschuwen, maar een doof persoon hoort dit niet. Informatie over handicaps is daarnaast ook erg gevoelig. Mensen zijn veel minder geneigd om deze informatie te delen dan informatie over geslacht, leeftijd of ras. In sommige situaties is het zelfs illegaal om deze informatie te vragen.
Virginia Eubanks schreef in 2018 een veelgeprezen boek over het automatiseren van ongelijkheid; ‘Automating Inequality’. Hierin beschrijft ze op welke wijze geautomatiseerde systemen – in plaats van mensen – bepalen welke buurten worden gecontroleerd, welke gezinnen de benodigde middelen krijgen en wie er wordt onderzocht op fraude. Juist mensen met minder middelen en kansen worden door deze systemen benadeeld. Dit gaat niet zozeer over privacy, maar over de verregaande gevolgen van keuzes die gebaseerd zijn op onbetrouwbare data.
» Databescherming is niet een privaat, maar een algemeen belang en ligt in het hart van de rechtsstaat. «
— Maxim Februari, jurist en schrijver
In hoeverre is er sprake van een rechtvaardige behandeling?
Dat mensen gelijk behandeld dienen te worden en gelijke kansen behoren te hebben is vastgelegd in de Nederlandse Grondwet. Paradoxaal genoeg wordt het steeds meer duidelijk dat AI-toepassingen die gebruikt worden binnen het rechtssysteem een ongelijkwaardige behandeling juist bevorderen. Denk bijvoorbeeld aan ontwikkelingen binnen predictive policing, waarbij crimineel gedrag wordt voorspeld door middel van grootschalige monitoring en data analyses. Het risico is hierbij dat mogelijk de verkeerde mensen worden opgepakt. Wat is in dit geval rechtvaardig? Zet je mensen mogelijk onterecht vast, of riskeer je dat ze een misdaad begaan? Gebruikte technologieën, zoals gezichtsherkenningssoftware, zijn daarbij verre van foutloos. In een test die de American Civil Liberties Union (ACLU) in 2018 heeft uitgevoerd bleek dat de software van Amazon 28 leden van het Congres ten onrechte identificeerde als mensen die zijn gearresteerd voor een misdaad.
In Amerika is veelvuldig gebruik gemaakt van software om te voorspellen hoe groot de kans is dat een veroordeelde opnieuw de fout in gaat. Uit onderzoek van ProPublica in 2016 blijkt dat deze software bevooroordeeld is in het nadeel van mensen met een donkere huidskleur. Het is daarbij bijzonder lastig om in te schatten op welke wijze autonome systemen zich gaan gedragen wanneer deze aan elkaar gekoppeld worden. Denk bijvoorbeeld aan het ontstaan van negatieve feedbackloops. Wanneer uit data bijvoorbeeld blijkt dat zwarte mannen een grotere kans hebben om na vrijlating weer terug te komen in de gevangenis, dan zal het algoritme bepalen dat zwarte mannen langer in de gevangenis moeten blijven. Dit heeft vervolgens weer invloed op de gevolgcijfers: zwarte mannen zitten dan daadwerkelijk langer in de cel, wat vervolgens weer wordt versterkt door het algoritme, etc. Hierbij wordt geen rekening gehouden met het feit dat de cijfers gebiased zijn als gevolg van menselijk politiewerk, waarbij mogelijk sprake is van profilering. Biases van algoritmen worden dus voornamelijk veroorzaakt door biases↓Aangezien we evolutionair zijn geprogrammeerd om zoveel mogelijk energie te besparen sluipen er wel wat ‘denkfouten’ in onze informatieverwerking. Deze denkfouten worden ook wel cognitive biases genoemd. >Hoofdstuk 1.2.2 van mensen. Het is dus maar de vraag of een robotrechter daadwerkelijk objectiever is.
» Algoritmes zijn even bevooroordeeld als de mensen die ze maken. «
— Sanne Blauw, De Correspondent
Hoe waarborgen we rechtvaardige procedures?
De vraag wie er kunnen en mogen beslissen over wat wel en niet ethisch verantwoord is in relatie tot de ontwikkeling en toepassing van AI wordt nog te weinig gesteld. Vooralsnog zijn het voornamelijk de grote tech-bedrijven die de touwtjes in handen lijken te hebben. Zij beschikken over verreweg de meeste resources, zoals data, rekenkracht, geld én kennis. Met name die laatste wordt nog weleens onderschat. Denk bijvoorbeeld aan het moment dat Mark Zuckerberg in 2018 werd verhoord in het Amerikaanse Congres over de privacy-lek bij Facebook. Senatoren stelden hem vragen waaruit duidelijk bleek dat ze geen idee hadden van wat Facebook precies is en doet. De vraag van Utah Senator Orrin Hatch spande toch wel de kroon. Hij vroeg zich af op welke wijze Facebook een verdienmodel in stand kon houden, terwijl gebruikers niet voor de service hoeven te betalen.
» How do you sustain a business model in which users don’t pay for your service? «
— Orrin Hatch, US Senator
Het antwoord van de verbaasde Zuckerberg was ‘Senator, we run adds’. Deze vorm van digitale ongeletterdheid maakt het lastig om complexe technologieën te kunnen reguleren. Toch lijken overheden nog steeds een flinke vinger in de pap te hebben. Zo heeft de Russische president Vladimir Poetin in 2019 een controversieel wetsvoorstel ondertekend waardoor het een misdaad is om de staat te ‘minachten’ en ‘nepnieuws’ online te verspreiden. In hetzelfde jaar legde de Iranese overheid het internet plat tijdens protesten tegen de toenemende inflatie. Het werd hierdoor voor demonstranten lastiger om zich te organiseren en voor journalisten lastiger om informatie te krijgen over de situatie. Landen lijken hiermee vooral hun eigen digitale infrastructuur en machtspositie te willen beschermen.
Ook wanneer het op ethiek aankomt lijken landen zich nog te veel naar binnen toe te keren. Zo lanceerden verschillende overheden hun éigen ethische richtlijnen↓In de afgelopen jaren hebben uiteenlopende bedrijven, onderzoeksinstellingen en overheidsorganisaties verschillende principes en richtlijnen opgesteld voor ethical AI. Zowel op nationaal en continentaal niveau, als op mondiaal niveau. >Hoofdstuk 3.2.1. Van Duitsland en Oostenrijk tot Australië en de Verenigde Staten. Het is hierbij niet de vraag welk land de béste ethische richtlijnen heeft, het gaat er juist om op welke vlakken overeenstemming gevonden kan worden. Ethiek is geen wedstrijd, maar een teamsport. Zonder mondiale aanpak is het vrijwel onmogelijk om betrouwbare AI-toepassingen te kunnen ontwikkelen. Juist de verschillende, vaak cultureel bepaalde, invalshoeken moeten aansluiting met elkaar vinden. Deze invalshoeken ontbreken nu nog te vaak in het globale debat over AI en ethiek. Momenteel lijkt de ontwikkeling van AI nog te veel op een wedstrijd↓Momenteel is de interesse in AI dermate groot dat wereldmachten de strijd met elkaar aangaan. Uit onderzoek van PwC uit 2017 blijkt dat het wereldwijde Gross Domestic Product (GDP) in 2030 door ontwikkelingen op het gebied van AI maar liefst 14% hoger zal liggen. Volgens de Russische president Poetin zal het land met de beste AI over de wereld heersen (2017). >Hoofdstuk 1.3.2. De financiële belangen lijken zwaarder te wegen dan de morele belangen. Lees hier meer over in het scenario ‘Winner takes all’.
Naast de onethische implicaties van AI-toepassingen moet dus ook worden nagedacht over de totstandkoming van ethische richtlijnen, anders blijft er alsnog sprake van ‘onethische ethiek’.