De Ethische Scrum

Er zijn meerdere benaderingen om AI↓De meest dominante associatie met AI is machine learning. Uit onderzoek van de World Intellectual Property Organisation (WIPO) uit 2019 blijkt tevens dat machine learning de meest dominante AI-technologie is die in patentaanvragen is opgenomen. Binnen deze toekomstverkenning richten we ons daarom hoofdzakelijk op machine learning en aanverwante methodieken. >Hoofdstuk 1.1.1-systemen te laten leren over wat wel en niet ethisch↓Ethiek is een tak binnen de filosofie die zich bezighoudt met de systematische reflectie van wat als goed of juist handelen bestempeld wordt. >Hoofdstuk 3.1 verantwoord is. Zo kunnen ethische principes en richtlijnen↓In de afgelopen jaren hebben uiteenlopende bedrijven, onderzoeksinstellingen en overheidsorganisaties verschillende principes en richtlijnen opgesteld voor ethical AI. Zowel op nationaal en continentaal niveau, als op mondiaal niveau. >Hoofdstuk 3.2.1 worden geprogrammeerd in het systeem (statisch leren), kan het systeem leren van menselijk gedrag en menselijke waarden optimaliseren (adaptief leren) en kan het systeem afwegingen maken tussen meerdere doelen op basis van vooraf bepaalde gewichtsfactoren (intuïtief leren). In veel ethische discussies worden deze benaderingen onvoldoende meegenomen. De systeembenadering bepaalt namelijk op welke wijze geformuleerd moet worden wat we belangrijk vinden en wat we wel en niet aan het systeem meegeven. Bij statisch leren gaat het om een volledige set aan regels en uitzonderingen, terwijl het bij adaptief en intuïtief leren gaat om het bepalen van de doelfuncties. Wanneer er voor intuïtief leren gekozen wordt moet daarbij niet alleen bepaald worden welke doelen we belangrijk vinden, maar ook hoe zwaar deze doelen in verschillende situaties ten opzichte van elkaar wegen.

Welke benadering er ook wordt gekozen, het is vrijwel onmogelijk om vooraf in kaart te brengen wat de mogelijke implicaties van verschillende ontwerpkeuzes zijn. De optimalisering van AI-systemen gebeurt voornamelijk aan de hand van trial and error. Dit betekent dat gedurende het ontwikkelingsproces nieuwe uitdagingen zichtbaar worden. Denk bijvoorbeeld aan veiligheid. Door keuzes in het proces worden de aanvankelijke veiligheidsprincipes beïnvloed. Om kwetsbaarheden in het systeem te voorkomen moeten gedurende het proces afwegingen worden gemaakt en ontwerpcriteria worden bijgesteld. Het is daarom van belang om niet alleen naar het ontwerp te kijken, maar ook naar het ontwerpproces.

» Problemen zitten bij ethiek niet in de perspectieven, maar in de processen. «

— Robert de Snoo, Human & Tech Institute

Ethici vs. Technici

Wanneer het over AI en ethiek gaat dan zijn het vaak ethici die het over technologie hebben, of technici die het over ethiek hebben. In beide gevallen is het niet hun eigen vakgebied. Daarbij bestaat er vaak een groot onderscheid tussen de verschillende benaderwijzen. Technici benaderen het vraagstuk vooral vanuit optimalisatie. Hoe kan ik waarden als privacy↓In het Europees Verdrag voor de Rechten voor de Mens is privacy opgenomen als het recht op respect voor het privéleven. Deze bepaling vereist een eerlijke balans tussen het maatschappelijk belang dat een technologie dient en de inbreuk op het privéleven die de technologie maakt. >Hoofdstuk 3.1.2 en transparantie↓Transparantie binnen het besluitvormingsproces van AI gaat voornamelijk over het proces en de opgestelde criteria vooraf. >Hoofdstuk 3.1.2 wiskundig↓AI is in de basis ‘gewoon’ wiskunde. Weliswaar een enorm geavanceerde vorm van wiskunde, maar het blijft wiskunde. Het is boven alles een middel om een optimalisatiedoel te bereiken. >Hoofdstuk 1.1.1 benaderen en formaliseren? Ethiek is vanuit dat opzicht een probleem dat moet worden opgelost; hiervoor zijn concrete antwoorden nodig. Ethici daarentegen houden zich veel meer bezig met het bevragen van het vraagstuk zelf. Bestaande vraagstukken mogen nieuwe vragen oproepen. Dergelijke abstracte inzichten laten zich echter moeilijk vertalen naar de concrete gebruikerspraktijk.

Om tot ethisch verantwoorde AI-systemen te komen zijn beide zienswijzen nodig. Het is daarom van belang om een meer holistische aanpak te kiezen. Momenteel concurreren wetenschappers van verschillende disciplines nog te veel met elkaar, terwijl ze elkaar juist kunnen aanvullen. De ontwikkeling van AI gaat daarbij verder dan technologie en filosofie. De inzet van AI heeft impact op de gehele samenleving; op de manier waarop we samenwerken en samenleven. Ethici en technici zouden daarom meer moeten gaan samenwerken met onder andere sociologen en economen. Maar ook met biologen en psychologen. Het besluitvormingsproces van systemen lijkt in steeds hogere mate op menselijke ↓We willen graag geloven dat wij mensen rationele wezens zijn. Maar het besluitvormingsproces is grillig. Beeldvorming en ambities spelen naast feitelijke kennis een belangrijke rol. >Hoofdstuk 1.2.2. Hiervoor moeten we beter begrijpen hoe dergelijke processen in het menselijk brein werken en tot uiting komen in menselijk gedrag. Er is daarom een meer transdisciplinaire aanpak nodig.

Onderzoekers van verschillende Amerikaanse universiteiten en bedrijven hebben in 2019 een artikel gepubliceerd in Nature waarin ze oproepen voor een transdisciplinaire wetenschappelijke onderzoeksagenda. Het doel is om meer inzicht te krijgen in het gedrag van AI-systemen. Ontwikkelingen op het gebied van AI brengen machines met een vorm van ‘agency’ steeds dichterbij. Oftewel, machines die zelfstandig acties ondernemen en autonome besluiten nemen. Machines vormen hiermee een nieuwe klasse van actoren in onze samenleving met hun eigen gedragingen en ecosystemen. Dit vraagt volgens de experts om de ontwikkeling van een nieuw wetenschappelijk onderzoeksgebied, namelijk die van Machine Behavior. Het uitgangspunt hierbij is dat we AI-systemen op dezelfde manier moeten bestuderen als de manier waarop we dieren en mensen bestuderen, namelijk door middel van empirische observatie en experimenten.

Operationalisatie in de praktijk

De verschillende benaderwijzen van onder andere ethici en technici laten zich goed duiden aan de hand van de ‘values hierarchy’.

Bovenin de piramide staan de meer abstracte waarden waar veel ethici zich mee bezigen. Onderaan staan de concrete design requirements waar veel technici mee werken. Uiteindelijk moeten waarden geoperationaliseerd worden in de praktijk. Design requirements moeten namelijk meetbaar gemaakt worden om te kunnen hanteren voor en door AI-systemen. Normalisatie kan hierbij helpen om de kloof te dichten. Hiervoor moeten grofweg drie stappen in het ontwerpproces doorlopen worden:

1. Conceptualisatie: waarden moeten allereerst gedefinieerd worden. De betekenis moet duidelijk zijn en universeel toepasbaar zijn. Dit is wat veel ethische principes en richtlijnen doen. Ondanks de beperkingen die veel richtlijnen hebben, is het een belangrijke eerste stap die gezet moet worden.

2. Specificatie: de gedefinieerde waarden moeten vertaald worden naar de specifieke context. Waarden hebben in verschillende situaties namelijk andere betekenissen. Hierdoor ontstaan meer concrete normen die sturing kunnen geven aan het ontwerpproces.

3. Operationalisatie: de gespecificeerde normen moeten vervolgens vertaald worden naar meetbare design requirements. Op deze wijze kunnen verschillende ontwerpkeuzes ten opzichte van elkaar gewogen worden.

Deze meetbare requirements kunnen daarbij vertaald worden naar technische standaarden, waarop keurmerken en certificaten gebaseerd kunnen worden. De uitdaging hierbij is dat dergelijke standaarden internationaal geharmoniseerd worden. Op deze wijze kunnen technici concreter aan de slag met ethisch verantwoorde AI-toepassingen.

» Standaarden zijn breed gedragen afspraken over ethiek, governance en techniek van AI, waardoor AI overal aan dezelfde eisen kan voldoen. «

— Yvette Mulder, NEN

Er mist echter nog een belangrijke stap in dit proces. Namelijk het kwantificeren van wat ‘goed’ en ‘niet goed’ is. Zonder dergelijke wegingen kan een systeem in de context niet bepalen wat de juiste handeling is. Machines hebben een vorm van morele intuïtie nodig die moet meegroeien met de samenleving. Universele waarden veranderen wellicht niet zo snel, maar de weging van verschillende specificaties ervan in verschillende contexten wel. Dit vraagt om een andere benadering van het ontwerpproces.

Het ethisch ontwerpproces

Er zijn verschillende benaderingen om software te ontwikkelen. Deze variëren van zogenaamde ‘Waterfall’ modellen tot ‘Agile’ benaderingen (Leijnen et al., 2020). Bij waterval-modellen wordt het ontwerp bij de aanvang van het proces bepaald en bij agile benaderingen is er sprake van een meer iteratieve aanpak. Volgens de iteratieve aanpak ga je niet lineair van A naar B, maar kom je gedurende het proces nieuwe uitdagingen tegen. Hierdoor moet je soms een stap terugzetten om vooruit te komen of kom je tot het inzicht dat je niet naar B, maar naar C moet toewerken.

Het waterval-model komt in grote lijnen overeen met de huidige door waarden gedreven ethische ontwerpdisciplines, zoals Value Sensitive Design (VSD). Hierbij is het uitgangspunt dat waarden in een zo vroeg mogelijk stadium van het ontwerpproces gedefinieerd moeten worden, zodat zoveel mogelijk waarden ten opzichte van elkaar gemaximaliseerd kunnen worden. Innovatie staat daarbij in dienst van het optimaliseren van deze waarden. Hiervoor is het nodig om al in een vroeg stadium het ontwerp te bepalen en de waarden expliciet te maken. Een belemmering van deze waterval-aanpak is echter dat de focus voornamelijk ligt op waardenconflicten die zich op een abstract niveau voordoen. Er wordt hierbij onvoldoende rekening gehouden met spanningen die tijdens het ontwerpproces kunnen optreden. Met name wanneer het om AI-toepassingen gaat, waarbij factoren als veiligheid heel erg belangrijk zijn, is het lastig om vooraf te bepalen welke design requirements ingebed moeten worden. Dergelijke requirements zijn namelijk gevoelig voor verandering. Wanneer je dit te statisch benaderd kunnen er kwetsbaarheden in het systeem ontstaan. Er wordt hierbij ten onrechte vanuit gegaan dat requirements die vooraf opgesteld worden als het ware overvloeien in de volgende stap van het ontwerpproces. In de praktijk bestaat echter het risico dat delen hiervan verloren gaan en buiten het proces vallen. Het is daardoor mogelijk dat er nieuwe requirements nodig zijn om een ethische toepassing van AI te kunnen waarborgen. Een agile benadering maakt het beter mogelijk om onvoorziene omstandigheden op te vangen en het ontwerp gedurende het proces af te stemmen op nieuwe uitdagingen. Hierdoor is er ook gedurende het ontwerpproces voldoende aandacht voor ethische overwegingen.

Huidige agile aanpakken focussen zich echter te veel op de functionele systeemeisen. Niet de mens, maar het systeem lijkt hierbij centraal te staan. Voor de ontwikkeling van AI-systemen die ethisch verantwoorde beslissingen kunnen maken is daarom een benadering nodig waarbij ook gekeken wordt naar minder tastbare systeemeisen, zoals waarden. Bij de ontwikkeling van AI-systemen ligt de nadruk nu nog vaak op de vraag hoe we de betrouwbaarheid van AI-systemen kunnen vergroten, in plaats van op de vraag hoe we deugdelijke AI-systemen kunnen ontwikkelen die de mens op waarde schatten. Het is daarom van belang om uitspraken te doen over hoe zwaar bepaalde waarden ten opzichte van elkaar wegen in de specifieke context. Om dit te kunnen doen is het noodzakelijk om te beseffen dat deze weging van verschillende factoren afhankelijk is. Er zijn tenminste vier factoren van invloed:

> Betrokken stakeholders
> Maatschappelijke doelen (waarden)
> Specifieke belangen
> Context

Om ethiek in praktijk te kunnen brengen moeten al deze factoren vertaald worden naar het ontwerpproces. Voor elke toepassing is de context namelijk anders en gelden er andere belangen. Hierbij geldt dat hoe specifieker de context is, hoe sterker het design wordt. Op deze wijze krijg je maatwerk. En dat is precies wat er in de huidige ethische discussies omtrent AI mist. Er is behoefte aan een proces waarbij ethiek in de context wordt bepaald.

Scrum

Binnen de agile methodiek lijkt met name het scrumproces inspiratie te kunnen bieden om ethiek te borgen in het ontwerpproces. Zo wordt binnen scrum onder andere gebruik gemaakt van zogenaamde ‘user stories’. Het voordeel van user stories is dat die de mens centraal zetten en de verschillende factoren die van belang zijn voor de weging van waarden aan bod laten komen. Een user story is als volgt opgebouwd:

Als……(stakeholder) wil ik……(waarden) om zo……(belangen) bij……(context).

Wanneer we dit vertalen naar een specifiek toepassingsdomein – zoals de zelfrijdende auto – en dit in een specifieke context plaatsen – zoals een botsing tussen twee autonome voertuigen – dan ontstaan er bijvoorbeeld voor de waarde ‘transparantie’ de volgende user stories:

• Als fabrikant wil ik de traceerbaarheid vergroten om zo de systeemfout te kunnen opsporen en verhelpen bij een botsing
• Als gebruiker wil ik de communicatie vergroten om zo geïnformeerd te zijn over de te nemen stappen en verdere afhandeling bij een botsing
• Als wetgever wil ik de verklaarbaarheid vergroten om zo waar nodig strengere eisen te kunnen stellen aan het systeem bij een botsing
• Als verzekeraar wil ik de verklaarbaarheid vergroten om zo de schuldvraag te kunnen herleiden bij een botsing

Door de universele waarde ‘transparantie’ in de context te plaatsen wordt deze gespecificeerd. Op deze wijze wordt er binnen transparantie onderscheid gemaakt tussen traceerbaarheid (de gegevenssets en de processen waaruit de beslissing van het AI-systeem voortkomt), verklaarbaarheid (een geschikte verklaring van het besluitvormingsproces van het AI-systeem) en communicatie (de communicatie over de mate van nauwkeurigheid↓In het algemeen geldt dat hoe vollediger en omvangrijker de dataset is waarmee een AI-systeem getraind wordt, hoe nauwkeuriger het systeem is. >Hoofdstuk 3.2.2 en de beperkingen van het systeem). Hierdoor wordt het duidelijk dat verschillende stakeholders verschillende belangen hebben binnen dezelfde waarde. Dit geldt ook voor andere waarden, zoals privacy:

• Als fabrikant wil ik de kwaliteit en integriteit van de data vergroten, om zo onnauwkeurigheden, fouten en vergissingen te kunnen verhelpen bij een botsing
• Als bestuurder wil ik privacy en databescherming vergroten, om zo de bescherming van mijn persoonsgegevens te garanderen bij een botsing
• Als wetgever wil ik de toegang tot data beheersen, om zo protocollen te kunnen instellen en de toegang tot gegevens te kunnen beheren bij een botsing
• Als verzekeraar wil ik de toegang tot data beheersen, om zo duidelijkheid te krijgen over wie onder welke omstandigheden gegevens kan inzien bij een botsing

Op deze wijze ontstaan requirements op gebruikersniveau en kan er dus maatwerk worden toegepast. Het voordeel van deze benadering is daarbij dat programmeurs gewend zijn om met dergelijke processen te werken. Dit versoepelt de implementatie ervan in het ontwerpproces.

Weging

Om als fabrikant een zelfrijdende auto te kunnen ontwikkelen is het niet alleen van belang om te weten wélke verschillende belangen er zijn, maar ook op welke wijze deze verschillende belangen ten opzichte van elkaar wegen. Hierbij kan tevens inspiratie gehaald worden uit het scrumproces, namelijk door te kijken naar ‘planning poker’. Normaliter wordt deze methodiek ingezet om te bepalen welke activiteiten er in het ontwerpproces voorrang krijgen en als eerste moeten worden opgepakt. Hierbij worden er meetbare waardes toegekend, zoals 0, 1, 40 en 100. In het geval van het wegen van ethische belangen werkt het echter beter om het zogenaamde ‘T-shirt sizing’ toe te passen. Hierbij worden de verschillende belangen gewogen door gebruik te maken van S, M, L en XL. Op deze wijze kan er uitdrukking gegeven worden aan de zwaarte van het belang, zonder dat de illusie wordt gewekt dat een bepaald belang bijvoorbeeld honderd keer zoveel waard is dan een ander belang. Een slechte daad is daarbij niet in te ruilen voor een goede daad. Uiteindelijk worden alle belangen meegenomen in het ontwerpproces, maar kunnen er op deze wijze wel keuzes worden gemaakt in het ontwerpproces.

Deze methodiek kan ook gehanteerd worden om mogelijke waardenconflicten op te sporen en ten opzichte van elkaar te wegen. Want wat weegt zwaarder wanneer er een botsing tussen twee autonome voertuigen heeft plaatsgevonden? De traceerbaarheid van het beslissingsproces voor de fabrikant (transparantie)? Of het beschermen van de persoonsgegevens van de gebruiker (privacy)? Ook deze belangen kunnen ten opzichte van elkaar gewogen worden. Op deze wijze wordt het inzichtelijk dat de meeste trade-offs plaatsvinden tussen gebruikersgroepen en in mindere mate tussen mens en systeem. En ook hier geldt dat het niet gaat om een uitruil, maar om een ordening van prioriteiten. Het doel is om deze waarden uiteindelijk ten opzichte van elkaar te maximaliseren door middel van het design.

Ethisch ontwerpspel

Een boek over ethiek in het ontwerpproces van AI, waarin wordt geconstateerd dat er vooral veel wordt geschreven over ethiek en een handelingsperspectief veelal ontbreekt, kan niet bij het geschreven woord blijven. We hebben daarom, geïnspireerd op het scrumproces, een ethisch ontwerpspel ontwikkeld dat kan worden ingezet om het gesprek over ethiek beter te stroomlijnen. Het spel is ontwikkeld in samenwerking met de normcommissie AI van de NEN (Stichting Koninklijk Nederlands Normalisatie Instituut) en het lectoraat Artificial Intelligence van de Hogeschool Utrecht. Het biedt beleidsmakers, ontwikkelaars, filosofen en eigenlijk iedereen met een interesse in ethiek, de mogelijkheid om met elkaar in gesprek te gaan over wat we als samenleving belangrijk vinden bij de ontwikkeling van AI. Het helpt om meer inzicht te verkrijgen in de verschillende stakeholderperspectieven en belangen en moet bijdragen aan een constructiever gesprek over AI en ethiek. Doordat belangen ten opzichte van elkaar worden afgewogen kunnen er concrete keuzes gemaakt worden in het ontwerpproces.

A final piece of advice

Om ethisch verantwoorde AI-toepassingen in de toekomst te kunnen waarborgen moeten uiteindelijk alle stromingen en benaderingen verenigd worden. Er zijn ethische richtlijnen, assessments en standaarden nodig (beginselethiek↓Bij beginselethiek wordt steeds een beginsel als uitgangspunt genomen. Denk bijvoorbeeld aan eerbied voor het leven en menselijke waardigheid. Bij de oplossing van een ethisch probleem moet recht gedaan worden aan een of meer van deze beginselen of principes. Het beginsel dient hierbij te allen tijde toegepast te worden, onafhankelijk van de gevolgen. >Hoofdstuk 3.1.3) om waardenconflicten in een vroegtijdig stadium in kaart te kunnen brengen en waarden te kunnen verenigen (gevolgenethiek↓De gevolgenethiek stelt dat de gevolgen van een bepaalde handeling bepalen of er sprake is van ‘juist handelen’. Het gedrag moet dus positieve gevolgen hebben, zelfs wanneer hierbij bepaalde beginselen ondermijnd worden. De handeling zelf wordt dus niet ter discussie gesteld, alleen de gevolgen ervan. >Hoofdstuk 3.1.3), om vervolgens AI-toepassingen te kunnen ontwikkelen die ethisch verantwoorde beslissingen kunnen maken (deugdethiek↓Bij de deugdethiek staan niet de regels of bepaalde principes centraal binnen het moreel oordelen, maar het karakter van de persoon die handelt. Ook hier staat het handelen los van de expliciete gevolgen die het heeft. Om goed te kunnen handelen zijn bepaalde karaktereigenschappen nodig, oftewel deugden. >Hoofdstuk 3.1.3). Hierbij zullen de beste elementen uit statisch leren en adaptief leren gecombineerd moeten worden om AI-systemen te kunnen ontwerpen die onze menselijke intuïtie kunnen nastreven en in de specifieke context de juiste beslissingen kunnen nemen. Volledige controle over deze technologieën is wellicht een illusie, maar we kunnen wel degelijk AI-systemen ontwerpen die in ons belang zullen handelen. Nu en in de toekomst.

Hiervoor moeten onder andere technici, ethici, sociologen en economen de krachten bundelen om aan AI-systemen te werken die ethisch verantwoorde beslissingen kunnen nemen. Hierbij is het van belang om te concretiseren wat precies onder ‘goed’ en ‘slecht’ gedrag wordt verstaan en hoeveel waarde we aan verschillende elementen hechten. Er ligt hierbij nog een belangrijke taak voor de wetgever weggelegd. Een programmeur zou alleen verantwoordelijk moeten zijn voor het zo intelligent mogelijk maken van het systeem en het optimaliseren op de doelfuncties. Het is aan de wetgever om, geïnformeerd door de samenleving, deze doelfuncties vast te leggen. Zonder duidelijke wetgeving weet een ontwikkelaar of gebruiker niet waar hij of zij op afgerekend wordt. We zijn er nog niet. Maar ik hoop met deze uitgave en de tool de ontwikkeling van ethisch verantwoorde AI-toepassingen weer een stapje dichterbij geholpen te hebben.

» Echte ethiek begint daar, waar het gebruik van woorden ophoudt. «

— Albert Schweitzer, 1923