“Shit, piss, fuck, cunt, cocksucker, motherfucker en tits”. Deze opsomming van smerige woorden gebruikte de inmiddels overleden Amerikaanse komiek George Carlin in zijn beroemde monoloog ‘Seven words you can never say on television’ uit 1972. Deze woorden mochten destijds niet in de Amerikaanse ether gebruikt worden. Het ging zelfs zover dat Carlin werd gearresteerd toen hij deze act in het openbaar uitvoerde. Reden voor zijn gevangenneming was het verstoren van de vrede.
Auto complete maakt bepaalde woorden niet af
Tegenwoordig kan iedereen zeggen wat hij of zij maar wil. Wel is het nog steeds not done om te schelden op de radio of op de televisie. Onvertogen woorden worden echter niet langer meer gecensureerd middels een bleep. Nu functioneren computergestuurde scripts als morele ‘gatekeepers’. Websites als Youtube, Google en Amazon bieden hun gebruikers de auto complete functionaliteit. Typ een zoekterm in en een algoritme maakt de zoekopdracht af voordat je klaar bent met tikken.
Auteur Evgeny Mozorov onderzocht of in het huidige internet tijdperk de lijst van dirty words inmiddels wel is toegestaan. Youtube en Amazon censureerden de complete lijst. Google slechts het woord ‘piss’. Tot voor kort was ook het woord ‘biseksueel’ een woord dat niet werd afgemaakt door het algoritme van Google. Pas na vele klachten staat Google bij sommige query’s het afmaken van dit woord toe. Hacker Magazine 2600 publiceerde in 2010 al een Google Blacklist met 400 woorden die hetzelfde lot zijn toebedeeld.
Het algoritme bepaalt dus dat deze zoektermen niet moreel verantwoord zijn. De problematiek zit niet alleen in de criteria waarmee deze algoritmen keuzes maken, het zit ook in de beïnvloeding ervan. We weten allemaal hoe makkelijk de Google zoekresultaten te beïnvloeden zijn: Search Engine Optimalization is een marketingtak op zich. De vrouw van de Duitse minister-president ondervindt hier momenteel de hinderlijke gevolgen van. Een aantal kranten beschuldigen haar van het feit dat ze vroeger als escort service haar brood verdiende. Wanneer je nu haar naam in de zoekbox van Google invult, wordt deze automatisch aangevuld met het woord “prostituee”. Wat is precies objectief aan de waarheid die algoritmen hanteren?
Morele machines
Met de data-explosie en het toenemende handelingsvermogen van algoritmen is het niet langer een optie voor ontwikkelaars om vrijblijvend na te denken over de ethiek van code. Kijken we naar de toekomst, dan zal de urgentie van deze thematiek zich namelijk nog prominenter manifesteren. Google Driverless Cars, de auto’s die Google zonder menselijke bestuurder al jaren foutloos door Californië laat rijden, zijn bij uitstek het voorbeeld van de actualiteit van machinale moraliteit.
In het essay ‘Moral Machines‘ in The New Yorker stelt Gary Marcus, Professor of Psychology aan de Universiteit van New York, zich het volgende dilemma voor: stel, je rijdt in een autonome auto van Google met een kilometer of 50 per uur over een brug. Op hetzelfde moment raakt een schoolbus met 40 kinderen aan boord op diezelfde brug in de problemen en kruist deze voor jouw auto langs. Moet de auto uitwijken voor de bus en het leven van zijn passagier mogelijk in gevaar brengen of moet de auto doorrijden met als gevolg dat het tegen de bus aanrijdt en het leven van veertig kinderen in gevaar brengt? Als het een ‘split second’ beslissing is, maakt de machine – het algoritme – de keuze. En als het misgaat; wie is er dan verantwoordelijk? De programmeur? Het algoritme zelf? Krijgen we straks rechtszaken waarin een machine ter verantwoording wordt geroepen of wordt bestraft?
Feit is wel dat het zelfrijdende wagenpark van Google inmiddels meer dan 400.000 kilometer heeft afgelegd waar zich maar twee ongelukken hebben voorgedaan. En deze twee ongelukken werden beiden veroorzaakt doordat een mens achter het stuur van de auto kroop. Marcus stelt zelfs dat in de toekomst mensen helemaal niet meer mogen rijden en het aan intelligente software moeten overlaten. Is het in dit geval soms immoreel als we het algoritme niet voor ons zouden laten rijden?
Het gevaar van algoritmisch handelen
Het artikel van Gary Marcus is geschreven naar aanleiding van het rapport “Losing Humanity – The Case against Killer Robots” dat Human Rights Watch, een van ‘s werelds toonaangevende onafhankelijke organisaties gewijd aan de verdediging en bescherming van de mensenrechten, op 19 november 2012 publiceerde. Het rapport voorziet een nabije toekomst waarin geautomatiseerde wapens, zogenaamde “robot killers”, steeds vaker in onze maatschappij gebruikt zullen worden om geschillen op lokaal, nationaal en internationaal niveau te beslissen.
Het rapport analyseert de vraag of deze technologie wel voldoet aan het internationaal humanitair recht en of er genoeg controles zijn ingebouwd om het doden van mensen ten alle tijden te voorkomen. De conclusie van het rapport is dat volledig autonome wapens niet in staat zijn om te voldoen aan de geldende wettelijke normen, maar ook geen rekening houden met essentiele niet-wettelijk verplichte veiligheidsmaatregelen voor burgers. Het rapport geeft het dringende advies dat overheden deze weg niet moeten willen aanslaan en dat volledige autoname wapens verboden moeten worden.
Een paar dagen na het verschijnen van het Human Rights Watch rapport brengt het Pentagon een document naar buiten met als onderwerp ‘Autonomy in Weapon Systems’. In het document, dat is ondertekend door de Deputy Defense Secretary Ashton Carter, wordt gesteld dat al bij het ontwerp van een autonoom wapen rekening gehouden moet worden met onvoorziene situaties. Ten alle tijden moet voorkomen worden dat mensen het slachtoffer worden van fouten in de wijze van progammering. Een mens moet uiteindelijk de controle houden over het inzetten van het wapen.
Drones komen tot leven
In de science fiction film Stealth slaat de kunstmatige intelligentie die een supersonisch gevechtsvliegtuig bestuurt op hol wanneer deze getroffen wordt door een bliksem. Door de inslag worden vergeten subroutines opeens geactiveerd en keert het vliegtuig zich tegen zijn makers. Een scenario wat zich bij uitstek leent voor een film.
De krant The Washington Post volgt al een tijd de operaties van het Amerikaanse leger in Afrika. In het artikel ‘Remote U.S. base at core of secret operations‘ verhaalt de krant hoe een Predator vliegtuig vanzelf startte ondanks dat er geen menselijke order voor werd gegeven en zelfs het startproces en de benzinetoevoer geblokkeerd waren. Techneuten concludeerde uiteindelijk dat een software fout de actie had veroorzaakt, de exacte oorzaak is echter nooit achterhaald. Een anonieme Air Force commander bekende zelfs dat hij de software nog lang niet goed genoeg acht voor gebruik.
Science fiction wordt werkelijkheid
De ontwikkelingen volgen elkaar nu zo razendsnel op dat science fiction als het ware werkelijkheid wordt. Gezien de rapporten van Human Rights Watch en het Pentagon is nu de tijd aangebroken om ethiek en het nemen van morele beslissingen mee te nemen in het ontwerp van intelligente machines. Het doemscenario van de film Terminator waarin het zelfopererende militiare netwerk Skynet besluit om het menselijke ras van de aarde weg te vagen is nog steeds een ver van onze bed show. Het mag echter duidelijk zijn dat de urgentie van het ontbreken van morele regels in onze software sneller voor de deur staat dan we denken. De internetworm Stuxnet dat diverse Iraanse nucleaire faciliteiten saboteerde was nog maar kinderspel.
Machinale Moraliteit
De toekomst van onze data society werpt deze vragen op en de antwoorden zullen misschien wel eerder nodig zijn dan dat we ze kunnen geven. De menselijke ethiek is al een kwestie van work-in-progress, denk bijvoorbeeld aan kwesties als abortus, euthanasie. homohuwelijken en slavernij, hoe moeten we dan in staat zijn de autonome machines van nu en de toekomst een moraliteitsbesef mee te geven? Het vormen van machines en algoritmen met een set aan ethische waarden is een taak die niet lineair is uit te voeren. Wij denken aan filosofen, computerwetenschappers, beleidsbepalers en advocaten als vier groepen met hun eigen beroepsethiek die de kar zullen moeten gaan trekken.
De andere kant van het spectrum is dat de ethische vragen die we opwerpen in dit artikel slechts borrelpraat zijn vergeleken met de vooruitgang die we kunnen boeken. Een dokter heeft geen toegang tot een complete wetenschappelijke database die hij kan aanboren bij elke keuze die hij maakt, een algoritme wel. Door onwetendheid maken artsen dagelijks verkeerde diagnosen of schrijven verkeerde medicijnen voor. Volgens onderzoeksinstituut in Amerika alleen al sterven jaarlijks meer dan 45.000 mensen door een verkeerde diagnose. Sillicon Valley investeerder Vinod Khosla stelt zelfs dat 80 procent van het werk dat doktoren nu uitvoeren in de nabije toekomst gedaan wordt door computers. De vraag of het ethisch verantwoord is om bovenstaande beslissingen niet door een algoritme te laten nemen als de kans dat de beslissing correct is aanzienlijk hoger ligt dan bij een dokter van vlees en bloed, is relevanter dan ooit!
De Duitse socioloog en filosoof Jurgen Habermas schreef ooit: “moral principles are always already immersed in concrete historical contexts of action”. De historische context zal ons in deze kwestie maar deels kunnen voorzien van een referentiekader. De moraliteit van machines stelt ons voor nieuwe keuzen en afwegingen en dit zullen we vorm moeten geven zonder hulp van een ‘auto complete’-functionaliteit.
Dit artikel is samen met Thomas van Manen geschreven.
