Apokalypsens ryttere

«Utviklingen av full kunstig intelligens kan bety slutten for menneskeheten.» Stephen Hawkings uttalelse fra 2014 fikk nytt liv i pressen og sosiale medier etter at den berømte astrofysikeren gikk bort tidligere i år. Frykten for kunstig intelligens var lenge forbeholdt science fiction, men de siste årene har det blitt et gjennomgangstema i den offentlige debatten, både med automatiseringen som truer med å gjøre mange yrker overflødige og skape massiv arbeidsledighet, og den ikke mindre skremmende muligheten for drapsroboter.

Så forskjellige folk som filosofen og forskeren Nick Bostrom¹ og Tesla-gründer Elon Musk advarer mot de eksistensielle farene «superintelligente» og potensielt ukontrollerbare maskiner vil utgjøre for menneskeheten. Musk mener til og med at disse vil være farligere enn atombomben.

Samtidig har frykten fått selskap av transhumanismen. Ideologien som oppsto i Silicon Valley på 1980-tallet ønsker å forbedre mennesket fysisk og mentalt ved hjelp av teknologi og kunstig intelligens, med det ultimate målet om å forene menneske og maskin. Allerede i 2002 mente økonomen og statsviteren Francis Fukuyama at disse ideene utgjorde den største faren i menneskehetens historie.²

Påstått filantropi

Hypotesen om at maskinene snart vil overgå mennesket kalles «singulariteten». Begrepet stammer fra 1993 og artikkelen «The Coming Technological Singularity» av den amerikanske science fiction-forfatteren Vernor Vinge.³ Singulariteten angir den ukjente datoen når den kunstige intelligensen vil overgå vår og innlede en ny tidsalder våre menneskelige hjerner ikke er i stand til å fatte. Vinge hadde selv sine forgjengere og inspirasjonskilder, som matematikeren Stanislaw Ulams fabuleringer om en stadig akselererende teknologisk utvikling, science fiction-forfatterne Isaac Asimov (The Last Question (1956) og Philip K. Dick (Vulcan’s Hammer fra 1960 og «The Electric Ant», 1970), samt statistikeren Irving John Goods hypoteser om ultra-intelligente maskiner.

Tre måneder med Le Monde
diplomatique for 99 kroner!

Papiravis og full digital tilgang

Bestill nå

Fornyes til 199,- per kvartal

Dommedagsscenariene kommer fra folk som selv jobber for å utvikle det de advarer mot.

På 2000-tallet gjorde Silicon Valley og deres ledestjerner singulariteten til et sentralt problem og la fundamentet for en egen tankeretning. Flere av disse, som Ray Kurzweil, Google-forsker og selverklært transhumanist, ser ikke singulariteten som en katastrofe, men en ønsket utvikling. Teknologioptimister som Kurzweil er fortsatt i mindretall, men både pessimistene og optimistene er enige på ett punkt: Den uvegerlige teknologiske utviklingen gjør singulariteten uunngåelig. Heller enn å forsøke å forhindre den, må menneskeheten forberede seg og begrense de negative konsekvensene.

Et påfallende paradoks er imidlertid at alle disse scenariene, både de apokalyptiske og de preventive, kommer fra forskere og næringslivsledere som er med på å utvikle det de advarer mot. Med en flom av penger fra Silicon Valley dukker det stadig opp organisasjoner og etikkomiteer som skal utforme normer og regler for å beskytte oss mot opprør fra maskinene.

Skurker og helter

I 2015 opprettet næringslivsledere som Elon Musk, Sam Altman (leder av den innflytelsesrike inkubatoren Y Combinator) og PayPal-grunnlegger Peter Thiel organisasjonen OpenAI som skal fremme en godhjertet kunstig intelligens. Skype-grunnlegger Jaan Tallinn har Future of Life Institute, som skal redusere «de eksistensielle farene» knyttet til teknologisk utvikling, med en sjenerøs donasjon på ti millioner dollar fra Musk.

Singularity University, som vil opplyse og ansvarliggjøre dataindustrien overfor «menneskehetens store utfordringer», ble startet med penger fra folk som Kurzweil og romturisme- og astroidegruvegründer Peter Diamandis. I september 2016 ble Partnership on AI to Benefit People and Society lansert med pomp og prakt. Blant grunnleggerne av organisasjonen som skal utforme «retningslinjer for kunstig intelligens-teknologi», finner vi Google, Apple, Facebook, Amazon, Microsoft og IBM.

Listen over organisasjoner og initiativ er enda lengre, men de har alle til felles kredoet til Diamandis: «En dag vil politikerne våkne opp og da vil det være for sent. Vi må komme dem i forkjøpet. Jeg tror mye mer på bedriftsledernes makt enn politikernes, eller politikken i det hele tatt.»⁴

I boka Le Mythe de la singularité (2017) oppsummerer dataingeniøren og filosofen Jean-Gabriel Ganascia situasjonen slik: «Vi står overfor ‘pyromane brannmenn’. Med viten og vilje starter de brannen og later samtidig som om de forsøker å slukke den for å gi seg selv en helterolle.» Selskapenes påståtte filantropi passer nokså dårlig med deres forakt for skatt og arbeidsmiljølover. Så hvorfor finansierer de organisasjoner som, via forskere og filosofer, lufter dystre spådommer om konsekvensene av teknologiene deres?

Evig liv eller fryst filet

Musk eller Facebook-grunnlegger Mark Zuckerberg er kanskje genuint opptatt av å videreføre og aktualisere framskrittsidealet til opplysningstenkerne, men de er først og fremst forretningsmenn. De har slått seg opp takket være en modell som har blitt perfeksjonert de to siste tiårene: å skape oppmerksomhet om et problem som de så står klare til å selge en løsning for. Å gi folk lengre liv og bedre mentale eller fysiske evner er et potensielt lukrativt marked som kan bli en milliardindustri om få år. Det er også god reklame, siden det plasserer dataindustrien i sentrum for menneskets framtid – og fanger investorenes oppmerksomhet.

Francesco Panese, professor i medisinsk sosiologi ved Universitetet i Lausanne, mener at det de siste årene har dukket opp en utopisk eller dystopisk «lovnadsøkonomi». «Framveksten av startup-selskaper i teknologimiljøene skyldes investeringer fra risikokapitalister som åpner pengesekken etter løfter om å endre verden», forklarer han. Det er et misforhold mellom teknologene som innoverer og de uinnvidde kapitalistene, dermed blir det sosiologen kaller en «angstbetont erotisering av framskrittet» en måte å «forføre lekfolkene» på.

I transhumanismen dreier deg seg ikke lenger om å redde samfunnet, men individet.

Lekfolk, men ikke idioter. Teknoløftene er også forbundet med en mer pragmatisk og mindre medietilpasset diskurs. Om investorene ikke selv drømmer om å la seg fryse ned for å reise ut i rommet eller vende tilbake fra døden, vet de at slik forskning vil gi bedre konserveringsmetoder, noe som blant annet butikkjeder er interessert i. Loves det evig liv bare for å finne en mer effektiv måte å fryse ned torskefileter på?

«Mange forskere og bedriftsledere som er svært forsiktige i akademiske settinger, har en tendens til å komme med sensasjonelle erklæringer til pressen. Med det appellerer de direkte til investorene som for det meste har en begrenset teknisk kunnskap, ofte bare tilegnet fra New York Times eller Wall Street Journal», sier Zachary Chase Lipton, forsker på maskinlæring ved universitetet Carnegie Mellon. På bloggen sin Approximately Correct dekonstruerer han de overdrevne forestillingene om kunstig intelligens.

Ødeleggende avpolitisering

Filosofen Gabriel Dorthe, som har forsket på den franske organisasjonen for transhumanisme, mener «denne monstrøse hypen i mediene skjuler eller bagatelliserer en rekke konkrete eksempler på bruk av kunstig intelligens». For eksempel algoritmer som hjelper med å ta beslutninger, utviklet for å rasjonalisere menneskelige valg og allerede i bruk hos politiet, rettsvesenet, forsikringsselskaper og HR-avdelinger i USA.

Langt under medienes radar viser matematikeren Cathy O’Neil i boka Weapons of Math Destruction (2016) konsekvensene av disse algoritmene for de mest sårbare delene av befolkningen. For eksempel programmer som erklærer individer som potensielt farlige uten at de har begått andre forbrytelser enn å bo i et fattig strøk. Et alvorlig tema, men langt mindre skremmende og mobiliserende enn menneskehetens endelikt.

«Vi er alle medskyldige, også forskerne. Transhumanismen gjør at de som arbeider med forskning kan utgi bøker eller artikler om en truet menneskehet, og få stillinger», sier Dorthe. I 2014 signerte over åtte hundre intellektuelle og forskere, hvorav tre hundre nevrobiologer, et åpent brev mot Human Brain Project. Målet med dette prosjektet til 1,2 milliarder euro (500 millioner i EU-midler) er å gjenskape menneskehjernen ved hjelp av en supercomputer innen 2024.

Som mange andre kritiserte Richard Hahnloser, professor i nevrovitenskap ved Universitetet i Zurich, prosjektet for å gi «løfter uten reelt innhold»,⁵ for å mangle forskere i prosjektledelsen og for at det var gitt for mye makt til næringslivet, som er mer drevet av utsiktene til at nevromorfisk informatikk kan gi kraftigere datamaskiner enn et genuint ønske om å forstå hvordan hjernen vår fungerer.

En annen konsekvens av promoteringen av en teknologisk posthumanitet er at man hopper bukk over politikken. Alt skjer som om kunstig intelligens er et for alvorlig spørsmål til å kunne overlates til regjeringene eller offentlig beslutningstagning, at det må forbeholdes ekspertene, selv om de har åpenbare egeninteresser. «Den etiske refleksjonen fører til en ødeleggende avpolitisering,» mener Panese. «Google, Amazon, Facebook, Apple, Microsoft har en uttalt interesse i å la debatten handle om verdier, uten å gi rom for refleksjoner over de umiddelbare konsekvensene av teknologi, sosial ulikhet eller framveksten av nye maktsentre.»

Protestantisk ekko

I tillegg til denne glidningen fra politikk til etikk, innebærer singularitetsdiskursen også at man går fra vitenskapelig rasjonalitet til myter. Teknologien blir her ikke et grunnlag for en prediktiv teori basert på observasjoner (slik som i klimavitenskapen), men for en stor tragisk fortelling om mennesket.

«Transhumanismen er et trossystem. Den har mer til felles med religion enn vitenskap», mener fysikkprofessor Richard Jones ved Universitetet i Sheffield, som har skrevet en e-bok kalt Against Transhumanism.⁶ «Transhumanismen henspiller på menneskehetens grunnlagsmyter og resirkulerer visse hovedelementer: ideen om at en høyere intelligens kan gi oss et fullkomment liv, eller også udødelighet, og være herre over vår lykke eller ulykke. Mer overraskende ligner transhumanismen mye på den russiske kosmismen, en filosofisk bevegelse på begynnelsen av 1900-tallet, og spesielt ideene til den ortodokse tenkeren Nikolaj Fjodorov, som mente vitenskapen kunne oppfylle Bibelens løfter på Jorda. Han var overbevist om at teknologien ville gjøre oss udødelige.»

Fortellingen om singulariteten gir gjenklang i «en eldgammel postapokalyptisk diskurs som i Vesten går tilbake til joakimismen på 1100-tallet», mener historikeren og forskeren Franck Damour ved Det katolske universitetet i Lille. Ny teknologi gir et løfte om frelse som får ulike utslag alt etter kultur.

I vestlig tenkning forstås framveksten av kunstig intelligens som en irreversibel hendelse som vil innlede en singulær og fundamentalt annerledes tidsalder, slik som i Johannes’ åpenbaring. I hinduismens sykliske historieforståelse vil den ikke forstås som et singulært brudd, men snarere en tilbakevending eller gjenoppretting av en gammel kosmogonisk tid, og dermed vil verden snart gå inn i satya yuga, menneskehetens gullalder i hinduistisk tidsregning.⁷

I USA møter transhumanismen en viss gjenklang hos protestantiske bevegelser. «Spesielt med den såkalte fjerde store oppvåkningen, som på 1960-tallet gjorde kroppslig suksess – en sunn, sterk og lengelevende kropp – til et tegn på at man var Guds utvalgte», forteller Damour. I motsetning til de scientistiske bevegelsene på 1800-tallet som hadde i seg en kollektiv dimensjon, som saint-simonismen, dreier det seg i transhumanismen ikke lenger om å redde samfunnet, men individet.

«Man hopper rett fra individet til en diskurs om menneskearten generelt, uten å gå via samfunnet», sier historikeren. «Frelsen skjer først og fremst via kroppen. Det er ikke lenger statene som spiller den avgjørende rollen i organiseringen av verden, men individene, gjennom næringsliv og bedrifter. Den økonomiske liberalismen har kanskje aldri hatt et så tydelig mål.» Og motstanderne befinner seg oftere blant de fattige som har blitt frarøvet en viktig drivkraft, nemlig ideen om framskritt.

Oversatt av redaksjonen

Guillaume Renouard og Charles Perragin er journalister.

1
Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014.
2
Francis Fukuyama, Our Posthuman Future: Consequences of the Biotechnology Revolution, Picador / Farrar, Straus and Giroux, New York, 2002.
3
Vernor Vinge, «The coming technological singularity: How to survive in the post-human era», Fakultet for matematiske vitenskaper, Universitetet i San Diego, 1993.
4
Se Fabien Benoit, «À Palo Alto, au royaume des radieux», Libération, Paris, 9. januar 2017.
5
Lise Loumé, «Human Brain Project: faut-il continuer ce projet à 1,2 milliard d’euros?», Sciences et Avenir, Paris, 9. juli 2014.
6
Richard Jones, «Against Transhumanism – the e-book», 15. januar 2016, www.softmachines.org.
7
Se Robert Geraci, «A tale of two futures: Techno-eschatology in the US and India», Social Compass, vol. 63, nr. 3, New York, september 2016.