Derfor frykter forskere kunstig intelligens

Kunstig intelligens kan komme til å ødelegge menneskeheten, mener mange forskere. Her er et forsøk på å forklare hvorfor.

Omtrent halvparten av maskinlæringseksperter mener det er minst 10 prosent risiko for at kunstig intelligens kommer til å ødelegge menneskeheten. Ideen om KI som en trussel mot menneskeheten er blitt nevnt i flere nylige innlegg.

Men nøyaktig hvorfor tror de bekymrede ekspertene at KI kan bli så farlig?

Grunnen til at KI kan utgjøre en trussel mot menneskeheten, kan forstås ved hjelp av to begreper: makt og kontroll. Når noe er både mektig og vanskelig å kontrollere, kan det være farlig.

Fordi det er grunn til å tro at KI både kan bli ekstremt mektig og ekstremt vanskelig å kontrollere, kan KI bli ekstremt farlig.

Mektigere enn atomvåpen

Makt, slik jeg bruker det her, er evne til å påvirke. En atombombe er et mektig verktøy fordi den kan forårsake frykt og stor ødeleggelse. En statsleder er mektig fordi hun har innflytelse over folk og tilgang til mektige verktøy som lovgivning og militære.

KI kan bli mektig på begge disse måtene, både som et verktøy og som en aktør som kan bruke verktøy.

Det er kanskje vanskelig å forestille seg at KI kan bli like mektig eller mektigere enn for eksempel atomvåpen. Men det vi kaller KI, er i bunn og grunn problemløsningsmaskiner som vi kan bruke til å løse alle mulige slags problemer.

Allerede løser KI mange problemer bedre enn mennesker, for eksempel mange spill og mønstergjenkjenningsoppgaver.

Ettersom KI blir bedre, vil listen over problemer den løser bedre enn mennesker, vokse. Og trolig kan den etter hvert få like stor påvirkningskraft som atombomber.

For eksempel kan det hende KI blir ekstremt god til å forutsi markedsbevegelser. Slik kan den brukes til å tjene ekstremt mye penger.

Eller kanskje blir KI ekstremt god til å finne og utnytte hull i digitale sikkerhetssystemer. Slik kan den brukes til å ta kontroll over eller ødelegge våre digitale systemer, enten det gjelder banksystemet, strømnettet eller helsevesenet.

Kanskje kan KI bli ekstremt god på å manipulere mennesker slik at den kan brukes til å starte revolusjoner, spre ideologier eller påvirke valg. Og akkurat som dagens KI er uslåelig på sjakkbrettet, kan fremtidens KI bli en uslåelig taktiker i virkelighetens konflikter.

Intelligenseksplosjon

Det finnes få grenser for hva KI kan komme til å kunne brukes til. KI brukes allerede til å tjene penger på børsen, til å identifisere digitale sikkerhetshull og til å manipulere oss til å bruke mer tid på sosiale medier.

I fremtiden kan KI komme til å brukes til å felle regimer, vinne kriger eller lage et virus som utsletter menneskeheten.

De som er aller mest bekymret for KI, legger gjerne vekt på et element som gjør at KI kanskje kan bli ekstremt mektig mye fortere enn man ellers skulle tro: muligheten for en såkalt intelligenseksplosjon.

Om vi har en KI som er bedre enn oss til å forbedre KI, så kan denne lage en KI som igjen er bedre enn den opprinnelige til å forbedre KI. Denne KI-en kan deretter lage en ny KI som igjen er i stand til å lage en enda bedre KI, og så videre.

Plutselig kan vi stå overfor en KI som er tusenvis av ganger mektigere enn den vi startet med, og kanskje hele prosessen kun tok noen dager.

Vår tids kong Midas

Selv om mektige verktøy kan være problematiske i seg selv, er det spesielt når stor makt er kombinert med mangel på kontroll at det blir virkelig farlig. Når jeg snakker om kontroll over KI her, mener jeg noe slikt som vår evne til å sikre at KI gagner og ikke skader menneskeheten.

For det første kan det bli vanskeligere å hindre individer med onde hensikter fra å få tilgang på mektig KI enn det er å hindre dem fra å få tilgang på for eksempel atombomber. Grunnen til det er at KI er dataprogrammer som kan kopieres og overføres over internett.

Vi kan heller ikke være sikre på at de første som utvikler mektig KI, kommer til å bruke det på en god måte (se for deg et privat selskap med tilgang til verdens eneste atomarsenal).

Selv om vi skulle hindre at mektig KI faller i feil hender, er det fortsatt god grunn til å tro at KI vil være vanskelig å kontrollere. KI kan nemlig selv bli en slags aktør som handler på egen hånd etter egne mål. Vi vet ikke hvordan vi skal sikre at en slik KI kun kommer til å gjøre det vi vil at den skal gjøre.

Dette er samsvarsproblemet (the alignment problem), en slags moderne variant av historien om «Kong Midas». Han ønsket at alt han tok på, ble til gull. Det han ba om («La alt jeg tar på, bli til gull»), samsvarte ikke med det han egentlig ville ha (muligheten til å røre sine kjære uten å drepe dem).

Da Youtube designet KI-algoritmen som styrer hvilke videoer du blir anbefalt å se, ønsket de at folk skulle engasjeres mest mulig av videoene de så. Men det algoritmen gjorde, var å anbefale videoer som ledet folk inn i konspirasjonsteorier og radikale ideologier, fordi radikaliserte konspirasjonsteoretikere er veldig engasjerte.

Youtube fikk det de ba om, men ikke det de egentlig ville ha.

Samler makt

Jo mektigere og smartere en KI er, jo verre blir problemet. En grunn til dette er at det er visse ting som er smart å gjøre nesten uansett hva slags mål man måtte ha.

For eksempel vil de fleste mål bli lettere å oppnå dersom man har makt, og vanskeligere å oppnå dersom man er skrudd av. Derfor vil en smart KI sannsynligvis begynne å samle makt og ta forholdsregler for å unngå å bli skrudd av.

Det er ikke lenge siden bekymringer om KI som en trussel mot menneskeheten var vanskelig å nevne uten fare for å bli latterliggjort. Den tiden er forhåpentlig forbi. Men det er fortsatt ikke uvanlig å høre at den eksistensielle trusselen er en distraksjon fra mer nærliggende problemer med KI.

Dette virker kortsiktig, ikke minst fordi de nærliggende problemene – for eksempel Youtube-algoritmen – er varianter av kontroll og samsvarsproblemet.

Jeg ser ingen grunn til ikke å ta hverken de små eller store problemene seriøst.