Få ämnen diskuteras mer inom internationell säkerhetspolitik än tillämpningen av artificiell intelligens i militära system. Det är en mycket viktig fråga som kommer att ha stor påverkan på framtiden för krigföring och eventuellt även nationalstatens framtid. I detta samtal intervjuar Zebulon Carlander, säkerhetspolitisk programansvarig hos Folk och Försvar, Dr Kenneth Payne, som nyligen publicerade boken “I, Warbot: The Dawn of Artificially Intelligent Conflict” (Hurst & Co., 2021) som går på djupet i hur artificiell intelligens kommer att påverka framtiden för försvar och strategi. Här finns intervjun på engelska.
Kan du förklara vad du menar när du beskriver AI som en teknik för beslutsfattande snarare än ett vapen?
– Det första man kan säga är att någon i strategiska studier har alltid en revolution och hävdar att något är på väg att definitivt förändra krigföring för all framtid. Jag är lite ovillig att gå in på den typen av saker. Men Clausewitz sa att krigets natur i huvudsak var mänsklig. Det var politiskt och socialt, och krig var något som människor gör mot andra människor. Det som slår mig med AI är att det är omänskligt i sitt beslutsfattande, och det är det som är revolutionärt. Det är inte ett vapen som ett järnsvärd eller en katapult, det är snarare en teknik för allmänna ändamål som kan tillämpas på alla typer av aktiviteter, inklusive militära.
– Om du tänker på en teknik skulle den närmaste parallellen vara något som el eller kanske till och med skriftspråk. Det här är teknik för allmänna ändamål som kan tillämpas på en rad saker som människor gör, men som har haft stor påverkan på krigföring. Att skriva är ett sätt att outsourca vår kognition. Det betyder att du kan dela det, människor kan hänvisa tillbaka till det och du kan samla fakta på ett helt annat sätt än vad du kan i muntliga traditioner. Jag tror på ett liknande sätt att AI har potential att åtminstone ha en dramatisk påverkan på krigföring eftersom det fattar beslut på sätt som i grunden är icke-mänskligt och det är en avvikelse från allt som har funnits tidigare.
Du skriver att liberala demokratier måste balansera mellan att konfrontera auktoritära stater och inte kompromissa med sina värderingar. Kan du förklara ditt tänkande?
– Det första man ska säga är att det kan vara riktigt svårt att göra det. Teknik, samhällen och krig har alltid funnits i ett slags trevägsförhållande. Samhällen genererar teknik, varav en del används för krig, sedan förändrar krig samhället, och teknik kan också förändra samhällen. Det finns alla dessa återkopplingsslingor som pågår mellan de teknologikällor som samhället konceptualiserar och skapar och den inverkan de har på krig och sedan slutligen den inverkan som krig har på samhället. Precisionsstyrda vapen är ett bra exempel här. De fick sitt genombrott på 1970-talet efter Vietnamkriget, då USA ville använda precisionsstyrda vapen som ett sätt att kompensera Sovjetunionens överlägsenhet i konventionella styrkor. Jag tror inte att det fanns mycket av en uttrycklig liberal logik i att göra det, men det blev det så småningom. När du väl hade precisionsstyrda vapen skapade det liberala förväntningar på hur du utkämpar krig. Du utkämpar krig på ett sätt som är precist, proportionellt och som minimerar civila förluster. Så tekniken formade den liberala förväntan, som sedan formade utvecklingen av den efterföljande tekniken.
– Jag tror att samma sak gäller för AI, och det finns en känsla att AI redan förändrar liberala samhällen. På några bra sätt. Vi tänker på dess användning eller potentiella användning för att fatta hälsobeslut eller utforma ens konsumtionsval, eller till och med något så enkelt som att hantera vägtrafiknät. Så det finns positiva sidor, men det finns verkliga utmaningar med AI även för liberala samhällen. De har att göra med den privata-offentliga sfären. Om en stat har kapacitet att bedriva AI-baserad övervakning och att samla in all denna data som den inte kunde förut och analysera den, då är det en utmaning för liberala samhällen om de vill behålla essensen av vad som gör dem liberala. Bias är också en annan utmaning för liberala samhällen. Vi vet hur AI -system fångar upp en del av den mänskliga partiskheten i form av data som matas in i dem och replikeras. En sådan partiskhet och potential för orättvis behandling är en utmaning för liberala samhällen.
– En annan sak som jag skulle säga om liberala samhällen och AI är att AI:s historia upp till denna punkt till stor del varit historien om liberala samhällen som bedriver datavetenskap och arbetar med att utveckla artificiell intelligens. Det är en teknik som utvecklades i USA och i en viss utsträckning i Västeuropa. Sovjetunionen gjorde inte mycket på området datavetenskap förrän mycket sent och hade svårt för det. Men nu har AI för första gången med Kina flyttat ut från sitt liberala ursprung. Jag tror fortfarande att liberala samhällen har en verklig fördel när det gäller att utveckla avancerade AI-system. Bland dessa fördelar finns en stark historia av vetenskaplig innovation och robusta lagar om immateriella rättigheter. Särskilt i USA har de en unik kultur som är en blandning av stora federala utgifter, riskkapital, universitetsforskning och nu senast stora privata företag med djupa fickor. Så det finns några stora fördelar som det liberala västvärlden har med att utveckla avancerad AI som det inte är uppenbart för mig att Kina enkelt kan replikera.
– Där jag tror att icke-liberala, auktoritära samhällen har några potentiella fördelar är AI i samband med bioteknik, som jag också skriver om i boken. Här handlar det om etiska problem. Liberala samhällen försöker med rätta skydda det som gör dem liberala, särskilt när det gäller bioteknologisk forskning, särskilt när det gäller djurförsök, mänskliga experiment och forskning kring genetisk redigering. De står inför hinder som stater som Kina och Ryssland inte nödvändigtvis gör. Det finns ett bra citat från den franska försvarsministern om bioteknik, att “Vi gör Ironman, men vi kommer inte att göra Spiderman.” Men problemet är att om den andra sidan gör spiderman, var lämnar det dig då? Så det finns två utmaningar i allt som jag har sagt för liberala samhällen. För det första är det vad icke-liberala samhällen är beredda att göra. För det andra är det sättet på vilket AI, liksom all teknik, har potential att förändra det grundläggande fundamenten i samhället.
I boken varnar du för teknisk determinism. Kan du utveckla ditt tänkande?
– I akademiska kretsar ses teknologisk determinism som ett stort nej. Men om man tittar på mycket militärt skrivande om AI är det alltid antingen “Revolutionen är nära” och “Den förändrar krigföring i grunden” eller så är det “Ingenting förändras” och “Ni är kvacksalvare!”. Vad de två positionerna gör är att de uteslutande fokuserar på tekniken. De fokuserar inte på varifrån den kommer och hur kultur och samhälle formar källan till teknik som utvecklas och hur den sedan används.
– Jag tror att det stämmer med mycket av det som skrivits om AI. Det omvända är också ganska sant på ett sätt med de personer som kampanjar mot “Killer robots”. De är mycket fokuserade på möjligheten att AI används för att döda människor utan mänskligt ingripande, men de tittar bara på ytfenomenet utan att titta på de djupa underliggande trenderna som driver oss till den punkten. De gräver inte i de kulturella aspekterna som genererar dessa påtryckningar, i det här fallet säkerhetsdilemmat, eller i de tekniska argument som driver dig obönhörligt mot den punkten. Deras svar flyter bara fritt från både tekniken och de sociala påtryckningar som skapar den. Så det är vad jag menar med teknisk determinism. Du måste ha ett mer realistiskt perspektiv på hur tekniken växer fram från särskilda kulturella värden och sedan används av dessa kulturella värden.
Du lägger stor vikt vid kultur och teknik i boken. Kan du förklara sambandet mellan dem?
– Det är intressant att tänka på hur militära kulturer (plural – eftersom det finns mer än en kultur i det militära) formar användningen av teknik. Militärer är av mycket goda skäl konservativa och hierarkiska. De gillar att göra saker som de har gjort tidigare, för i allmänhet har det som gjorts fungerat och bevisat sig i strid. Det finns skäl att vara konservativ och hierarkisk eftersom det hjälper dig att hantera kaos i strid. Men det kan ibland vara ett hinder för innovation och förändring. AI utmanar all militär verksamhet. I Storbritannien har vi entusiasm på toppen, men inte mycket uppföljning under. Frågan är om själva tekniken skapar en obestridlig logik för att använda den. Det sätt på vilket den gör det är genom att vinna krigsspel, övningar och simulatorer. Om du skapar en obestridlig logik för förändring måste förändring följa. Så jag tror att militära kulturer ibland är särskilt motståndskraftiga mot förändringar, men jag tror att AI har tillräckligt med drivkraft bakom sig för att driva på förändringar i det här fallet.
I boken argumenterar du för att AI kommer att göra stor skillnad på det taktiska området, men du varnar för att använda det som ett strategiskt verktyg. Kan du beskriva ditt resonemang?
– Taktik är ett problem som passar AI väldigt väl som vi förstår det nu, vilket är som en mycket polerad version av en miniräknare. Det är något som kan optimera saker på ett sätt som är väldigt bra taktiskt. Det liknar mycket hur du skulle utbilda en soldat, det är repetitivt. Så när det gäller taktiska problem, som att flytta plattformar, eldledning eller logistik, kan AI ha stor påverkan. Problemet är att när du vidgar fokus, börjar du ta med kognitiva krav som är lite olika, vilket Clausewitz kallade befälhavarens “geni”. Du börjar ta in kravet på kreativitet och fantasi. Dessa saker är svårare. För hur programmerar du kreativitet i en maskin?
– Nu är det inte att säga att maskiner inte kan göra bidrag på strategisk nivå, och jag hävdar att de kan göra det, som ett slags underrättelsefilter, som filtrerar mycket information som kommer in, för att hjälpa mänskliga befälhavare. Men jag tror att åtminstone där det finns tid och utrymme att göra det, kommer strategi i huvudsak att förbli mänskligt. Det kan dock bli så att det inte finns tid och utrymme att göra vissa saker, till exempel om eskaleringstrappan flyttas upp mycket snabbt av autonoma system. Det kan vara så att människor som är beredda att lämna människan utanför beslutscykeln längst har en fördel. Det är ett problem om du befinner dig i en eskalerande situation och din fiende är beredd att delegera beslutsfattande till en maskin av tidsskäl.
Hur tror du att mindre stater som Sverige bäst kan utnyttja fördelarna med AI i militära system?
– Jag vet inte mycket om tillståndet i Sveriges inhemska AI -kapacitet, universitetssektorn och företag som gör AI. Jag vill också säga att Sverige är lite av en ovanlig småstat. Sverige har oproportionellt stort inflytande militärt och har också en överdimensionerad, relativt landets storlek, försvarsindustri, som också har en historia av innovation inom försvarsmateriel. Så jag tror att Sverige är i en avundsvärd position relativt många andra små stater. Men jag tror mer allmänt att det kommer att finnas ett verkligt problem för stater som inte är AI-innovatörer och som inte genererar sin egen spetskompetens eftersom de kommer att bli alltmer beroende av de största staterna som exporterar till dem.
– F-35 är ett tydligt exempel på detta. Men det är bara det första steget i en process som jag tror kommer att bli mycket mer betydelsefull. AI:s främsta fördel är som beslutsfattande teknik och det är dess unika förmåga. Det skapar inte ett snabbare eller mer manövrerbart stridsflygplan, men den skapar ett som fattar beslut snabbare än sin motståndare. Om så är fallet måste du vara i framkant, för det finns ett riktigt tryck att vara där. Om mitt stridsflyg tänker 100 gånger snabbare än en människa, men ditt tänker 102 gånger snabbare än en människa, då kommer du att vinna flest gånger mot mitt stridsflyg.
– Så jag måste ha den bästa beslutstekniken. Var kommer den beslutsfattande tekniken ifrån? Förmodligen USA. Och det kommer sannolikt att behöva uppdateras mycket regelbundet för att kunna hålla sig i framkant. Det kommer förmodligen att säljas som en sluten låda. Det är som en tjänst snarare än en produkt. Så du kan ha F-35 men en del av den skulle du inte se koden till, och du kommer att vara helt beroende av tillverkaren för att hålla koden uppdaterad. Det är fungerar för närvarande med koder som uppdateras vart femte år. Men vad händer om koden uppdateras varje vecka? Eller tänk om tillverkaren plötsligt bestämmer sig för att den inte vill uppdatera din kod längre? Eller ännu värre, tänk om det kan omprogrammera din kod så att du inte kan använda tekniken på det sätt du vill?
– Det finns en risk att om du köper materiel som uppdateras extremt snabbt, blir du en klientstat till staten som säljer det till dig. Det är sant nu, det har varit sant för alltid. Om du har importerat MiG 21 från Sovjetunionen är du i huvudsak en klientstat till Sovjetstaten. Men när du väl fått din MiG 21, eller om du är Iran, när du väl fått din F-14, kan du hålla den flygande i årtionden. Det är inte uppenbart för mig att när du har köpt ditt nästa stridsflygssystem, kommer du att kunna fortsätta med det om USA, Kina eller Ryssland beslutar att det inte vill att du ska fortsätta. Så problemet för de små staterna är detta: Om de inte kan förnya den senaste tekniken måste de därför importera den. De är sårbara för koduppdateringar, AI-uppdateringar, från staten de köper den från. Jag tror att vi går in i en era där materiel kommer att bli mycket mer engångsbruk och även där kod kommer att replikeras över plattformar, så du kommer att få mycket mer massa. Det är en verklig utmaning för småstaterna. Kan de flytta till den modellen? Inte utan hjälp av en större allierad.
Du avslutar boken med att formulera tre regler för krigsrobotar. Dessa är (1) En krigsrobot ska bara döda dem jag vill att den ska, och den ska göra det så mänskligt som möjligt. (2) En krigsrobot bör förstå mina avsikter och arbeta kreativt för att uppnå dem. (3) En krigsrobot bör skydda människorna på min sida och offra sig för att göra det – men inte på uppdragets bekostnad. Kan du förklara ditt tänkande bakom dessa regler?
– Jag funderade på att komma med regler som speglar Isaac Asimovs tre robotiklagar, men som är ändamålsenliga. Jag är inte säker på om jag gjorde det, för det är en riktig utmaning. När jag säger att en krigsrobot bara ska döda det jag vill att den ska, och att den ska göra det så mänskligt som möjligt, är det väldigt subjektivt. Vilka är “jag”? Vilka tar beslutet och när tar de det? Ofta, om du är mitt i striden, vet du inte vem du behöver döda för att vinna striden. Du ändrar också din bedömning om hur gärna du vill vinna striden. Allt är flytande och interagerar. När jag fattar det här beslutet vem krigsroboten ska döda, hur laddar jag upp dessa beslut till den? Det är innan du kommer in på de tekniska utmaningarna för krigsroboten att kunna hitta, identifiera och döda de människor som jag har bett den att hitta, identifiera och döda.
-Den andra regeln handlar om problemet med oavsiktliga konsekvenser. I den dystopiska ytterligheten är det tanken på en sci-fi-robot som försöker ta över planeten. Men mer realistiskt är problemet med att få roboten att förstå dina avsikter, så att den följer dem på ett tillfredsställande sätt, och det har varit ett långvarigt problem inom AI -forskning. När jag stipulerade regeln försökte jag inte svara på frågan, jag försökte bara formulera den som “det här är utmaningen, en krigsrobot behöver förstå mina avsikter”. Hur får du en krigsrobot att förstå dina avsikter? På taktisk nivå är det väldigt enkelt. Allt på högre nivåer blir mer utmanande.
-Den sista regeln handlar om utmaningen med motstridiga mål – skydda mitt folk, vinn striden. För Asimov bör en robot alltid skydda människoliv, framför allt annat. Det är svaret på de klassiska robotreglerna. Men det pekar på den viktigaste etiska skillnaden mellan civilsamhället och krigstid. I krigstid kan du inte sätta det mänskliga livets helighet framför allt annat. I krig måste man ta risker. Ibland är dessa risker extrema och du måste fatta ett beslut med full vetskap om att människor kommer att dö, inklusive människor på din sida. Om du sa till en krigsrobot att den till varje pris borde rädda människan, då skulle hindra dig själv på ett sätt som du inte skulle göra om du gav order till människor. Du skulle inte säga det till en militärbefälhavare utan AI att till varje pris inte förlora någon. I ett nötskal är mina regler mer ett erkännande av problemets omfattning. Jag är inte säker på att jag besvarade problemen med krigsrobotar, men mitt syfte med att utforma dessa regler var att på något sätt skärpa fokus på utmaningen som liberala samhällen som ditt och mitt står inför.