I periculi militari di l’IA

Scrittu da Michael T. Klare via Consortium News / TomDispatch.com

Un mondu in quale e macchine governate da l'intelligenza artificiale (AI) rimpiazzanu sistematicamente l'esseri umani in a maiò parte di e funzioni cummerciale, industriali è prufessiunali hè terribili d'imagine. Dopu tuttu, cum'è l'informatici prominenti ci anu avvistatu, i sistemi governati da l'AI sò propensi à errori critichi è "allucinazioni" inspiegabili, risultatu in risultati potenzialmente catastròfichi. Ma ci hè un scenariu ancu più periculosu imaginabile da a proliferazione di macchine super-intelligente: a pussibilità chì queste entità non umane puderanu finisce per cumbatte l'una cù l'altra, obliterandu tutta a vita umana in u prucessu.

L'idea chì l'urdinatori super-intelligenti puderanu funziunà è massacrate l'omu hè, sicuru, longu statu un pilastru di a cultura populari. In u profeticu filmu di u 1983 "WarGames", un supercomputer cunnisciutu cum'è WOPR (per War Operation Plan Response è, senza sorpresa, pronunzianu "whopper") quasi pruvucà una catastròfica guerra nucleare trà i Stati Uniti è l'Unione Sovietica prima di esse disattivata da un adolescente. pirate (interpretatu da Matthew Broderick). A franchise di filmu " Terminator ", cuminciendu cù u filmu originale di u 1984, hà ancu imaginatu un supercomputer autocunsciente chjamatu "Skynet" chì, cum'è WOPR, hè statu cuncepitu per cuntrullà l'armi nucleari di i Stati Uniti, ma sceglie invece di sguassà l'umanità, vedenduci cum'è una minaccia. à a so esistenza. Ancu s'ellu si limitava à u regnu di a fantascienza, u cuncettu di supercomputer chì uccidenu l'omu hè diventatu avà una pussibilità distinta in u mondu assai reale di u futuru vicinu .

Dicembre 2019: Prova l'equipaggiu di Sistemi di Gestione di Battaglia Avanzata à bordu di u distruttore USS Thomas Hudner cum'è parte di un eserciziu di forza cumuna. (Serviziu di Distribuzione di l'Informazioni Visuali di Difesa, duminiu publicu)

In più di sviluppà una larga varietà di dispositi di cummattimentu " autònumi " o robotichi, i principali putenzi militari si precipitanu ancu à creà sistemi automatizati di decisione di u campu di battaglia, o ciò chì puderia esse chjamatu " generali robot ". In guerri in un futuru micca troppu distante, tali sistemi alimentati da AI puderanu esse implementati per furnisce ordini di cummattimentu à i suldati americani, dettandu induve, quandu è cumu uccidenu e truppe nemiche o piglianu u focu da i so avversari. In certi scenarii, i decisori robotici puderanu ancu finisce per esercitarà u cuntrollu di l'armi atomichi di l'America, putenzialmente permettenu di accende una guerra nucleare chì risulta in a morte di l'umanità.

Avà, pigliate un respiru per un mumentu. A stallazione di un sistema di cummandu è cuntrollu (C2) alimentatu da AI pò esse una pussibilità distanti. Tuttavia, u Dipartimentu di a Difesa di i Stati Uniti travaglia dura per sviluppà u hardware è u software richiesti in una manera sistematica, sempre più rapida . In a so presentazione di u bilanciu per u 2023, per esempiu, l'Air Force hà dumandatu $ 231 milioni per sviluppà u Advanced Battlefield Management System (ABMS), una cumplessa rete di sensori è computer abilitati per AI cuncepiti per cullà è interpretà e dati nantu à l'operazioni nemiche è furnisce i piloti è forze di terra cun un menu di opzioni d'attaccu ottimali. Cume a tecnulugia avanza, u sistema serà capace di mandà struzzioni di "focu" direttamente à "tirati", in gran parte sguassendu u cuntrollu umanu .

"Un strumentu di scambiu di dati da macchina à macchina chì furnisce opzioni per a dissuasione, o per a rampa [un spettaculu di forza militare] o ingaghjamentu precoce", era cumu Will Roper, secretariu assistente di l'Air Force per l'acquistu, a tecnulugia. , è logistica, hà descrittu u sistema ABMS in una entrevista 2020. Suggerendu chì "avemu bisognu di cambià u nome" mentre u sistema evoluzione, Roper hà aghjustatu: "Pensu chì Skynet hè fora, quantu mi piacerebbe fà questu cum'è una cosa di sci-fi. Ùn pensu micca solu chì pudemu andà quì ".

È mentre ch'ellu ùn pò micca andà, hè quì chì u restu di noi pò esse andatu.

Attenti, questu hè solu u principiu. In fattu, l'ABMS di l'Air Force hè destinatu à custituiscenu u nucleu di una custellazione più grande di sensori è computer chì cunnetta tutte e forze di cummattimentu di i Stati Uniti, u Joint All-Domain Command-and-Control System (JADC2, pronunzianu "Jad-C-two". "). "JADC2 hà l'intenzione di permette à i cumandanti di piglià decisioni megliu cullendu dati da numerosi sensori, trasfurmendu e dati utilizendu algoritmi di intelligenza artificiale per identificà i miri, dopu ricumandendu l'arma ottimale … per impegnà u mira", u serviziu di ricerca di u Cungressu hà dettu in 2022.

L'IA è u trigger nucleare

Inizialmente, JADC2 serà cuncepitu per coordinà l'operazioni di cummattimentu trà e forze americane "cunvinziunali" o non nucleari. Eventualmente, però, hè previstu di ligà cù i sistemi di cummandu nucleari di cuntrollu è cumunicazioni (NC3) di u Pentagonu, potenzialmente dendu à i computer un cuntrollu significativu annantu à l'usu di l'arsenale nucleare americanu. "JADC2 è NC3 sò intrecciati", u generale John E. Hyten, vicepresidentu di u Joint Chiefs of Staff, hà indicatu in una entrevista 2020. In u risultatu, hà aghjustatu in u Pentagonese tipicu, "NC3 hà da informà JADC2 è JADC2 hà da informà NC3".

Ùn ci hè micca bisognu di grande imaginazione per imagine un tempu in un futuru micca troppu distante quandu una crisa di qualchì tipu – dì un scontru militare US-Cina in u Mari di a Cina Meridionale o vicinu à Taiwan – provoca una lotta sempre più intensa trà l'aria opposta. e forze navali. Immaginate allora u JADC2 urdinendu u bumbardamentu intensu di basi nemiche è sistemi di cummandu in Cina stessu, attivando attacchi reciproci à e facilità di i Stati Uniti è una decisione fulminea da JADC2 di ritruvà cù armi nucleari tattiche, accendendu un olucaustu nucleare longu temutu.

2019 Terminator Dark Fate publicità di cartellone in New York. (Brecht Bug, Flickr, CC BY-NC-ND 2.0)

A pussibilità chì i scenarii di incubo di stu tipu puderianu risultà in l'iniziu accidintali o imprevisu di a guerra nucleare hà longu disturbatu l'analisti in a cumunità di cuntrollu di l'armi. Ma l'automatizazione crescente di i sistemi militari C2 hà generatu ansietà micca solu trà elli, ma ancu trà l'alti funzionari di sicurezza naziunale.

Già in u 2019, quandu aghju interrugatu u Tenente Generale Jack Shanahan, allora direttore di u Centru di Intelligenza Artificiale Artificiale di u Pentagonu, circa una pussibilità cusì risicata, hà rispostu , "Ùn truverete micca un proponente più forte di l'integrazione di e capacità di IA scritte in larga in u Dipartimentu di l'intelligenza artificiale. Difesa, ma ci hè una zona induve mi pause, è hà da fà cù u cumandamentu è u cuntrollu nucleari ". Questa "hè l'ultima decisione umana chì deve esse fatta" è cusì "avemu da esse assai attenti". Data l'"immaturità" di a tecnulugia, hà aghjustatu, avemu bisognu di "assai tempu per pruvà è valutà [prima di applicà AI à NC3]".

In l'anni dopu, malgradu tali avvirtimenti, u Pentagonu hè stata corsa avanti cù u sviluppu di sistemi C2 automatizati. In a so presentazione di u bilanciu per u 2024, u Dipartimentu di a Difesa hà dumandatu $ 1.4 miliardi per u JADC2 per "trasformà a capacità di lotta di guerra offrendu un vantaghju di l'infurmazioni à a velocità di rilevanza in tutti i domini è i partenarii". Uh-oh! È dopu, hà dumandatu un altru $ 1.8 miliardi per altri tipi di ricerca di AI militari.

I funzionari di u Pentagonu ricunnoscenu chì ci sarà un pocu di tempu prima chì i generali di robot cumandaranu un gran numaru di truppe americane (è armi autonome) in battaglia, ma anu digià lanciatu parechji prughjetti destinati à pruvà è perfezzione solu tali ligami. Un esempiu hè u Prughjettu di Convergenza di l'Armata, chì implica una seria di esercizii di campu pensati per validà i sistemi di cumpunenti ABMS è JADC2. In una prova tenuta in Aostu 2020 à u Yuma Proving Ground in Arizona, per esempiu, l'Armata hà utilizatu una varietà di sensori basati in l'aria è in terra per seguità e forze nemiche simulate è poi processà e dati utilizendu computer abilitati AI in Joint Base Lewis. McChord in u statu di Washington. Quelli computers, à u turnu, anu emessu struzzioni di focu à l'artiglieria in terra in Yuma. "Sta sequenza sana hè stata presumibilmente realizata in 20 seconde", u Serviziu di Ricerca di u Cungressu hà dettu dopu.

Meno hè cunnisciutu di l'equivalente AI di a Marina, "Project Overmatch", postu chì parechji aspetti di a so prugrammazione sò stati tenuti segreti. Sicondu l'Ammiragliu Michael Gilday, capu di l'operazioni navali, Overmatch hè intesu "per attivà una Marina chì sguassate u mare, furnisce effetti letali è non letali sincronizati da vicinu è luntanu, ogni assi è ogni duminiu". Pocu più hè statu revelatu annantu à u prugettu.

"Flash Wars" è l'estinzione umana

Malgradu tuttu u sicretu chì circonda questi prughjetti, pudete pensà à ABMS, JADC2, Convergence è Overmatch cum'è blocchi di custruzzione per una futura mega-rete di super-computer cum'è Skynet cuncepitu per cumandà tutte e forze americane, cumprese i so nucleari, in armati. cumbattimentu. Più u Pentagonu si move in quella direzzione, più ci avvicinaremu à un tempu quandu l'IA pussede un putere di vita o di morte annantu à tutti i suldati americani, cù e forze opposte è tutti i civili catturati in u focu incruciatu.

Una tale prospettiva deve esse una grande causa di preoccupazione. Per principià, cunzidira u risicu di l'errori è i miscalculations da l'algoritmi in u core di tali sistemi. Cum'è l'informatica superiore ci anu avvistatu, quelli algoritmi sò capaci di sbaglii notevolmente inspiegabili è, per utilizà u terminu AI di u mumentu, "allucinazioni" – vale à dì, risultati apparentemente ragionevuli chì sò interamente illusioni. In e circustanze, ùn hè micca difficiule d'imaginà tali computers "allucinanu" un attaccu nemicu imminente è lancià una guerra chì altrimenti puderia esse evitata.

È questu ùn hè micca u peghju di i periculi à cunsiderà. Dopu tuttu, ci hè una probabilità ovvia chì l'avversarii di l'America equiparanu in modu simile e so forze cù generali robot. In altre parolle, i futuri guerri sò prubabilmente battuti da un inseme di sistemi AI contr'à un altru, tramindui ligati à l'armi nucleari, cù risultati completamente imprevisibles – ma potenzialmente catastròfichi.

Ùn hè micca cunnisciutu assai (almenu da e fonti pubbliche) nantu à i sforzi russi è cinesi per automatizà i so sistemi militari di cummandu è cuntrollu, ma i dui paesi sò pensati chì sviluppanu rete paragunabili à u JADC2 di u Pentagonu. Dapoi u 2014, in fattu, a Russia hà inauguratu un Centru di Controlu di a Difesa Naziunale (NDCC) in Mosca, un postu di cummandu centralizatu per a valutazione di e minacce glubale è l'iniziu di l'azzione militare chì hè ritenuta necessaria, sia di natura non nucleare o nucleare. Cum'è JADC2, u NDCC hè cuncepitu per cullà infurmazioni nantu à i movimenti di l'inimitu da parechje fonti è furnisce l'ufficiali anziani cù guida nantu à e pussibuli risposte.

Si dice chì a Cina persegue una impresa ancu più elaborata, se simile, sottu a rubrica di "Multi-Domain Precision Warfare" (MDPW). Sicondu u rapportu 2022 di u Pentagonu nantu à i sviluppi militari cinesi, u so militare, l'Armata di Liberazione Populare, hè furmatu è equipatu per utilizà sensori abilitati per AI è rete di computer per "identificà rapidamente e vulnerabilità chjave in u sistema operativu di i Stati Uniti è dopu unisce e forze cumune in tuttu u mondu. duminii per lancià colpi di precisione contr'à quelle vulnerabili ".

Imagine, dunque, una futura guerra trà i Stati Uniti è a Russia o a Cina (o i dui) in quale u JADC2 cumanda tutte e forze di i Stati Uniti, mentre chì u NDCC di Russia è u MDPW di a Cina cumandanu e forze di quelli paesi. Cunsiderate, ancu, chì tutti i trè sistemi sò prubabilmente sperienze errori è allucinazioni . Quantu seranu l'omu sicuri quandu i generali di robot decidenu chì hè ora di "vincere" a guerra uccidendu i so nemici?

Ammiragliu Michael Gilday in 2020. (DoD, Lisa Ferdinando)

S'ellu vi colpisce cum'è un scenariu stravagante, pensate di novu, almenu secondu a dirigenza di a Cummissione di Sicurezza Naziunale per l'Intelligenza Artificiale, una impresa mandata da u Cungressu chì era presiduta da Eric Schmidt, ex capu di Google, è Robert Work, ex secretariu diputatu. di difesa. "Mentre a Cummissione crede chì i sistemi d'arme autonomi è abilitati da AI cuncepiti, testati è utilizati currettamente portaranu un benefiziu militare è ancu umanitariu sustanziale, l'usu globale senza verificazione di tali sistemi rischia potenzialmente un'escalation involontaria di cunflittu è inestabilità di crisa", hà affirmatu in u so Rapportu Finale. Tali periculi puderanu nasce, hà dichjaratu, "per via di cumplessità sfida è micca testata di l'interazzione trà i sistemi d'arme abilitati è autonomi AI in u campu di battaglia" – quandu, vale à dì, AI cumbatte l'AI.

Ancu s'ellu pò sembra un scenariu estremu, hè interamente pussibule chì i sistemi AI opposti puderanu innescà una "guerra flash" catastròfica – l'equivalente militare di un "crash flash" in Wall Street, quandu transazzioni enormi da algoritmi di cummerciale super-sofisticati suscitanu u panicu di vendita prima. l'operatori umani ponu restaurà l'ordine. In u famusu "Flash Crash" di u 6 di maghju di u 2010, u cummerciu guidatu da l'informatica hà precipitatu una caduta di 10% in u valore di a borsa. Sicondu Paul Scharre di u Centru per a Nova Sicurezza Americana, chì hà studiatu u fenomenu per prima, "l'equivalente militare di tali crisi" in Wall Street si sviluppanu quandu i sistemi di cumandamentu automatizatu di e forze opposte "seranu intrappulati in una cascata di impegni crescente. " In una tale situazione, hà nutatu, "l'armi autonomi puderanu purtà à morte accidentale è distruzzione à scale catastròfiche in un istante".

Attualmente, ùn ci sò praticamenti micca misure in piazza per prevene una futura catastrofa di stu tipu o ancu discussioni trà e putenzi maiò per cuncepisce tali misure. Eppuru, cum'è a Cummissione Naziunale di Sicurezza per l'Intelligenza Artificiale hà nutatu, tali misure di cuntrollu di crisa sò urgentemente necessarie per integrà "tripwire di escalazione automatizata" in tali sistemi "chì impediscenu l'escalation automatizata di cunflittu". Altrimenti, una versione catastròfica di a Terza Guerra Munniali pari troppu pussibule. Data l'immaturità periculosa di una tale tecnulugia è a riluttanza di Pechino, Mosca è Washington à impone qualsiasi restrizioni à l'armamentu di l'IA, u ghjornu chì e macchine puderanu sceglie di aniquilà ci puderia ghjunghje assai prima di ciò chì imaginemu è l'estinzione di l'umanità puderia esse. i danni collaterali di una tale guerra futura.