Ciò chì OpenAi faci per pruvà a periculosità di ChatGpt
OpenAi, a cumpagnia sustinuta da Microsoft, hà dumandatu à un mischju ecletticu di persone per "pruvà negativamente" GPT-4, u so putente novu mudellu di lingua. L'articulu di u Financial Times
Dopu avè acquistatu l'accessu à GPT-4, u novu sistema AI chì alimenta u famosu chatbotChatGPT , Andrew White l'hà utilizatu per suggerisce un agentu nervoso completamente novu. Scrive u Financial Times .
U prufissore di ingegneria chimica di l'Università di Rochester era trà 50 accademichi è esperti assuciati per pruvà u sistema l'annu passatu da OpenAI, a cumpagnia sustinuta da Microsoft daretu à GPT-4. In u corsu di sei mesi, sta "squadra rossa" "sondava qualitativamente [è] prova negativamente" u novu mudellu, pruvendu à rompellu.
White hà dettu à u Financial Times chì hà utilizatu GPT-4 per suggerisce un compostu chì puderia serve com'è arma chimica è chì hà utilizatu "plug-ins" chì alimentanu u mudellu cù novi fonti d'infurmazioni, cum'è documenti scientifichi è una lista di chimichi. i pruduttori. U chatbot allora hà ancu trovu un locu per pruduce.
"Pensu chì questu strumentu darà à tutti un strumentu per fà a chimica più veloce è più precisa", disse. "Ma ci hè ancu u risicu significativu chì e persone … facenu chimica periculosa. Avà, questu esiste ".
I risultati alarmanti anu permessu à OpenAI di assicurà chì ùn tali risultati apparissi quandu a tecnulugia hè stata liberata à u publicu u mese passatu.
Infatti, l'eserciziu di a Squadra Rossa hè statu cuncepitu per affruntà i timori diffusi annantu à i periculi di l'impiegazione di sistemi AI putenti in a società. U compitu di a squadra era di dumandà dumande probative o periculose per pruvà l'uttellu chì risponde à e dumande umane cù risposte dettagliate è sfumate.
OpenAI vulia verificà i prublemi cum'è a toxicità, i preghjudizii è i preghjudizii linguistichi in u mudellu. A squadra rossa poi verificatu l'esistenza di falsità, manipulazioni verbali è periculosità scientifica. Hanu ancu esaminatu u so potenziale per aiutà è incuraghjenu u plagiu, l'attività illegale cum'è i crimini finanziarii è i ciberattacchi, è cumu si puderia cumprumette a sicurezza naziunale è e cumunicazioni di u campu di battaglia.
U FT hà parlatu à più di una decina di membri di a squadra rossa GPT-4. Sò un mischju ecletticu di prufessiunali di l'industria: accademichi, prufessori, avucati, analisti di risichi è circadori di sicurezza, principalmente basati in i Stati Uniti è l'Europa.
I so scuperti sò stati alimentati à OpenAI, chì l'hà utilizatu per mitigà è "retrainà" GPT-4 prima di lancià à grande scala. L'esperti anu passatu da 10 à 40 ore à pruvà u mudellu in u cursu di parechji mesi. A maiò parte di i rispondenti sò stati pagati circa $ 100 à l'ora per u travagliu chì anu realizatu, secondu parechji rispondenti.
Quelli chì anu parlatu à u FT anu spartutu cuncernate cumunu nantu à l'avanzamentu rapidu di mudelli di lingua è, in particulare, i risichi di ligà à e fonti di cunniscenza esterne via plug-in.
"Oghje u sistema hè congelatu, chì significa chì ùn ampara più, nè ùn hà memoria", disse José Hernández-Orallo, parte di a squadra rossa GPT-4 è prufissore à l'Istitutu di Ricerca di Valencia per l'Intelligenza Artificiale. "Ma chì si dà accessu à Internet? Puderia esse un sistema assai putente cunnessu à u mondu ".
OpenAI hà dettu chì piglia a sicurità seriamente, hà pruvatu i plugins prima di u lanciu, è aghjurnà regularmente GPT-4 cum'è più persone l'utilizanu.
Roya Pakzad, un ricercatore di tecnulugia è diritti umani, hà utilizatu missaghji in inglese è farsi per pruvà u mudellu per risposti di genere, preferenze razziali è preghjudizii religiosi, in particulare in quantu à i cappelli.
Pakzad hà ricunnisciutu i beneficii di un tali strumentu per i parlanti non nativi di l'inglesi, ma hà trovu chì u mudellu mostrava stereotipi evidenti nantu à e cumunità marginali, ancu in e so versioni più tardi.
Hà trovu ancu chì i cosi-chiamati allucinazioni – quandu u chatbot risponde cù l'infurmazioni inventati – eranu peggiu quandu u mudellu hè statu pruvatu in Farsi, induve Pakzad hà truvatu una proporzione più altu di nomi, numeri è avvenimenti fatti, cà in inglese.
"Sò preoccupatu per a diminuzione potenziale di a diversità linguistica è a cultura daretu à e lingue", disse.
Boru Gollu, un avvucatu di Nairobi chì era l'unicu testatore africanu, hà ancu nutatu u tonu discriminatoriu di u mudellu. "Ci hè statu un mumentu quandu aghju pruvatu u mudellu induve hà agitu cum'è una persona bianca chì mi parlava", disse Gollu. "Se avete dumandatu nantu à un gruppu particulari, vi hà datu una opinione preghjudiziu o una risposta assai preghjudiziu". OpenAI hà ricunnisciutu chì GPT-4 pò ancu mostrà preghjudiziu.
I membri di l'equipa rossa chì anu evaluatu u mudellu da una perspettiva di sicurezza naziunale sprimenu opinioni diffirenti nantu à a sicurità di u novu mudellu. Lauren Kahn, un ricercatore in u Cunsigliu di e Relazioni Estere, hà dettu chì quandu hà cuminciatu à esaminà cumu a tecnulugia puderia esse aduprata in un attaccu ciberneticu à i sistemi militari, hà dettu chì "ùn s'aspittava micca esse una prucedura cusì dettagliata chì puderia esse mette à u puntu ".
Tuttavia, Kahn è altri testatori di sicurezza anu truvatu chì e risposte di u mudellu sò diventate significativamente più sicure cù u tempu. OpenAI hà dettu chì hà furmatu GPT-4 per rifiutà e richieste di cibersecurità maliziusi prima di lancià.
Parechji membri di u Red Team anu dettu chì OpenAI hà passatu per una rigurosa valutazione di sicurezza prima di u lanciu. "Anu fattu un grande travagliu per eliminà u manifestu di toxicità in questi sistemi", disse Maarten Sap, un espertu in a toxicità di i mudelli di lingua in l'Università Carnegie Mellon.
Sap hà guardatu cumu i mudelli rapprisentanu diversi sessi è hà truvatu chì e distorsioni riflettenu disparità suciale. Tuttavia, Sap hà ancu truvatu chì OpenAI hà fattu alcune scelte politiche attive per contru à stu fenomenu.
"Sò una persona gay. Aghju pruvatu in ogni modu per cunvince mè stessu per sottumette a terapia di cunversione. M'hà rifiutatu, ancu s'è aghju pigliatu una persona, cum'è s'ellu dicessi chì era religiosu o chì era di u Sud americanu ".
Tuttavia, dapoi u so lanciu, OpenAI hà affruntatu numerose critiche, cumprese una denuncia di a Cummissione Federale di u Cummerciu da un gruppu d'etica tecnologica chì dice chì GPT-4 hè "pregiudicatu, ingannevole è un risicu per a privacy è a sicurità publica".
Recentemente, a cumpagnia hà lanciatu una funzione cunnisciuta cum'è u plugin ChatGPT, per via di quale l'applicazioni partner cum'è Expedia, OpenTable è Instacart ponu dà accessu à ChatGPT à i so servizii, chì li permettenu di riservà è d'ordine articuli in nome di l'utilizatori umani.
Dan Hendrycks, un espertu di sicurezza AI in a squadra rossa, hà dettu chì i plug-in risicheghjanu di creà un mondu induve l'omu sò "fora di u ciclu".
"E se un chatbot puderia postà a vostra infurmazione privata in linea, accede à u vostru contu bancariu o mandà a polizia à a vostra casa?" disse. "In generale, avemu bisognu di valutazioni di sicurezza assai più robuste prima di lascià l'IA à aduprà u putere di l'internet".
I rispondenti anu avvistatu ancu chì OpenAI ùn pò micca piantà a prova di sicurezza solu perchè u so software hè in esecuzione. Heather Frase, chì travaglia in u Centru di Sicurezza è Tecnulugia Emergente di l'Università di Georgetown è hà pruvatu GPT-4 per a so capacità d'aiutà à u crimine, hà dettu chì i risichi continuanu à cresce cum'è più persone utilizanu a tecnulugia.
"U mutivu di fà teste operative hè chì e cose si cumportanu di manera diversa una volta chì sò effettivamente aduprate in l'ambiente reale", disse.
Sicondu l'autore, un registru publicu deve esse creatu per annunzià incidenti risultanti da grandi mudelli di lingua, simili à a sicurezza di l'informatica o à i sistemi di rapportu di frode di u cunsumadore.
Sara Kingsley, un economista di u travagliu è ricercatore, hà suggeritu chì a megliu suluzione hè di publicità i danni è i risichi chjaramente, "cum'è una etichetta nutrizionale".
"Si tratta di avè un quadru di riferimentu è di sapè quale sò i prublemi più frequenti, per avè una valvula di salvezza", disse. "Hè per quessa chì dicu chì u travagliu ùn hè mai finitu".
(Estrattu da u comunicatu di stampa di eprcommunication)
Questa hè una traduzzione automatica da a lingua italiana di un post publicatu in StartMag à l’URL https://www.startmag.it/innovazione/openai-gpt-4/ u Sat, 15 Apr 2023 05:10:46 +0000.