Cumu sò custruiti mudelli di lingua per l’intelligenza artificiale?
U discorsu di Nello Cristianini, prufessore di Intelligenza Artificiale à l'Università di Bath, trattu da a newsletter Appunti di Stefano Feltri
Chì succede s'ellu scacciò u mo novu libru da a Torre Pendente di Pisa ? Sò sicuru chì nimu l'hà mai fattu, ma micca tutti i risultati mi sorprenderanu ugualmente. Quì u cuncettu di mudellu è intelligenza entra in ghjocu, vedemu perchè. Se l'intelligenza hè a capacità di trattà cù situazioni novi è inespettate, i mudelli sò miccanismi (matematici, fisichi, o altri) chì aiutanu à predicà l'evoluzione di tali situazioni è e cunsequenze di e nostre azzioni. In l'esempiu di sopra, aghju aspittatu chì u libru falà verticalmente, perchè in u mo mudellu di u mondu a trajectoria hè determinata da a so massa, micca u so cuntenutu (grazie Newton!).
U listessu vale per un agentu chì deve operare in un ambiente linguisticu, cum'è un chatbot o un filtru anti-spam : quasi ogni frase di una durata sufficente hè unica, è dunque memorizà a risposta ghjusta per ogni situazione hè impussibile : ci vole una lingua. mudellu.
Hè in questu fronte chì ci hè statu u grande sfondate in AI in l'ultimi anni. Andemu in ordine.
Dentru l'agenti cum'è ChatGPT, ci sò grandi mudelli di lingua, per esempiu GPT-4, chì aiutanu à predichendu cumu finisce una frase, dopu avè vistu a parte iniziale di questu. Stu meccanisimu, utilizatu in modu creativo, pò pruduce risposte, sintesi, traduzzioni, è assai di più. U prublema hè : cumu si custruisce un mudellu di lingua ?
U puntu di svolta hè ghjuntu in 2017, cù a creazione di un novu algoritmu d'apprendimentu di machine, un tipu di rete neurale chjamata "Transformer", capace di leghje rapidamente quantità enormi di testu, è l'utilizanu per creà un mudellu di lingua.
Eccu i trè livelli per mantene distinti: l'agente (ChatGPT), u mudellu (GPT-4) è l'algoritmu chì hà amparatu (Transformer). Trained on billions of documents, the Transformer distilled their contents, creendu un mudellu capace di cumplettà e parti mancanti in un testu.
A cosa sorprendente hè accaduta durante i primi testi: GPT hà dimustratu chì avia amparatu assai di più cà a capacità di cumpletà i testi. Puderia cumplettà i silogismi, eseguisce traduzzioni, è risponde à e dumande.
Avà aghju da aghjunghje a parte imbarazzante per noi studiosi: ùn avemu micca una teoria chì spiegà e proprietà emergenti, cusì ùn pudemu micca predichendu nè escludiri chì l'altri emergeranu.
Da u mumentu di quelli primi osservazioni di capacità emergenti, una razza hà cuminciatu à custruisce mudelli sempre più grandi, pre-furmati una volta per tutte è à grande spesa, destinati à esse inseriti in parechji agenti è sistemi diffirenti. Avarianu custituitu i fundamenti, o a basa : ciò chì oghji chjamemu Foundation Models in inglese, è Modelli di Base, in talianu.
Per via: chì chjamate un algoritmu chì genera testi (generativu), chì hè pre-formatu (pretrained) è usa u transformatore? Trasformatore Generative Pretrained, alias: GPT.
Questi mudelli sò difficiuli di inspeccionà (a cunniscenza di GPT 3.5 hè imballata in 175 miliardi di parametri, chì sò valori numerichi aghjustati durante a furmazione; imaginate un spreadsheet di un chilometru quadru). È sò ancu difficiuli di regulà.
Eppuru u so valore ecunomicu pò esse immensu, è nisun statu o industria pò permette di ignurà.
Eccu un esempiu trà e millaie chì mi venenu in mente, basatu annantu à u mo travagliu di ogni ghjornu : imaginate di mustrà dui articuli scentifichi à un urdinatore è di dumandà à riassume e sfarenze : questu averebbe bisognu di più cà un paragone trà e parolle, ma trà i cuntenuti. di i dui documenti.
Avà imaginate di vede 20.000 di elli, in diverse lingue è sughjetti, è vi dumandemu di sceglie quelli chì sò più utili per risponde à una certa dumanda.
A manera di interagisce cun elli hè assai sèmplice, vale à dì per mezu di a nostra lingua : li furnimu un cue, o un cue (prompt, in inglese) è cuntinueghjanu da sè stessu, per esempiu generendu a risposta o a traduzzione.
I novi mudelli basi sò capaci di cumminà l'imaghjini, l'audio è u testu (sò multimodali), è sò in una fase di evoluzione assai rapida. Mi pari assai prubabile chì tali mudelli (o i so discendenti) finiscinu in una pusizioni cintrali in l'infrastrutture intelligenti di u futuru.
Ma prima avemu da risolve i prublemi chì avemu osservatu: da l'allucinazioni (quandu u mudellu crede chì hà vistu infurmazioni in i dati di furmazione, ma questu ùn esiste micca), à diverse forme di "jailbreaking" (trucchi inventati da i pirate per induce. u mudellu per cumportà in modu inappropriatu); finu à i risichi di decisioni inghjuste, dichjarazioni offensive, etc.
A nova lege europea sottumette questi mudelli à l'obligazioni di trasparenza (per esempiu, dichjarà i dati utilizati in furmazione), è – se assai grande è cun risicu sistemicu – ancu à cuntrolli approfonditi di a so prestazione, è à l'obbligazione di informà a Cummissione. di l'esistenza di u mudellu è di u risicu sistemicu cunnessu, è ancu di signalà ogni nutizia di ogni incidente.
In l'anni à vene, pudemu aspittà un numeru crescente di prudutti chì sò basati nantu à i mudelli di basa, è metudi sempre novi per mantenenu sottu cuntrollu, evitendu i risichi di malfunction.
(Estrattu da a newsletter Notes di Stefano Feltri. Iscriviti quì )
Questa hè una traduzzione automatica da a lingua italiana di un post publicatu in StartMag à l’URL https://www.startmag.it/innovazione/modelli-linguaggio-intelligenza-artificiale/ u Sun, 07 Apr 2024 06:17:42 +0000.