IA, quelle note La Sapienza accorde-t-elle à Model Italy by iGenius ?
Da l'analisi di l'Università La Sapienza, u grande mudellu di lingua di iGenius, Model Italy, hè più poviru di l'altri LLM furmatu nantu à e dati italiani. Eccu ciò chì a cumpagnia chì hè diventata recentemente u primu unicornu made in Italy in AI hà rispostu
Model Italy hè u mudellu di lingua grande (LLM) sviluppatu da a cumpagnia IT iGenius, fundata da Uljan Sharka , è furmatu nantu à u supercomputer Leonardo, gestitu da u Consorziu Interuniversitariu Cineca, nantu à un dataset 90% cumpostu di infurmazione in talianu.
Solu dui ghjorni fà iGenius divintò u primu unicornu talianu in AI, secondu a listessa cumpagnia chì, dopu à un altru aumentu di capitale, hà vistu l'entrata di u fondu di Angelo Moratti è Eurizon di u gruppu Intesa Sanpaolo.
Ma Model Italy ùn hè micca u solu LLM chì hè statu furmatu nantu à e dati italiani. In u settore privatu ci hè ancu Fastweb, mentri à livellu universitariu ci sò parechji prughjetti, cumpresi LLaMAntino à l'Università di Bari, Cerberus à l'Università di Pisa è Faun, Camoscio, Dante è Minerva à La Sapienza in Roma.
È l'università romana stessu hà cunvertitu, in una versione micca ufficiale , u puntu di cuntrollu di Model Italia è l'hà dispunibule nantu à a piattaforma Hugging Face induve hè pussibule paragunà diversi LLM .
L'ANALISI DI U MODELLU ITALIA DA SAPIENZA
U gruppu di ricerca Sapienza hà dunque realizatu una analisi preliminare di e capacità di Model Italy (Italy-9B) nantu à 6 benchmarks standard per i LLM tradutti in talianu, chì facenu parte di una nova suite di valutazione chì serà liberata prestu in una manera aperta prumove a riproducibilità è a trasparenza di l'esperimenti.
"In a nostra analisi – spieganu i ricercatori -, avemu paragunatu Model Italia cù 4 altri mudelli di dimensioni simili (da 7B à 8B) furmatu o adattati nantu à a lingua italiana".
In particulare, i mudelli paragunati cù Italia 9B sò Anita 8B , Maestrale 7B , Qwen2-7B , Occiglot 7B.
Comu clarificatu da u gruppu, i mudelli furmati da zero nantu à a lingua italiana sò Italia 9B è Qwen2. Mentre Anita di LLama3, Maestrale di Mistral è Occiglot di Mistral sò mudelli adattati à a lingua taliana per mezu di fine-tuning.
A VALUTAZIONE
Ancu s'ellu si assume chì l'analisi ùn pò micca riflette a prestazione di u mudellu originale, cum'è a cunversione non ufficiale di u mudellu liberatu da iGenius hè stata utilizata, sicondu i circadori, i prestazioni di Model Italia paragunatu à i 6 benchmarks presi in considerazione sò più bassi di tutti l'altri. , cù Anita 9B chì batte tutti invece.
Ancu in u ranking di LLMs chì parlanu talianu, elaboratu da Hugging Face , hè luntanu daretu à parechji altri.
A RISPOSTA DI IGENIUS
Nicolas Pantaleo, capu di a gestione di u produttu in iGenius, hà rispostu à u post in LinkedIn publicatu da Sapienza cù i risultati di l'analisi In più di ringraziallu per avè purtatu Italia 9B in a cumunità Hugging Face, hà vulsutu signalà chì in a cunversione di l'analisi. mudellu "anu nutatu assai differenzi chì affettanu negativamente u rendiment finali".
Pantaleo, dunque, hà garantitu chì "l'Italia sarà prestu ancu dispunibule nantu à u prufilu ufficiale Hugging Face di iGenius", induve più dettagli tecnichi nantu à u mudellu seranu furniti.
Questa hè una traduzzione automatica da a lingua italiana di un post publicatu in StartMag à l’URL https://www.startmag.it/innovazione/ia-che-voto-da-la-sapienza-a-modello-italia-di-igenius/ u Fri, 14 Jun 2024 20:14:30 +0000.