Visualizà i costi di furmazione di mudelli AI cù u tempu

A furmazione di mudelli avanzati di AI cum'è ChatGPT di OpenAI è Gemini Ultra di Google richiede milioni di dollari, cù i costi chì cresce rapidamente.

Cum'è e richieste di computazione aumentanu, e spese per a putenza di calculu necessariu per furmà li sò in crescita. In risposta, e cumpagnie di AI ripensanu cumu furmànu sistemi AI generativi. In parechji casi, questi includenu strategie per riduce i costi di calculu datu e traiettorie di crescita attuale.

Cum'è Dorothy Neufeld di Visual Capitalist mostra in u graficu seguente, basatu annantu à l'analisi da u Rapportu di l'Indice di Intelligenza Artificiale 2024 di l'Università di Stanford, i costi di furmazione per i mudelli AI avanzati sò aumentati.

Cumu u costu di furmazione hè determinatu

L'Index AI hà cullaburatu cù a cumpagnia di ricerca Epoch AI per stima i costi di furmazione di mudelli AI, chì sò basati nantu à i prezzi di l'affittu di nuvola compute. I fatturi chjave chì sò stati analizati includenu a durazione di furmazione di u mudellu, a tarifa d'utilizazione di u hardware è u valore di u hardware di furmazione.

Mentre chì parechji anu speculatu chì i mudelli di furmazione AI sò diventati sempre più costosi, ci hè una mancanza di dati cumpleti chì sustenenu queste dichjarazioni. L'Index AI hè una di e rare fonti per queste stimi.

Costi di Training Ballooning

Quì sottu, mostramu u costu di furmazione di i principali mudelli AI, aghjustatu per l'inflazione, da 2017:

L'annu passatu, u GPT-4 di OpenAI custava circa $ 78.4 milioni per furmà, un forte aumentu da u mudellu PaLM (540B) di Google, chì costava $ 12.4 milioni solu un annu prima.

Per perspettiva, u costu di furmazione per Transformer , un mudellu di AI iniziale sviluppatu in 2017, era $ 930. Stu mudellu ghjoca un rolu fundamentale in a furmazione di l'architettura di parechji mudelli di lingua maiò utilizati oghje.

U mudellu AI di Google, Gemini Ultra , custa ancu di più, à una stupenda $ 191 milioni. A principiu di u 2024, u mudellu supera GPT-4 in parechje metriche, in particulare in u benchmark Massive Multitask Language Understanding (MMLU). Stu benchmark serve cum'è un criteriu cruciale per a misurazione di e capacità di i grandi mudelli di lingua. Per esempiu, hè cunnisciutu per evaluà a cunniscenza è a cumpetenza di risolve i prublemi in 57 temi.

Training futuri mudelli AI

In vista di sti sfidi, l'imprese di l'intelligenza artificiale trovanu novi suluzioni per a furmazione di mudelli di lingua per cumbatte l'aumentu di i costi.

Questi includenu una quantità di approcci, cum'è a creazione di mudelli più chjuchi chì sò pensati per fà funzioni specifiche. Altre cumpagnie sperimentanu a creazione di e so propri dati sintetici per alimentate in sistemi AI. Tuttavia, un avanzu chjaru hè ancu da esse vistu.

Oghje, i mudelli AI chì utilizanu dati sintetici anu dimustratu chì pruducianu assurdità quandu anu dumandatu cù certi suggerimenti, attivando ciò chì hè chjamatu "collapsu di mudellu".