Visualizà a crescita esponenziale in u calculu AI

L'urdinatori elettronici aviani à pocu pressu per una dicada in l'anni 1940, prima chì l'esperimenti cù l'IA cumincianu. Avà avemu mudelli AI chì ponu scrive puesia è generà imaghjini da prompti testuali. Ma chì hà purtatu à una crescita cusì esponenziale in un pocu tempu?

Pallavi Rao di Visual Capitalist presenta u seguente graficu da Our World in Data chì traccia a storia di l'AI attraversu a quantità di putenza di calculu utilizata per furmà un mudellu AI, utilizendu dati da Epoch AI .

I trè era di l'AI Computation

In l'anni 1950, u matematicu americanu Claude Shannon hà furmatu un mouse roboticu chjamatu Teseu per navigà in un labirintu è ricurdà u so cursu – u primu apprendimentu artificiale apparente di ogni tipu.

Teseiu hè statu custruitu nantu à 40 operazioni in virgola flottante (FLOP), una unità di misura utilizata per cuntà u nùmeru d'operazioni aritmetiche basiche (addizione, sottrazione, multiplicazione o divisione) chì un computer o un processatore pò fà in una seconda.

ℹ️ I FLOP sò spessu usati cum'è metrica per misurà u rendiment computazionale di l'hardware di l'informatica. U più altu u conte FLOP, u più altu u calculu, u più putente u sistema.

A putenza di calculu, a dispunibilità di dati di furmazione è l'algoritmi sò i trè ingredienti principali per u prugressu di l'AI. È per i primi decennii di avanzamenti di l'AI, u calculu, chì hè a putenza computazionale necessaria per furmà un mudellu AI, hè cresciutu secondu a Legge di Moore .

Fonte: "Compute Trends Across Three Eras of Machine Learning " da Sevilla et. al, 2022.

In ogni casu, à l'iniziu di l' Era di Deep Learning , annunciatu da AlexNet (un AI di ricunniscenza di l'imaghjini) in u 2012, quellu tempu di radduppiamentu accurtatu considerablemente à sei mesi, cum'è i circadori anu investitu più in computazione è processori.

Cù l'apparizione di AlphaGo in 2015 – un prugramma di computer chì batteva un ghjucadore prufessiunale umanu di Go – i ricercatori anu identificatu una terza era: quella di i mudelli AI à grande scala chì u so calculu hà bisognu di nanu tutti i sistemi AI previ.

Predizzione di u prugressu di u calculu AI

Fighjendu à l'unicu l'ultimu decenniu stessu, u calculu hè cresciutu cusì tremendamente chì hè difficiule di capiscenu.

Per esempiu, u compute utilizatu per furmà Minerva, una IA chì pò risolve prublemi matematichi cumplessi, hè quasi 6 milioni di volte chì hè stata utilizata per furmà AlexNet 10 anni fà.

Eccu una lista di mudelli AI impurtanti attraversu a storia è a quantità di calculu utilizatu per furmà.

Nota: Un petaFLOP = un quadrilione FLOP. Fonte: "Compute Trends Across Three Eras of Machine Learning " da Sevilla et. al, 2022.

U risultatu di sta crescita in u calculu, inseme cù a dispunibilità di setti di dati massivi è algoritmi megliu, hà cedutu assai prugressu AI in apparentemente assai pocu tempu. Avà l'IA ùn hè micca solu cumpatibile, ma ancu batte u rendiment umanu in parechje aree.

Hè difficiuli di dì se u listessu ritmu di crescita di computazione serà mantinutu. I mudelli à grande scala necessitanu sempre più putenza di calculu per furmà, è se u calculu ùn cuntinueghja à cresce, puderia rallentà u prugressu. L'esaurimentu di tutte e dati attualmente dispunibili per a furmazione di mudelli AI puderia ancu impedisce u sviluppu è l'implementazione di novi mudelli.

Tuttavia, cù tutti i finanziamenti versati in l'IA di pocu tempu, forse più avanzati sò intornu à u cantonu, cum'è currisponde à a putenza di calculu di u cervellu umanu.