LPU di Groq AI: a risposta rivoluzionaria à i guai di GPU di ChatGPT?

Scritta da Savannah Fortis via CoinTelegraph.com,

U chip LPU di Groq emerge cum'è una soluzione potenziale à e sfide affrontate da i sviluppatori di IA chì si basanu in GPU, suscitando paraguni cù ChatGPT.

L'ultimu strumentu di intelligenza artificiale (AI) per catturà l'attenzione di u publicu hè u Groq LPU Inference Engine, chì hè diventatu una sensazione di notte nantu à e social media dopu chì i so testi di riferimentu publicu sò diventati virali, superendu i mudelli di punta da altre cumpagnie Big Tech.

Groq, per ùn esse cunfunditu cù u mudellu AI d'Elon Musk chjamatu Grok, ùn hè, in fattu, micca un mudellu stessu, ma un sistema di chip à traversu quale un mudellu pò correre.

A squadra daretu à Groq hà sviluppatu u so propiu chip AI "definitu da u software" chì chjamanu una unità di trattamentu di lingua (LPU), sviluppatu per scopi di inferenza. U LPU permette à Groq di generà circa 500 tokens per seconda.

Comparativamente, u mudellu AI dispunibule publicamente ChatGPT-3.5, chì scorre fora di unità di elaborazione grafica (GPU) scarse è costose, pò generà circa 40 tokens per seconda. I paraguni trà Groq è altri sistemi AI anu inundatu a piattaforma X.

Groq hè un tipu radicali di architettura AI

Trà a nova cultura di startups di chip AI, Groq si distingue cun un approcciu radicalmente sfarente centratu intornu à a so tecnulugia di compilatore per ottimisà una architettura minimalista ma d'alta prestazione. A salsa secreta di Groq hè questu … pic.twitter.com/Z70sihHNbx

– Carlos E. Perez (@IntuitMachine) 20 di ferraghju 2024

Cointelegraph hà intesu da Mark Heaps, u Capu Evangelista di Groq, per capisce megliu l'uttellu è cumu pò pudè trasfurmà cumu operanu i sistemi AI.

Heaps hà dettu chì u fundatore di Groq, Jonathan Ross, hà inizialmente vulsutu creà una tecnulugia di sistema chì impedisce à l'AI di esse "divisu trà quelli chì anu è chì ùn anu micca".

À l'epica, l'unità di processazione di tensor (TPU) eranu dispunibili solu per Google per i so propri sistemi, in ogni modu, LPU sò nati perchè:

"[Ross] è a squadra vulianu chì qualcunu in u mondu puderia accede à stu livellu di calculu per l'AI per truvà soluzioni innovative per u mondu."

L'esecutivu di Groq hà spiegatu chì a LPU hè una "soluzione hardware cuncepita prima di u software", da quale a natura di u disignu simplifica a manera di viaghjà di e dati – micca solu nantu à u chip, ma da chip à chip è in tutta a reta.

"Ùn avè bisognu di pianificatori, biblioteche CUDA, Kernels, è più migliurà micca solu u rendiment, ma l'esperienza di u Sviluppatore", disse.

"Imaginate u trasportu à u travagliu è ogni luce rossa diventa verde ghjustu cum'è l'avete colpi perchè sapia quandu sarete quì. O u fattu hè chì ùn avete micca bisognu di semafori. Hè ciò chì hè cum'è quandu i dati viaghjanu attraversu a nostra LPU ".

Un prublema attuale chì affligge i sviluppatori in l'industria hè a scarsità è u costu di GPU putenti – cum'è i chip A100 è H100 di Nvidia – necessarii per eseguisce mudelli AI.

Tuttavia, Heaps hà dettu ch'elli ùn anu micca i stessi prublemi chì u so chip hè fattu cù silicio 14nm. "Questa taglia di fustella hè stata aduprata per 10 anni in u disignu di chip", disse, "è hè assai assequible, è prontamente dispunibule. U nostru prossimu chip serà 4nm è ancu fattu in i Stati Uniti ".

Ellu disse chì i sistemi GPU anu sempre un locu quandu si parla di eseguisce implementazioni di hardware più chjuche. In ogni casu, l'scelta di GPU versus LPU vene à parechji fatturi chì includenu a carica di travagliu è u mudellu.

"Se parlemu di un sistema à grande scala, chì serve migliaia d'utilizatori cù una alta utilizazione di un grande mudellu di lingua, i nostri numeri mostranu chì [LPU] sò più efficaci nantu à u putere."

L'usu di LPU resta da esse implementatu da parechji di i grandi sviluppatori in u spaziu. Heaps hà dettu chì parechji fattori risultatu in questu, unu di i quali hè a relativamente nova "esplosione di LLMs" in l'ultimu annu.

"A ghjente vulia sempre una soluzione unica cum'è una GPU chì ponu aduprà sia per a so furmazione sia per l'inferenza. Avà u mercatu emergente hà furzatu a ghjente à truvà a differenziazione è una suluzione generale ùn l'aiuterà micca à fà questu ".

A parti di u pruduttu stessu, Heaps hà ancu toccu l'elefante in a stanza – u nome "Groq".

Groq hè stata creata in u 2016 cù u nome registratu pocu dopu. Tuttavia, u chatbot d'Elon Musk, Grok, apparsu in scena solu in nuvembre 2023 , diventendu largamente ricunnisciutu in u spaziu AI in pocu tempu.

Heaps hà dettu chì ci sò stati "fan di Elon" chì anu presumitu chì anu pruvatu à "piglià u nome" o chì era una sorta di strategia di marketing. Tuttavia, una volta chì a storia di a cumpagnia hè stata cunnisciuta, hà dettu: "Allora a ghjente [ottene] un pocu più tranquilla".

"Hè stata una sfida uni pochi di mesi fà quandu u so LLM riceveva assai stampa, ma avà pensu chì a ghjente sta attente à Groq, cù una Q."