Conform Playtech.ro: Jalapeno, noul cip OpenAI, promite performanțe superioare în inferența AI
OpenAI susține că noul său cip, denumit Jalapeno, ar putea revoluționa piața inteligenței artificiale, oferind performanțe semnificativ superioare în sarcinile de inferență, adică rularea modelelor AI deja antrenate. Testele efectuate pe trei modele AI de referință au indicat o latență mult redusă și o eficiență energetică crescută comparativ cu soluțiile concurente de la NVIDIA.
Rezultate preliminare spectaculoase în teste
Rezultatele prezentate de OpenAI, obținute cu ajutorul supei publice InferenceX de la SemiAnalysis, au vizat modele precum GPT-OSS 120B, DeepSeek R1 670B și Kimi K2.5 de la Moonshot AI, acesta din urmă atingând aproximativ un trilion de parametri. Potrivit companiei, avantajul Jalapeno este cel mai pronunțat în scenariile cu latență redusă.
În aceste condiții, cipul OpenAI ar fi capabil să ofere o latență end-to-end între 1,7 și 3,6 ori mai mică decât sistemele NVIDIA GB200 și GB300.Mai mult, în anumite puncte de funcționare, diferențele raportate privind performanța la consum au fost și mai drastice, ajungând la un avantaj de 8,6-104,3 ori în comparație cu cele mai rapide setări anterioare ale GB300, în special la intervalul dintre tokeni.
Este important de menționat că aceste comparații au luat în considerare consumul nominal al acceleratorului. OpenAI specifică faptul că Jalapeno a consumat efectiv maxim aproximativ 550 W în timpul testelor. O comparație bazată pe consumul total al sistemului, care include componente adiționale, arată că Jalapeno necesită aproximativ 1,18 kW per accelerator, față de 2,55 kW pentru GB300, micșorând astfel diferența, dar păstrând un avantaj pentru soluția OpenAI.
Limitări și contextul comparației
Cu toate acestea, rezultatele OpenAI nu implică neapărat că Jalapeno depășește toate soluțiile de ultimă generație de la NVIDIA. Un detaliu crucial este că testele nu au inclus noua platformă NVIDIA Vera Rubin. OpenAI a anunțat anterior un acord pentru implementarea unor sisteme cu o capacitate de 10 GW, bazate pe această tehnologie NVIDIA, începând din a doua jumătate a anului 2026.
De asemenea, Jalapeno este proiectat exclusiv pentru inferență, adică pentru executarea modelelor AI antrenate, nu pentru procesul de antrenare a acestora. În domeniul antrenării, acceleratoarele NVIDIA continuă să domine piața. O altă diferență notabilă rezidă în modul de utilizare. Comparațiile principale au pus Jalapeno în fața unor configurații GB200 și GB300 care utilizau predicția unui singur token. În centrele de date, NVIDIA este frecvent utilizată cu tehnici precum multi-token prediction, care pot influența rezultatele privind eficiența.
OpenAI intenționează să folosească noul cip în propriile centre de date, concentrându-se pe optimizarea sarcinilor de inferență, un aspect critic pentru scalarea aplicațiilor de inteligență artificială. Implementarea acestor sisteme ar putea reduce costurile operaționale și energetice pentru companiile care se bazează pe AI pentru diverse servicii.
Sursa: Playtech.ro
