NVIDIA i Dell predstavili nove sustave za agentnu AI i inferenciju u poduzećima

Na Dell Technologies Worldu Michael Dell i Jensen Huang predstavili su niz novosti vezanih uz Dell AI Factory with NVIDIA, uz poruku da poduzeća sve više prelaze s pilot-projekata na agentnu AI i inferenciju u velikom opsegu. NVIDIA navodi da je infrastruktura za AI u središtu te promjene, a Huang je rekao da je došlo “doba korisne AI” te da je potražnja “parabolična”.

Dell je na pozornici istaknuo da bi svjetska potrošnja na AI infrastrukturu mogla dosegnuti 3 do 4 bilijuna američkih dolara do 2030., dok bi potrošnja tokena u istom razdoblju mogla porasti 3.400 posto. NVIDIA i Dell uz to navode da 5.000 poduzeća, među kojima su Lilly, Samsung i Honeywell, već pokreće AI opterećenja na Dell AI Factory with NVIDIA.

Među najvažnijim najavama je Dell PowerEdge XE9812, koji je izgrađen na NVIDIA Vera Rubin NVL72 i, prema NVIDIA-i, donosi do 10 puta niži trošak po tokenu od NVIDIA Blackwella za inferenciju agentne AI na velikoj skali. Uz njega dolaze i serveri PowerEdge XE9880L, XE9885L i XE9882L, prvi Dellovi sustavi temeljeni na NVIDIA HGX Rubin NVL8, s podrškom za do 144 GPU-a po racku, 100-postotnim izravno tekućinski hlađenim compute čvorovima i do 5,5 puta boljim performansama od HGX B200.

Dell je predstavio i novi PowerSwitch portfolio s NVIDIA Quantum-X800 InfiniBandom, uz tekućinski hlađene, co-packaged optics i NVIDIA Spectrum-6 Ethernet. Uz to dolazi i Dell PowerRack kao integrirani sustav za računalne resurse, mrežu i pohranu, s termalnim dizajnom, upravljanjem napajanjem i softverskom optimizacijom koje su, kako navodi Dell, osmišljene da rade zajedno od početka. Tvrtka kaže da je cilj ubrzati AI i high-performance computing opterećenja na razini poduzeća bez dodatnog integracijskog posla pri sastavljanju komponenti.

Na CPU strani Dell PowerEdge M9822 i R9822 donose NVIDIA Vera CPU u poduzeće, a NVIDIA navodi da je Vera namijenjena agentnoj AI za podatkovne tokove, analitiku, sandboxirane alate i programske zadatke u kojima svaki korak čeka prethodni. Prema navodima iz prezentacije, Vera ima propusnost memorije od 1,2 TB/s i predvidljive performanse pod opterećenjem, a agentne zadatke dovršava 50 posto brže od x86 procesora. Dell je također istaknuo Starburst, novi podatkovni motor u Dell AI Data Platform with NVIDIA, za koji se navodi 3 puta brži SQL upitni throughput na NVIDIA Vera CPU-u za veliku analitiku.

Na pozornici su se pojavili i korisnici Dell AI Factory with NVIDIA. Lilly je govorila o napretku u znanostima o životu, Samsung je prikazao primjene u dizajnu i proizvodnji čipova za istraživanje i razvoj, a Honeywell je opisao prelazak s javnog oblaka na lokalnu AI infrastrukturu za industrijske primjene, digitalne blizance i automatizaciju od podatkovnog centra do ruba mreže.