Nvidia i Microsoft ponovno guraju isti koncept lokalne AI obrade s RTX Sparkom

Nvidia i Microsoft na Computexu su predstavili RTX Spark, uređaj koji opisuju kao „superčip“ za novo Windows računalo u doba osobnih AI agenata. Ipak, riječ je o GB10 Grace Blackwellu, čipu koji je već godinu dana prisutan u Nvidijinu DGX Sparku. U središtu priče nije nova hardverska platforma, nego novo ime i ista ideja: lokalno pokretanje AI modela na ARM Windows računalu uz snažan marketinški naglasak na umjetnu inteligenciju.

Ključni argument u toj priči je 128 gigabajta unificirane memorije, što djeluje impresivno i sugerira mogućnost rada s velikim modelima. No stvarna ograničenja dolaze iz propusnosti memorije, koja na GB10 čipu iznosi 273 gigabajta u sekundi. U testovima navedenima u objavi model od 70 milijardi parametara radio je 4,8 tokena u sekundi, a Qwen3 od 32 milijarde parametara u punoj preciznosti 3,8 tokena u sekundi. To znači da je moguće učitati velike modele, ali njihovo izvođenje ostaje vrlo sporo.

U objavi se navodi i da na tom čipu bolje rade modeli tipa MoE, odnosno mixture of experts, jer po tokenu aktiviraju samo mali dio modela. Kao primjer se spominje Qwen3-30B, koji je prema navedenim mjerenjima dosegnuo 77 tokena u sekundi. Razlog je u tome što efektivno koristi oko šest gigabajta, a ne svih 128 gigabajta memorije. Drugim riječima, čip se pokazuje učinkovitijim u scenarijima koji ne koriste njegovu najjaču tržišnu značajku onako kako je predstavljena.

Autor uspoređuje ovu promociju s Microsoftovim pristupom oko Copilot+ PC računala, koja su prije dvije godine predstavljena s naglaskom na NPU od najmanje 40 TOPS. U objavi se navodi da su takva računala u 2024. godini činila pola posto ukupnog tržišta, da sniženja cijena nisu pomogla te da je trećina trgovaca rekla kako ih iduće godine neće držati na polici. Kao poseban primjer navodi se Recall, funkcija koja je trebala snimati zaslon svakih pet sekundi, ali je povučena prije lansiranja nakon sigurnosnih problema i vraćena gotovo godinu kasnije.

Objava zatim tvrdi da se isti obrazac ponavlja i sada: ista dva imena, isti ARM Windows, ista premium cijena i ista retorika o dolasku AI-ja. Usporedba troškova također ide u istom smjeru. Prema izračunu navedenom u objavi, milijun ispisanih tokena na velikom modelu na ovom čipu košta između 29 i 38 eura, dok isti milijun tokena preko Claudeova Sonneta stoji 13,95 eura. Spominje se i da je riječ o uređaju od oko četiri i pol tisuće eura, koji je na velikim modelima sporiji i skuplji po tokenu od rada u oblaku.

U završnici se navodi da smisla ima samo u uskom skupu slučajeva, primjerice kada je privatnost nužna, kada se radi bez internetske veze ili za developere na CUDA-i. Ostatak priče, prema tonu objave, ostaje prvenstveno u području prepakirane promocije istog koncepta.