Foto: Wikimedia Commons (CC BY-SA 4.0)
Googleov Edge Gallery predstavlja zanimljiv i prilično jasan pomak u načinu na koji se veliki jezični modeli mogu koristiti na mobilnim uređajima. Riječ je o svojevrsnom digitalnom katalogu i igralištu putem kojega se mogu preuzimati Googleovi veliki jezični modeli za koje tvrtka smatra da su dovoljno zreli da bi se mogli izvršavati lokalno na pametnom telefonu i pritom ponuditi solidne rezultate i performanse. Drugim riječima, dio AI obrade ne mora završiti u oblaku, nego može ostati na samom uređaju.
Edge Gallery je višeplatformska aplikacija otvorenog koda, namijenjena istraživanju raznovrsnih Googleovih velikih jezičnih modela izravno na pametnom telefonu. To znači da podaci ne moraju u bilo kojem trenutku biti slani nekamo u oblak, pa aplikacija može raditi i bez internetske veze. Takav pristup odmah otvara nekoliko praktičnih prednosti, ali i pokazuje koliko se mobilni uređaji danas mogu približiti zadacima koji su se donedavno gotovo isključivo vezivali uz udaljene servere.
Da bi lokalno izvršavanje bilo moguće, najprije treba preuzeti jedan od dostupnih modela, no upravo je to jedna od ključnih funkcija Edge Galleryja. Aplikacija je zamišljena kao pregledan katalog i poligon za eksperimentiranje s velikim jezičnim modelima, pa je proces preuzimanja i isprobavanja pojednostavljen koliko god je to moguće. Ipak, treba računati na ograničenja koja dolaze s lokalnim radom: potrebno je osigurati dovoljno slobodnog prostora na uređaju, jer modeli zauzimaju znatnu količinu memorije, a sama izvedba izravno ovisi o hardverskim mogućnostima telefona.
U aplikaciji su, u suštini, dostupne dvije verzije iste obitelji modela, Gemma-4 i Gemma-3, pri čemu su modeli optimizirani za različite zadatke. Popis mogućnosti poprilično je širok: od generalnog dijaloga, preko analitike fotografija, pa sve do transkripcije i prevođenja zvučnih zapisa. Uz to, podržano je i izvođenje radnji na pametnom telefonu, kao i rad s agentima kroz različite skillove, a cijeli koncept dodatno je zaokružen i elementima igre, među kojima se spominje Tiny Garden.
Upravo zbog toga Edge Gallery nije tek demonstracija jedne aplikacije, nego i praktičan pokazatelj koliko se može postići bez oslanjanja na model u oblaku. Najzanimljiviji će biti svima koji žele na jednostavan način vidjeti koliko modeli koji se izvršavaju lokalno, a iza kojih stoji Google DeepMind, mogu biti korisni u stvarnim uvjetima. Istodobno, alat može poslužiti i kao početna točka za one koji razmišljaju o izradi vlastitih aplikacija s integriranom podrškom za ovdje dostupne velike jezične modele. U tom smislu, Edge Gallery je poligon za ispitivanje granica lokalnog AI-ja na smartfonu, ali i uvid u to kamo bi se mobilna obrada mogla kretati kada se dio inteligencije premjesti s oblaka izravno na uređaj.
Vezane vijesti
