Google DeepMind opisao “Magic Pointer” za Googlebook, a mogućnost dolazi i u Gemini u Chromeu

Google DeepMind je detaljnije opisao “Magic Pointer”, AI-om potpomognuti pokazivač razvijen za Googlebook, a isti pristup uskoro dolazi i u Gemini u Chromeu. Riječ je o konceptu koji treba pomoći pokazivaču da ne prepoznaje samo ono na što upućuje, nego i razlog zbog kojeg je to korisniku važno.

DeepMind navodi da želi riješiti čestu frustraciju kod AI alata koji rade u vlastitom prozoru, zbog čega korisnici moraju “uvući” svoj sadržaj u alat. Umjesto toga, cilj je ponuditi intuitivniji AI koji se uklapa u alate koje ljudi već koriste, bez prekidanja rada. Kao primjer navodi se situacija u kojoj korisnik pokaže na sliku zgrade i zatraži “Prikaži mi upute”, bez potrebe za dodatnim objašnjenjima ako sustav već razumije kontekst.

Tvrtka taj pristup opisuje kao zamjenu za “tekstualno teške upite” jednostavnijim i prirodnijim interakcijama. AI-om potpomognuti pokazivač trebao bi postupno prikupljati vizualni i semantički kontekst oko mjesta na koje je usmjeren, kako bi računalo moglo “vidjeti” i razumjeti što je korisniku važno. DeepMind također navodi da bi AI sustav koji razumije spoj konteksta, pokazivanja i govora mogao omogućiti složenije zahtjeve u prirodnoj skraćenoj formi.

Kao primjer uporabe navodi se i slučaj u kojem “pauzirani kadar u putnom videu postaje poveznica za rezervaciju tog zanimljivog restorana”. Google je, prema objavi, u AI Studiju postavio dvije demonstracije AI-om potpomognutog pokazivača koje se mogu isprobati. Također je najavljeno da će korisnici uskoro moći upotrijebiti pokazivač kako bi Gemini u Chromeu postavljali pitanja o dijelu web-stranice koji ih zanima, a ta je mogućnost u postupku uvođenja.

U primjerima koje DeepMind navodi spominje se i odabir nekoliko proizvoda na stranici radi usporedbe, kao i pokazivanje na mjesto na kojem korisnik želi vizualizirati novu sofu u dnevnoj sobi. Time Google širi pristup u kojem se unos ne oslanja samo na tipkanje upita, nego i na kombinaciju pokazivanja, konteksta i glasa, uz napomenu da je riječ o mogućnosti koja se tek uvodi u Gemini u Chromeu.