NVIDIA Research pokazuje kako se simulacija sve više pretvara u robotiku stvarnog svijeta

Na konferenciji International Conference on Robotics and Automation (ICRA) NVIDIA Research predstavio je osam od ukupno 28 prihvaćenih radova koji pokazuju kako transfer iz simulacije u stvarni svijet postaje temelj za novu fazu robotike. Riječ je o pristupima koji robotima omogućuju da percipiraju, zaključuju, planiraju i djeluju u dinamičnim i nepredvidivim okruženjima, izvan kontroliranih demonstracija i skriptirane automatizacije.

Radovi obuhvaćaju više dijelova robotskog lanca: koordinaciju više robotskih ruku, politike koje se mogu generalizirati na različita tijela robota, hvatanje novih predmeta u neredu, precizno sastavljanje i modele vizije, jezika i djelovanja koji razmišljaju prije nego što se pokrenu. NVIDIA u tom okviru naglašava da simulacija postaje sve važnija osnova za robote koji se mogu prilagoditi i pouzdanije raditi izvan laboratorija.

Među prikazanim sustavima je ScheduleStream, koji mijenja klasično sekvencijalno raspoređivanje više robotskih ruku tako što račune pokreće na GPU-ovima i omogućuje paralelno planiranje i izvođenje pokreta. NVIDIA navodi da je rezultat trostruko ubrzanje u scenarijima planiranja više ruku na hardveru poput edge AI platforme Jetson. Kod za okvir dostupan je na GitHubu.

COMPASS je osmišljen za navigaciju robota različitih oblika. Najprije gradi osnovnu navigacijsku funkcionalnost imitacijskim učenjem, a zatim koristi residual reinforcement learning u NVIDIA Isaac Labu za stvaranje specijalista za različite izvedbe robota. U tom procesu nije korišten stvarni podatak s robota; sve je trenirano u simulaciji. Usporedno s baznim modelom imitacijskog učenja, COMPASS je postigao 4,5 puta bolji prosječni uspjeh, a u stvarnom okruženju oko 80 posto uspjeha kroz 20 pokušaja na autonomnim mobilnim robotima i humanoidima. NVIDIA navodi i da je sustav moguće povezati s Omniverse NuRecom za dodatno treniranje i provjeru u digitalnom blizancu novog okruženja prije raspoređivanja.

U području hvatanja predmeta NVIDIA opisuje Grasp-MPC, koji prilagodljivo računa zahvate i kontinuirano korigira kretanje robota dok se približava objektu, umjesto da izvršava unaprijed zadani plan. Za treniranje je korišteno 2 milijuna simuliranih putanja preko 8.000 objekata, uz anotacije iz skupa podataka GraspGen i podatke za planiranje gibanja iz cuRobo-a. Nakon treniranja na uspješnim i neuspješnim putanjama, sustav je na stvarnim robotima ostvario oko 75 posto ukupnog uspjeha, u usporedbi s bazom od 41 posto.

Deformable Cluster Manipulation rješava drugi tip zadatka: hvatanje fleksibilnog, zamršenog materijala u cijelim svežnjevima. Istraživače je motivirao zadatak uklanjanja mase grana koje su narasle preko dalekovoda, a sustav koristi cijelu ruku, ne samo hvataljku, kako bi obuhvatio i pomaknuo skup grana. Za treniranje je izrađen generator stabala temeljen na jednadžbama biološkog rasta, a model je treniran na tisućama sintetičkih stabala u NVIDIA Isaac open simulation frameworkovima. NVIDIA navodi da se politika na stvarne grane raspoređuje zero shot, a potencijal vidi i u upravljanju kabelima, poljoprivrednoj inspekciji i drugim zadacima u kojima robot mora rukovati zapetljanom masom, a ne jednim predmetom.

Za precizno sastavljanje NVIDIA Research navodi i metodu SPARR, čiji je cilj ublažiti probleme koji se pojavljuju kada simulacija ne uhvati dovoljno dobro stvarne uvjete, poput nesavršenih površina, odstupanja senzora i sitnih razlika koje mogu zaustaviti robota. U širem kontekstu, tvrtka kroz ovih osam radova poručuje da se sim-to-real više ne promatra samo kao prijelazni korak, nego kao temelj za sustave koji se mogu prilagođavati, generalizirati i djelovati pouzdanije u stvarnim uvjetima.