Tradycyjnie, programowanie robotów do wykonywania konkretnych zadań wymagało od inżynierów pisania szczegółowych instrukcji, a następnie wielokrotnego treningu i optymalizacji. Każde nowe zadanie to niemalże projekt od zera. GEN-1.5 całkowicie zmienia to podejście. Zamiast trenowania od podstaw, model uczy się bezpośrednio z fizycznych przykładów, inferując, co ma zrobić, na podstawie krótkiej demonstracji sensomotorycznej. To pozwala mu natychmiast podjąć próbę wykonania zadania, niczym błyskawiczny uczeń.
Jak działa “fizyczna podpowiedź”?
GEN-1.5 to zaawansowany, multimodalny model językowy, który przetwarza różnorodne dane: wideo, dane z sensorów, język oraz dane proprioceptywne (informacje o pozycji i ruchu własnego ciała robota). Kluczem do jego działania jest koncepcja “fizycznej podpowiedzi” (physical prompt). Demonstracja zadania, czy to wykonana przez człowieka za pomocą chwytaków, czy przez samego robota, staje się natychmiastową instrukcją. Gdy przykład zostanie umieszczony w “oknie kontekstowym” modelu – które utrzymuje 30 sekund informacji i generuje trajektorie działań z częstotliwością 100 Hz – robot próbuje wykonać zadanie bez konieczności przechodzenia przez fazę treningową.
Co intrygujące, Generalist AI podkreśla, że GEN-1.5 nie był specjalnie trenowany do uczenia się w kontekście, ani nie zawierał zmian architektonicznych czy pętli meta-uczenia. Ta zdolność do improwizacji i adaptacji wyłoniła się niejako samoistnie, co odróżnia go od konwencjonalnych metod wymagających obszernych danych i optymalizacji.
Zaskakujące wyniki i zdolności
W serii testów obejmujących 10 prostych i krótkich zadań fizycznych, GEN-1.5 wykazał niezwykłą skuteczność. Zaledwie jedna demonstracja pozwoliła mu osiągnąć średni wskaźnik sukcesu na poziomie 59%. Kiedy model otrzymał zaledwie pięć minut danych specyficznych dla zadania i 10 kroków gradientowych, jego średnia skuteczność wzrosła do imponujących 83%. Zadania te obejmowały tak codzienne czynności jak odkręcanie słoika, wyjmowanie pieniędzy z portfela, układanie kubków, zamiatanie śmieci, otwieranie książki czy odpinanie zamka w piórniku.
Uogólnianie, kombinowanie i improwizacja
Model GEN-1.5 pokazał również zdolności wykraczające poza proste kopiowanie. Naukowcy zaobserwowali, że potrafi łączyć fizyczne podpowiedzi – na przykład, po obejrzeniu oddzielnych demonstracji odpinania zamka i wyjmowania pieniędzy, robot połączył te dwie czynności w płynną sekwencję, samodzielnie generując ruchy repozycjonujące, których nie było w żadnej z pierwotnych demonstracji.
Co więcej, model wykazuje zdolność do uogólniania. Demonstracja nagrana w symulacji mogła być wykorzystana do zaprogramowania rzeczywistego robota, mimo że w przedtreningu modelu nie było żadnych danych symulowanych. Robot potrafił również adaptować się do różnych dłoni, zmian w pozycji i rozmiarze obiektów. W innym teście, robot odtworzył akcję zaprezentowaną przez ludzkie ręce, widoczne w kamerach robota, używając swoich własnych manipulatorów.
Prawdziwie fascynujące jest to, że GEN-1.5 potrafi improwizować. Po nauczeniu się używania szczotki do zamiatania klocka do miski, robot, gdy podano mu banana, użył go jako improwizowanej szczotki! Gdy zaoferowano mu szufelkę, opracował zupełnie inną strategię, używając narzędzia do podnoszenia i wsypywania klocka do miski. To wskazuje na rozumienie celu zadania, a nie tylko naśladowanie konkretnych ruchów.
Przyszłość robotyki bez kodowania?
Te zdumiewające zachowania wskazują na zupełnie nowe podejście do programowania robotów. Zamiast pisać szczegółowe instrukcje dla każdego nowego zadania, użytkownicy mogliby w przyszłości po prostu zademonstrować, czego oczekują, a robot samodzielnie opracowałby szczegóły fizyczne. To otwiera drzwi do znacznie bardziej intuicyjnej i dostępnej interakcji człowieka z robotem, potencjalnie rewolucjonizując automatyzację w przemyśle, usługach, a nawet w naszych domach.
