Jak wyjaśnia Jesse Thomason, jeden z autorów projektu TEACh: Task-driven Embodied Agents that Chat, fajnie byłoby rozmawiać z robotami, ale najpierw musimy zrozumieć, co rozumie robot, a robot musi zrozumieć, co według niego rozumiemy my. TEACh ma na celu przekonanie się, w jaki sposób roboty łączą rozumienie naturalnego języka ludzkiego ze światem wizualnym, a jednocześnie wykorzystują rozmowy do komunikacji i mają własne cele.
Czytaj też: Sztuczna inteligencja jest lepszym nauczycielem niż człowiek
W ponad 3000 symulowanych interakcji wzięli udział dowódcy (osoby rozumiejące zadanie) i naśladowcy, czyli ci, którzy mieli je wykonywać. Dowódca przekazywał zadanie naśladowcy, a ten wchodził następnie w interakcję z otoczeniem, aby wykonać zleconą misję. Naśladowca mógł zadawać pytania, aby uzyskać więcej informacji o tym, jak wykonać określone czynności. Te były zróżnicowane i dotyczyły codziennych czynności, takich jak na przykład parzenie kawy.
W efekcie modele oparte na uczeniu maszynowym rozwijają swoje umiejętności komunikacji, zyskując zdolność “dopytywania” w razie wątpliwości. Ostatecznym celem jest sprawienie, by roboty uczyły się na podstawie interakcji z ludźmi i mogły dostosować się do naszego języka naturalnego.
Maszyny muszą też lepiej radzić sobie z rozpoznawaniem trójwymiarowych obiektów, co jest szczególnie wymagające w przypadku całkowicie lub częściowo zasłoniętych przedmiotów. W celu zmniejszenia liczby potencjalnych wypadków, Qiangeng Xu i jego współpracownicy opisują detektor obiektów. Nawet przy tylko częściowym określeniu kształtu, funkcja Behind the Curtain tworzy pełny obraz zasłoniętego obiektu za pomocą modeli prawdopodobieństwa.
Czytaj też: Automatyczny tłumacz na bazie sztucznej inteligencji w planach Meta. Firma chce tłumaczyć setki języków
Jednym z elementów konferencji były badania poświęcone narzędziu SpreadGNN, czyli sieci wykorzystującej tzw. uczenie federacyjne w połączeniu z GNN (Graph Neural Network). Okazało się, że dzięki takiemu rozwiązaniu możliwe było skuteczniejsze szkolenie modeli. Jeśli chodzi o uczenie federacyjne, to dzięki niemu dane są bezpiecznie przechowywane w wielu miejscach, a nie w jednym. Korzystne zmiany były zauważalne nawet w przypadku ograniczonych topologii.
