Gdy na rynku pojawiał się Kinect, jeszcze niewiele osób wiedziało o Time of Flight 3D czy LiDARach. Metody mierzenia ruchów ciała z wykorzystaniem kamery i wiązki laserowej były wtedy czymś rewolucyjnym. I choć Kinect odszedł w niepamięć, tak nadal są użytkownicy, którzy korzystają z niego do zabawy czy ćwiczeń.
Do tych drugich wykorzystuje się także smartwatche, przy czym te nie mają narzędzi do dokładnego pomiaru ruchu, a przynajmniej nie w tradycyjnym sensie. Mają jednak mikrofony i głośniki, a ten zestaw potrafi działać niczym sonar, także w tak małym urządzeniu. Uczeni z Uniwersytetu Cornella w Nowym Jorku skorzystali z tych rozwiązań do stworzenia EchoMotion.
EchoMotion mierzy ruch dzięki AI i systemowi audio
Badacze pod przewodnictwem Chenga Zhanga, profesora w Cornell Ann S. Bowers College of Computing and Information Science wzięli na tapet klasyczny smartwatch, posiadający głośnik oraz mikrofon. Postanowili, że to dzięki niemu ustalą pozycję ciała, w tym ruch kończyn. Zaprzęgli do tego celu sztuczną inteligencję i stworzyli EchoMotion.
Rozwiązanie powstało w oparciu o replikę smartzegarka z wykorzystaniem dwóch głośników na bokach oraz mikrofonów. Te emitują sygnały ultradźwiękowe, których zadaniem ma być otoczenie osoby niesłyszalnymi falami dźwiękowymi. Dwa mikrofony zbierają informacje z otoczenia. Badacze w ten sposób zgromadzili próby od 10 badanych i zmierzyli ich podczas 18 ćwiczeń. Zegarek nosili na niedominującej dłoni.
Zawarta w oprogramowaniu AI to tak naprawdę niewielki model stworzony na potrzeby kompaktowych urządzeń o mniejszej mocy obliczeniowej. EchoMotion przewiduje pozycje 12 stawów dzięki algorytmowi głębokiego uczenia, który korzystał z materiału zarejestrowanego kamerami, by dokładnie rozpoznawać pozycję i następnie dostarczać do nauki prawidłowe informacje.
Czytaj także: Gemini w Carplay już oficjalnie. Do czego się przyda?
Dokładność modelu zachowała wysoki poziom. Na Samsungu Galaxy Watch 6 potrafił on określić lokalizację każdego ze stawów z błędem około 10 centymetrów oraz zaledwie 6-centymetrowym marginesem po 12-minutowej kalibracji. Bez ponownego treningu algorytm zadziałał na Samsungu Galaxy Watch 7 oraz Google Pixel Watchu 3.
Co ważne, rozwiązanie to nie tylko niewielki model obliczający pozycję, ale i stosunkowo nieduży koszt w zużyciu energii. W przypadku prototypu zużycie systemu pozycjonowania kosztowało około 12 miliwatów, czyli nawet 40-krotnie mniej niż w przypadku noszonej kamery. Z kolei 30-minutowa sesja pracy na Samsung Galaxy Watch 6 zużywała między 5 a 6% baterii.
EchoMotion może pomóc nam, ale i robotom nas zastępujących
EchoMotion może pomóc w projektowaniu smartwatchy, które pomogą w ćwiczeniach dzięki dokładnemu położeniu ciała. Rozwiązanie ma jednak swoje ograniczenia. O ile działało dobrze w małym pomieszczeniu, tak w wąskim korytarzu jego rezultaty były mniej dokładne ze względu na echo. To jednak może ulec poprawie, gdy tylko model będzie miał większą próbę badanych.
Czytaj także: WhatsApp dokłada nową warstwę prywatności. Koniec ze zrzutami ekranu na pamiątkę?
Przewagą EchoMotion nad innymi systemami jest prywatność osób postronnych — dźwięk będzie dla nich niesłyszalny, a nikt z nas nie będzie musiał nosić kamery. Badacze widzą też korzyści nie tylko dla smartwatchy, ale i systemów rozszerzonej rzeczywistości, których dokładność w mapowaniu ruchów rąk może się zwiększyć.
Rozwiązanie może pomóc nie tylko nam, ale i robotom. Te oczywiście korzystają już z licznych kamer i sensorów, które pozwalają na bieżąco obliczać ich ruchy oraz pozycję. Tańszy, prostszy system mógłby jednak pomóc w popularyzacji maszyn, których swoboda ruchu i rozumienie pozycji byłoby wystarczające do mniej wymagających zadań niż precyzyjne składanie elementów, na przykład do zwykłego poruszania się. To jednak przyszłość, w której EchoMotion musiałoby najpierw osiągnąć popularność i finansowanie.
