Smartfon ma dziś kamerę, GPS, zestaw czujników ruchu, ogromną moc obliczeniową, a w niektórych modelach również LiDAR. Przez większość czasu wykorzystujemy ten arsenał głównie do robienia zdjęć, ale inżynierowie z Harvardu postanowili potraktować telefon znacznie poważniej i sprawdzić, czy sprzęt noszony każdego dnia w kieszeni może przejąć część zadań prawdziwego przewodnika. Tak powstał system Mobilio, a wyniki z testów sugerują, że jesteśmy znacznie bliżej takiej przyszłości, niż mogłoby się wydawać.
Mobilio chce zrobić z telefonu coś więcej niż nawigację GPS
Zanim rozpoczęły się właściwe prace, badacze zapytali 112 osób niewidomych i słabowidzących, czego właściwie oczekują od elektronicznego przewodnika. Najczęściej pojawiały się trzy potrzeby: prowadzenie do celu, utrzymywanie użytkownika na bezpiecznej trasie oraz wykrywanie i omijanie przeszkód. Problem w tym, że typowa nawigacja GPS radzi sobie właściwie tylko z pierwszym zadaniem.
Czytaj też: Komputer przyszłości może być żywy. Naukowcy stworzyli coś, w co trudno uwierzyć
Mobilio to coś jak skrzyżowanie klasycznej nawigacji, komputerowego widzenia i prostego systemu autonomicznego. Nie chodzi bowiem wyłącznie o powiedzenie użytkownikowi “skręć w lewo za 50 metrów”. Aplikacja analizuje jego aktualne położenie, kierunek ruchu, otoczenie oraz powierzchnię, po której może się bezpiecznie poruszać. Mobilio bierze więc obraz z kamery, dane GPS i informacje z jednostki inercyjnej IMU, a jeśli telefon ją posiada, również informacje z LiDAR-u. Następnie specjalnie wytrenowany model segmentacji semantycznej rozpoznaje m.in. chodniki, przejścia dla pieszych i drogi.
Badacze musieli stworzyć rozwiązanie nastawione właśnie na perspektywę pieszego, bo ogromna część publicznych zbiorów danych przedstawiających ulice została zarejestrowana z samochodów. Pokazuje to ciekawą kwestię, bo przez lata rozwijaliśmy komputerowe widzenie przede wszystkim po to, żeby samochód wiedział, gdzie może pojechać. Teraz podobny mechanizm ma powiedzieć człowiekowi, gdzie może zrobić następny krok.
Telefon planuje drogę niczym mały autonomiczny pojazd
W eksperymentach został wykorzystany iPhone 12 Pro przypięty do klatki piersiowej, otwarte słuchawki oraz zwykła biała laska. Mobilio nie próbuje więc zastępować sprawdzonych narzędzi, ale je uzupełnia. W tle aplikacja wykorzystuje m.in. odometrię wizualno-inercyjną, mapowanie przestrzeni i wykrywanie przeszkód, a wszystkie obliczenia wykonuje w czasie rzeczywistym na telefonie. Sam projekt powstał zresztą w Unity (swoją drogą, to w tym silniku tworzę własną grę), wykorzystując m.in. AR Foundation i Unity Sentis.
Czytaj też: Naukowcy zbudowali hamulec dla światła. Optyczne komputery dostały brakujący element
Kierowanie użytkownikiem nie ogranicza się do komunikatów głosowych. Mobilio generuje przestrzenne sygnały dźwiękowe dobiegające z odpowiedniego kierunku. Jeśli należy odbić w lewo, to sygnał kieruje uwagę właśnie tam. Co ciekawsze, system obserwuje reakcję konkretnego człowieka i dostosowuje tempo oraz charakter sygnałów do tego, jak skutecznie użytkownik na nie reaguje. Jest w tym coś, co przypomina mi opisywane jeszcze lata temu próby pozwalające osobom niewidomym widzieć dźwiękiem i dotykiem. Wtedy specjalistyczna elektronika miała tłumaczyć przestrzeń na inne zmysły. Mobilio robi coś podobnego, tyle że komputerem staje się urządzenie, które miliony ludzi już posiadają.
Google Maps przegrało pierwszy pojedynek z Mobilio
Pierwszy eksperyment objął 14 osób, a w tym dziewięć niewidomych i pięć słabowidzących. Na zewnętrznej trasie liczącej około 150 metrów uczestnicy korzystający z Mobilio oraz białej laski docierali do celu średnio o 13% szybciej niż z Google Maps i laską. Liczba sytuacji wymagających dodatkowej słownej korekty spadła przy tym o około 72%, a niezawodność prowadzenia okazała się zbliżona do pomocy człowieka.
Jeszcze ciekawiej wygląda tor z przeszkodami. Liczba kontaktów użytkownika lub jego laski z otoczeniem zmniejszyła się o około 41%. Jest jednak druga strona medalu – przejście zajmowało średnio o około 17% więcej czasu. Bezpieczeństwo rosło więc kosztem tempa. Trudno uznać to za porażkę, ale zdecydowanie warto o tym pamiętać, zanim zaczniemy przedstawiać Mobilio jako cyfrowego przewodnika idealnego.
Czytaj też: 128 kubitów bez próżni i ciekłego helu. Komputery kwantowe wchodzą pod strzechy
Próba obejmująca 14 osób jest zresztą ciągle bardzo mała. Inaczej zachowuje się system na przygotowanej trasie w Massachusetts, a inaczej może poradzić sobie zimą, podczas deszczu, w zatłoczonym centrum miasta albo przy robotach drogowych. Badacze sami planują teraz znacznie szersze testy w rejonie Bostonu.
Piętnaście lat dzieliło człowieka-przewodnika od aplikacji
Najlepszą perspektywę daje mi jednak spojrzenie wstecz. Już w 2011 roku opisywany był polski Teleasystent dla niewidomych, w którym kamera i GPS przesyłały informacje do widzącej osoby, a ta zdalnie mówiła użytkownikowi, gdzie ma się udać. Od tego momentu minęło piętnaście lat i człowiek znajdujący się po drugiej stronie połączenia zaczyna znikać z równania. Kamera została. GPS został. Tyle że obraz interpretuje model uczenia maszynowego, pozycję poprawiają dodatkowe czujniki, algorytm wyznacza bezpieczną drogę, a telefon sam tłumaczy ją użytkownikowi na przestrzenny dźwięk.
Właśnie takie osiągnięcia najbardziej przypominają mi, że “technologie przyszłości” coraz rzadziej wymagają futurystycznych urządzeń. Czasami sprzęt już od dawna mamy w kieszeni. Musimy tylko wreszcie nauczyć go robić coś naprawdę użytecznego.
Źródła: arXiv, Harvard.edu
