Tym razem sprawa jest o tyle ciekawa, że to nie producenci wymyślili nowe zastosowanie swojego sprzętu. Wzięli się za to naukowcy, którzy zaczęli wydobywać nowe możliwości z czujników, które w dużej mierze już znamy. LiDAR, obecny w części droższych urządzeń mobilnych, nie musi być wyłącznie dodatkiem do AR i ustawiania ostrości. W kontrolowanych warunkach może stać się czymś w rodzaju prymitywnego narządu widzenia za przeszkodę.
LiDAR nie patrzy jak kamera
Zacznijmy od podstaw. LiDAR nie “widzi” świata tak jak zwykły aparat. W uproszczeniu wysyła impulsy światła i mierzy, po jakim czasie sygnał wraca do odbiornika. Dzięki temu urządzenie może obliczyć odległość od obiektów i zbudować przybliżoną mapę głębi. Właśnie dlatego technologia przydaje się w robotach sprzątających, samochodach, goglach AR/VR, skanowaniu przestrzeni czy archeologii, gdzie laserowe pomiary pomagają odsłaniać ślady struktur niewidocznych z poziomu gruntu.
Czytaj też: NASA stworzyła kosmiczny procesor przyszłości. Łapię się za głowę na samą myśl o jego możliwościach
Problem polega na tym, że klasyczny konsumencki LiDAR jest ograniczony linią widzenia. Jeśli coś stoi przed nim, da się to zmierzyć. Jeśli coś jest za rogiem, za ścianką działową albo poza bezpośrednim zasięgiem wiązki, to ten sensor zwykle nie ma z tym co zrobić. Jednak nie dlatego, że fizyka całkowicie zabrania odebrania takiej informacji, ale dlatego, że informacja wraca jako sygnał bardzo słaby, rozproszony i pełen zakłóceń. Dlatego zresztą do tej pory podobne eksperymenty NLOS, czyli non-line-of-sight imaging, wymagały najczęściej sprzętu laboratoryjnego, kosztownego osprzętu i precyzyjnie przygotowanej sceny.
Właśnie tu wchodzi praca zespołu z MIT opublikowana w Nature. Naukowcy pokazali algorytm, który potrafi wykorzystać konsumencki LiDAR do obrazowania obiektów ukrytych poza bezpośrednią linią widzenia. Nie mówimy o pełnym, ostrym podglądzie przez betonową ścianę. Mówimy raczej o próbie złożenia kształtu i ruchu z resztek światła, które odbiło się od ścian, podłogi oraz obiektu schowanego za przeszkodą.
Smartfon jako urządzenie do patrzenia za róg
Najprostszy przykład praktycznego wykorzystania tego rozwiązania wygląda tak – zamiast kierować sensor bezpośrednio na obiekt, kierujemy go na widoczną powierzchnię w pobliżu przeszkody, czyli na przykład podłogę albo ścianę. Następnie ta powierzchnia zaczyna działać jak bardzo niedoskonałe lustro. Nie odbija obrazu czysto, jak tafla szkła, ale rozprasza światło. Część impulsów dociera do ukrytego obiektu, odbija się od niego, wraca przez tę samą “chaotyczną” drogę i trafia do LiDAR jako sygnał, który normalnie zostałby uznany za szum.
Sztuczka MIT nie polega więc na tym, że sam LiDAR nagle stał się precyzyjniejszy czy mocniejszy. Najważniejsze dzieje się w oprogramowaniu. Algorytm nie wyrzuca słabych odbić, tylko zbiera je przez wiele klatek, kiedy porusza się telefon, sensor albo sam obiekt. Następnie składa te fragmenty z różnych kątów i próbuje odtworzyć ruch oraz przybliżony kształt tego, czego urządzenie formalnie “nie widzi”. Badacze porównują to podejście do sposobu myślenia znanego z fotografii seryjnej i radaru z syntetyczną aperturą, bo ruch urządzenia pomaga zebrać dane, których pojedynczy pomiar nie dałby w wystarczającej jakości.
Ten temat pokazuje więc niejako przesunięcie ciężaru z samego hardware’u na interpretację danych. Przez lata branża mobilna przyzwyczajała nas do prostego myślenia, że większa matryca, lepszy obiektyw, jaśniejsza optyka i nowszy sensor to klucz do progresu. Tutaj mamy coś innego. Dowód na to, że sensor może być tani i ograniczony, ale jeśli zbiera wystarczająco bogaty sygnał w pewnym przedziale czasowym, to algorytm może wyciągnąć z niego warstwę informacji, której użytkownik nigdy nie zobaczyłby w surowej postaci.
Testy były praktyczne, ale wynikom daleko do ideału
W doświadczeniach naukowcy wykorzystali standardowy, konsumencki czujnik LiDAR kosztujący mniej niż 100 dolarów. Za przeszkodami ustawili między innymi ruchomego manekina, kartonowe wycięcia oraz litery. Sensor nie patrzył bezpośrednio na te obiekty, tylko na pobliską powierzchnię przy przegrodzie. Efekt? System potrafił śledzić ruch manekina w czasie rzeczywistym i tworzyć zgrubne rekonstrukcje 3D ukrytych obiektów. W jednym z pokazów naukowcom udało się też śledzić ludzkie dłonie, choć w tym scenariuszu musieli wykorzystać rękawice odblaskowe, żeby łatwiej odseparować sygnał od reszty ciała.
Czytaj też: Największy problem nowoczesnej technologii nie dotyczy procesorów. Nieskończona energia czai się pod wodą
Innymi słowy, nie jest to technologia, która rzeczywiście zrobi ze smartfonu radar czy kamerę termowizyjną. Z pozoru może się tak wydawać, bo przecież można “widzieć” to, co znajduje się za ścianą, ale taka technika wymaga konkretnej przestrzeni. Potrzebuje powierzchni, od których światło może się rozproszyć. Potrzebuje ruchu albo wielu pomiarów. Dziś najlepiej działa wtedy, gdy system zna lub potrafi w przybliżeniu określić kształt obiektu, którego szuka. Naukowcy sami zresztą wskazują, że kolejnym etapem będzie praca z nieznanymi i zmieniającymi się kształtami.
Największy potencjał tej techniki nie leży w smartfonach
Smartfon jest tutaj wygodnym przykładem, bo przecież każdy rozumie, czym jest telefon z LiDAR-em. Mam jednak wrażenie, że prawdziwe zastosowania szybciej pojawią się gdzie indziej. Robot sprzątający, robot magazynowy, autonomiczny wózek, gogle rozszerzonej rzeczywistości, urządzenie asystujące osobom z niepełnosprawnościami – w takich miejscach nawet bardzo powierzchowna informacja o obiekcie ukrytym za rogiem może mieć wartość.
Dzisiejsze maszyny często działają tak, jakby świat zaczynał się dopiero w momencie, kiedy ich kamera lub LiDAR złapie obiekt bezpośrednio. Człowiek ma z tym łatwiej, bo słyszy kroki za rogiem, widzi cień na ścianie, zauważa odbicie w szybie, a do tego rozumie kontekst. Maszyna zwykle potrzebuje sygnału pomiarowego. Jeśli tani LiDAR może zacząć zbierać choćby część takich pośrednich informacji, to mówimy o lepszej orientacji w przestrzeni bez dokładania wielkich, drogich modułów.
Czytaj też: Miniaturyzacja znów trafiła na ścianę. Mikroskopijna szczelina zepsuła plany na procesory nowej ery
Robot nie musi widzieć pełnej sylwetki człowieka za regałem. Czasem wystarczy mu informacja, że “coś się porusza” w miejscu, do którego za chwilę wjedzie. Gogle AR nie muszą rekonstruować całego pomieszczenia za ścianą. Mogą wykorzystać sygnał do lepszego szacowania przestrzeni, stabilizacji mapy albo przewidywania ruchu obiektów.
Źródła: Nature
