Zaprezentowany właśnie przez specjalistów sprzęt to mały, półmilimetrowy element może jednocześnie reagować na światło i przechowywać informację, a przy tym samoczynnie zmieniać czułość zależnie od warunków. W praktyce oznacza to próbę stworzenia sztucznego wzroku, który potrafi filtrować świat podobnie jak organizm, który przez miliony lat uczył się przeżywać w cieniu, blasku, półmroku i nagłych zmianach oświetlenia.
Człowiek nie widzi idealnie, ale widzi sprytnie
Robot może robić salto, mechaniczna dłoń może podnosić delikatny przedmiot, a samochód może analizować obraz z kilku kamer jednocześnie. Nadal jednak ogromnym wyzwaniem pozostaje zwykła zdolność do poradzenia sobie z chaosem otoczenia, choć nas to aż tak nie dręczy. Ludzkie oko nie jest ideałem. Ma martwy punkt, adaptuje się z opóźnieniem, męczy się i łatwo daje się oszukać iluzjom. Jednocześnie pozostaje genialnym przykładem biologicznego kompromisu. Pręciki pomagają w słabym świetle, czopki odpowiadają za widzenie w jaśniejszych warunkach i kolory, a mechanizm adaptacji pozwala przechodzić między ciemnością i blaskiem bez konieczności ręcznego przełączania trybów.
Podobny problem widać przy LiDAR-ach, które próbują wydobywać informacje spoza bezpośredniej linii widzenia. Sam sensor nie musi być magiczny. Czasem ważniejsze okazuje się to, co system potrafi zrobić ze słabym, rozproszonym i pozornie mało użytecznym sygnałem. W przypadku nowego fotomemrystora z Penn State sprawa idzie jednak jeszcze głębiej, bo część “interpretacji” przenosi się do samego elementu światłoczułego.
Sztuczne oko nie jest kamerą. Bardziej przypomina nerwowy sensor
Fotomemrystor jest wyjątkowym duetem. Memrystor jest elementem elektronicznym, który potrafi “pamiętać” swój wcześniejszy stan elektryczny. Fotomemrystor dokłada do tego reakcję na światło. Nie działa więc jak zwykły piksel w aparacie, który zbiera fotony i przekazuje dane dalej do procesora obrazu. Przypomina raczej prosty, sztuczny odpowiednik synapsy, bo jednocześnie wykrywa bodziec i zachowuje ślad informacji.
Czytaj też: Robot kopnął dziecko podczas pokazu. Myślę, że czas powrócić do dyskusji o bezpieczeństwie humanoidów
W tym konkretnym projekcie kluczowe są dwa materiały, bo dwutlenek tytanu, czyli TiO₂, oraz PEDOT:PSS, przewodzący polimer o żelowej, elastycznej naturze. Dwutlenek tytanu przechwytuje światło i zamienia je w prąd fotoelektryczny. Ten sygnał wpływa następnie na warstwę PEDOT:PSS, która zmienia swoje zachowanie zależnie od ilości światła.
Najciekawszy element kryje się w wodzie. W ciemności polimer szybko pochłania parę wodną z otoczenia, pęcznieje i zwiększa czułość na słabsze sygnały. W jasnym świetle oddaje wodę, wysycha i obniża czułość, żeby mocne tło nie zalało całego obrazu. Wydaje mi się, że właśnie tutaj technologia zaczyna przypominać żywy narząd, ale nie dlatego, że jest “organiczna” w potocznym sensie, ale dlatego, że reaguje na środowisko przez własną fizyczną zmianę.
Żeby sprawdzić swoje rozwiązanie, badacze zbudowali niewielką siatkę 4 x 4 fotomemrystorów i połączyli ją z siecią neuronową. Następnie przygotowali test przypominający badanie wzroku, tylko zamiast klasycznej tablicy wykorzystali literę “F” ułożoną ze świateł LED na tle większego, regulowanego podświetlenia. System musiał rozpoznać wzór w mieszanych warunkach oświetleniowych, czyli dokładnie tam, gdzie zwykłe układy optyczne mogą tracić stabilność. Po siedmiu iteracjach treningowych zestaw fotomemrystorów z siecią neuronową przekroczył 95 procent skuteczności w rozpoznawaniu wzoru litery.
Reflektory, noc i czerwone światło. Autonomiczna jazda ma bardzo ludzki problem
Najprostszy przykład zastosowania pojawia się na drodze. Samochód autonomiczny jedzie nocą, niebo jest ciemne, nawierzchnia odbija światło, a z przeciwka nadjeżdża pojazd z mocnymi reflektorami. Człowiek w takiej sytuacji też nie jest idealny, ale potrafi rozumieć scenę w sposób kontekstowy. Może odruchowo zmrużyć oczy, przenieść wzrok, wyłuskać z widoku sygnalizator, linię pasa albo sylwetkę pieszego.
Czytaj też: Schody są dla robotów jak boss w Soulsach. Dlatego ten dostał rękę do awaryjnego parowania
System optyczny w maszynie ma w takiej chwili trudniej. Kamera może mieć ogromny zakres dynamiczny, algorytm może być dobrze wytrenowany, a mimo to scena o wysokim kontraście pozostaje kłopotliwa. Jasny punkt może przysłonić słabszy sygnał. Czerwone światło może zginąć w tle. Pieszy może stać się zbyt ciemną plamą w porównaniu z oślepiającym źródłem światła.
Oczywiście oprogramowanie nadal będzie konieczne, ale im więcej wstępnej adaptacji wydarzy się na poziomie samego czujnika, tym mniej pracy trzeba przerzucać na energochłonne przetwarzanie. W robotyce oraz samochodach autonomicznych ma to znaczenie, bo każda operacja wykonywana szybciej, bliżej sensora i przy mniejszym poborze energii może poprawić stabilność całego systemu. Przy Robotaxi i Robovanie Tesli widać to zresztą dobrze, bo droga do masowej autonomii nie rozbije się wyłącznie o przepisy czy cenę. Może rozbić się o specyficzne przypadki, takie jak światło, deszcz, cień, zabrudzone sensory, odbicia i sceny, których nikt nie przewidział podczas treningu.
Roboty nie potrzebują tylko mózgu. Potrzebują lepszych zmysłów
Robot w fabryce, samochód na drodze albo proteza wzroku dla człowieka muszą działać w środowisku pełnym brudu, drgań, refleksów, cienia, wilgoci i niepewnych sygnałów. Przy badaniach nad zręcznością robotów dobrze widać, że sama inteligencja bez porządnego kontaktu ze światem nie wystarcza. Maszyna musi czuć, widzieć, korygować i reagować na drobne zmiany, które człowiek załatwia bez świadomego namysłu. Opracowany fotomemrystor wpisuje się w ten sam szerszy trend. Zamiast traktować sensor jak głupi odbiornik danych, próbuje nadać mu kawałek adaptacyjnego zachowania.
Czytaj też: Naukowcy odkryli sekret zręczności robota. Okazało się, że mniej znaczy więcej
Taka filozofia może być ważna w fabrykach. Robot pracujący przy linii produkcyjnej nie zawsze ma idealne oświetlenie, czyste tło i niezmienną scenę. W halach przemysłowych pojawiają się migające światła, cienie pracowników, odbicia od metalu, pył, para, ruch wielu obiektów naraz. Jeśli maszyna ma współpracować z ludźmi, musi widzieć stabilnie nie tylko wtedy, gdy pokazujemy ją na starannie doświetlonym filmie demonstracyjnym.
Badacze złożyli już tymczasowy wniosek patentowy, a w planach pojawia się rozwój większego systemu wielomodalnego, który mógłby jednocześnie interpretować dane wizualne i dotykowe.
Źródła: EurekAlert, Nature
