Narzędzie to jest w stanie wychwycić, jak każdy dźwięk w pomieszczeniu rozchodzi się w przestrzeni. W efekcie model może przeprowadzić symulacje tego, co usłyszelibyśmy znajdując się w wybranych miejscach. Dlaczego to takie ważne? Choćby z tego względu, że sposób rozchodzenia się odgłosów stwarza możliwość wyobrażenia sobie otoczenia, nawet jeśli mamy zamknięte oczy.
Czytaj też: Widzieć dźwiękiem i dotykiem, czyli dwa wyjątkowe dzieła polskich okulistów
Wykorzystując akustykę, wspomniany system może nauczyć się geometrii 3D pomieszczenia – wszystko to na podstawie nagrań dźwiękowych. Takie podejście mogłoby mieć szereg zastosowań, między innymi w rzeczywistości wirtualnej i rozszerzonej oraz szkoleniu sztucznej inteligencji do lepszego zrozumienia wszystkiego, co znajduje się wokół niej. Przykład? Podwodny robot mógłby wykryć rzeczy znajdujące się poza zasięgiem wzroku poprzez modelowanie właściwości akustycznych odebranych dźwięków.
W toku badań okazało się, iż zazwyczaj stosowane modele wizyjne korzystają z właściwości, która jest mało przydatna w przypadku dźwięku. Patrząc na ten sam obiekt z dwóch różnych miejsc możemy widzieć go w podobny sposób. Kiedy jednak w grę wchodzi dźwięk, zmiana lokalizacji sprawi, że usłyszymy go zupełnie inaczej, choćby za sprawą przeszkód stojących na jego drodze czy też odmiennej odległości. W efekcie znacznie trudniej jest przewidzieć zachowanie dźwięku.
Dźwięk może posłużyć do wizualnej rekonstrukcji otoczenia
Aby uniknąć tych ograniczeń autorzy badań użyli dwóch właściwości akustycznych: wzajemnej natury dźwięku oraz wpływu lokalnych cech geometrycznych. Naukowcy rozszerzyli swoją sieć neuronową o siatkę rejestrującą obiekty i cechy architektoniczne otoczenia, na przykład drzwi czy ściany. Model losowo próbkował punkty na tej siatce, aby nauczyć się struktur i obiektów w określonych miejscach. W ten sposób narzędzie mogło wykazać, jak będzie brzmiał dźwięk, gdy nadajnik i słuchacz znajdą się w wybranych miejscach w danym pomieszczeniu. Przewidziało również, jak będzie brzmiał dźwięk, jeśli słuchacz przemieści się w inne dowolne miejsce.
Czytaj też: Sztuka sztucznej inteligencji dla każdego. Dążąca do tego firma zebrała 101 milionów dolarów
W porównaniu do dotychczas stosowanych metod ta nowa jest znacznie wydajniejsza. Autorzy nadal zamierzają jednak dopracowywać swój model, by ostatecznie dało się go wykorzystać w odniesieniu do nieznanych pomieszczeń, a nawet całych budynków czy miast. Przyszłość może być naprawdę ciekawa!