Generowanie scen 3D ze zdjęć 2D w kilka sekund, NVIDIA NeRF, NeRF

Generowanie scen 3D ze zdjęć 2D w kilka sekund. Oto co potrafi NVIDIA NeRF

Według firmy NVIDIA jej technologia NeRF (Neural Radiance Fields) stawia czoła wręcz przestarzałym dotychczasowym wersjom tej technologii, parząc po tym, jak wiele je dzieli. Dlaczego? Bo poprzednie techniki NeRF zwykle potrzebowały całych godzin na szkolenie dla danej sceny, a następnie minut na renderowanie scen docelowych. Teraz jednak NeRF stał się wręcz „Instant” (z ang. natychmiastowy), bo pozwala na generowanie scen 3D ze zdjęć 2D w kilka sekund.

NVIDIA ponownie zaskoczyła. Rozwinęła NeRF tak, że generowanie scen 3D ze zdjęć 2D jest pestką

Zajmujący się m.in. sztuczną inteligencją naukowcy z NVIDIA pracowali metodę rekonstrukcji sceny 3D na podstawie kilku obrazów 2D „niemal natychmiast”. Dzięki temu technika opracowana przez firmę jest szybsza w działaniu nie kilkukrotnie, a tysiąckrotnie względem innych implementacji NeRF. Ta szybkość przetwarzania danych przez firmę jest w dużej mierze zasługą akceleracji sztucznej inteligencji wykorzystującej rdzenie Tensor, które przyspieszają zarówno szkolenie modeli, jak i renderowanie scen.

Czytaj też: Skuteczność DirectStorage w Forspoken. Jak bardzo technologia Microsoftu przyspiesza wczytywanie?

W praktyce technologia NeRF wykorzystuje sieci neuronowe do reprezentowania i renderowania realistycznych scen 3D na podstawie wejściowego zbioru obrazów 2D. Wygląda na to, że wystarczą już zaledwie 4 zdjęcia, aby „baza danych” wystarczyła algorytmowi, ale najpewniej to tylko pokazówka, bo nawet we wpisie na blogu firma wspomina, że „sieć neuronowa wymaga kilkudziesięciu zdjęć wykonanych z wielu miejsc wokół sceny, a także pozycji kamery dla każdego z tych ujęć”.

Czytaj też: Szczegóły Intel Xe Super Sampling. To odpowiedź na DLSS i FSR od Niebieskich

Jeśli tradycyjne reprezentacje 3D, takie jak siatki wielokątów, są podobne do obrazów wektorowych, to NeRF są jak obrazy bitmapowe: gęsto oddają sposób, w jaki światło promieniuje z obiektu lub w obrębie sceny. W tym sensie Instant NeRF może być tak ważny dla fotografii 3D, jak aparaty cyfrowe i kompresja JPEG dla fotografii 2D – znacznie zwiększając szybkość, łatwość i zasięg przechwytywania i udostępniania obrazów 3D

– wyjaśnia zastosowanie i potencjał w NeRF David Luebke, wiceprezes ds. badań nad grafiką w firmie NVIDIA.

Czytaj też: Nowy standard zasilaczy. Intel zaprezentował specyfikację ATX 3.0 i ATX12VO 2.0

Profesjonalne zastosowanie NeRF obejmuje też bardziej rozrywkową sferę, bo może zapewnić twórcom gier (zwłaszcza VR i tytułów związanych z metaverse) alternatywę do projektowania wirtualnych środowisk. Skorzystać na nim mogą też roboty i autonomiczne samochody.