NVIDIA ponownie zaskoczyła. Rozwinęła NeRF tak, że generowanie scen 3D ze zdjęć 2D jest pestką
Zajmujący się m.in. sztuczną inteligencją naukowcy z NVIDIA pracowali metodę rekonstrukcji sceny 3D na podstawie kilku obrazów 2D “niemal natychmiast”. Dzięki temu technika opracowana przez firmę jest szybsza w działaniu nie kilkukrotnie, a tysiąckrotnie względem innych implementacji NeRF. Ta szybkość przetwarzania danych przez firmę jest w dużej mierze zasługą akceleracji sztucznej inteligencji wykorzystującej rdzenie Tensor, które przyspieszają zarówno szkolenie modeli, jak i renderowanie scen.
Czytaj też: Skuteczność DirectStorage w Forspoken. Jak bardzo technologia Microsoftu przyspiesza wczytywanie?
W praktyce technologia NeRF wykorzystuje sieci neuronowe do reprezentowania i renderowania realistycznych scen 3D na podstawie wejściowego zbioru obrazów 2D. Wygląda na to, że wystarczą już zaledwie 4 zdjęcia, aby “baza danych” wystarczyła algorytmowi, ale najpewniej to tylko pokazówka, bo nawet we wpisie na blogu firma wspomina, że “sieć neuronowa wymaga kilkudziesięciu zdjęć wykonanych z wielu miejsc wokół sceny, a także pozycji kamery dla każdego z tych ujęć”.
Czytaj też: Szczegóły Intel Xe Super Sampling. To odpowiedź na DLSS i FSR od Niebieskich
Jeśli tradycyjne reprezentacje 3D, takie jak siatki wielokątów, są podobne do obrazów wektorowych, to NeRF są jak obrazy bitmapowe: gęsto oddają sposób, w jaki światło promieniuje z obiektu lub w obrębie sceny. W tym sensie Instant NeRF może być tak ważny dla fotografii 3D, jak aparaty cyfrowe i kompresja JPEG dla fotografii 2D – znacznie zwiększając szybkość, łatwość i zasięg przechwytywania i udostępniania obrazów 3D– wyjaśnia zastosowanie i potencjał w NeRF David Luebke, wiceprezes ds. badań nad grafiką w firmie NVIDIA.
Czytaj też: Nowy standard zasilaczy. Intel zaprezentował specyfikację ATX 3.0 i ATX12VO 2.0
Profesjonalne zastosowanie NeRF obejmuje też bardziej rozrywkową sferę, bo może zapewnić twórcom gier (zwłaszcza VR i tytułów związanych z metaverse) alternatywę do projektowania wirtualnych środowisk. Skorzystać na nim mogą też roboty i autonomiczne samochody.