Google SR3, nowe podejście do super rozdzielczości

Google SR3, czyli nowe podejście do super rozdzielczości

Zespół naukowców Google przedstawił nowe podejście do technologii super rozdzielczości, czyli techniki polegającej na zwiększeniu rozdzielczości obrazu przy możliwie najmniejszej utracie jakości. Google SR3 jest wśród podobnych technik wyjątkiem, sięgając po podejście wielokrotnego udoskonalania.

Zabawa z rozdzielczością przy użyciu tradycyjnych technik zawsze kończy się źle. Przykładem tego niech będzie poniższe porównanie zdjęcia w oryginalnej jakości (1280 x 853) ze skompresowanym do 300 x 199 pikseli, a następnie powiększonym ponownie do rozdzielczości pierwotnego obrazu w prostym programie graficznym.

Czytaj też: Komputery w kosmosie mogłyby zwiększyć naszą wiedzę na temat Ziemi

Zabawa rozdzielczością z mniejszej na większą nigdy nie kończy się dobrze i dlatego trwają prace nad obejściem tego problemu. O technologii mającej tego dokonać, czyli Super Resolution (Super Rozdzielczości), słyszy się od lat i regularnie trafiają do nas informacje o nowych technikach realizacji tego zadania. Tym razem tym „czymś” jest Google SR3, co rozwija się do Super-Resolution via Repeated Refinement.

Na czym polega Google SR3?

W oficjalnym opisie SR3 czytamy, że to podejście bazuje na modelach probabilistycznych opartych na dyfuzyjnym odszumianiu graficznym, co owocuje generowaniem warunkowym obrazu, umożliwiając osiągnięcie superrozdzielczości w stochastycznym procesie odszumiania. Na ten moment w grę wchodzi dokładne skalowanie z rozdzielczości 16×16 do 128×128 i z 64×64 do 512×512, ale zespół pracuje już nad innymi poziomami skalowania algorytmu dla twarzy (64×64 → 256×256 i 256×256 → 1024×1024) oraz natury (64×64 → 256×256).

Czytaj też: Farmy kryptowalut w elektrowniach atomowych. Tak chce się obniżyć ich wpływ na środowisko

Wszystko rozpoczyna się od szumu Gaussa, czyli białego szumu, z którego algorytm w sposób iteracyjny poprawia zaszumiony sygnał wyjściowy za pomocą modelu U-Net. Ten został specjalnie wytrenowany w zakresie odszumiania na różnych poziomach szumu i dzięki niemu SR3 wykazuje wysoką wydajność w zadaniach zrealizowania super rozdzielczości przy różnych współczynnikach powiększenia. Mowa nie tylko o ludzkich twarzach, ale też naturalnych obrazach.

Wyniki Google SR3 możecie podejrzeć powyżej i choć z twarzą algorytm ewidentnie radzi sobie świetnie, to w przypadku lamparta dał ewidentnie ciała. Wystarczy tylko spojrzeć na oczy tego dzikiego kota, które zamiast wyglądać groźnie, stały się owalne, przypominające w pewnym stopniu wręcz te ludzkie.

Czytaj też: Padł nowy rekord prędkości transferu danych. Jest dwukrotnie większy od poprzedniego

Powyższe wykresy wskazują to, jak w praktyce wypada skuteczność Google SR3. Wykazano to w ramach badania ludzi, którzy mylili się w prawie 50% przypadków, a to ponoć sugeruje, że nowa technologia super rozdzielczości sugeruje wręcz fotorealistyczne wyniki.

Dalsze badania efektywności SR3 wykazały, że to podejście jest też niebywale skuteczne w kaskadowym generowaniu obrazów.

Chcesz być na bieżąco z CHIP? Obserwuj nas w Google News