Zabawa z rozdzielczością przy użyciu tradycyjnych technik zawsze kończy się źle. Przykładem tego niech będzie poniższe porównanie zdjęcia w oryginalnej jakości (1280 x 853) ze skompresowanym do 300 x 199 pikseli, a następnie powiększonym ponownie do rozdzielczości pierwotnego obrazu w prostym programie graficznym.
Czytaj też: Komputery w kosmosie mogłyby zwiększyć naszą wiedzę na temat Ziemi
Zabawa rozdzielczością z mniejszej na większą nigdy nie kończy się dobrze i dlatego trwają prace nad obejściem tego problemu. O technologii mającej tego dokonać, czyli Super Resolution (Super Rozdzielczości), słyszy się od lat i regularnie trafiają do nas informacje o nowych technikach realizacji tego zadania. Tym razem tym “czymś” jest Google SR3, co rozwija się do Super-Resolution via Repeated Refinement.
Na czym polega Google SR3?
W oficjalnym opisie SR3 czytamy, że to podejście bazuje na modelach probabilistycznych opartych na dyfuzyjnym odszumianiu graficznym, co owocuje generowaniem warunkowym obrazu, umożliwiając osiągnięcie superrozdzielczości w stochastycznym procesie odszumiania. Na ten moment w grę wchodzi dokładne skalowanie z rozdzielczości 16×16 do 128×128 i z 64×64 do 512×512, ale zespół pracuje już nad innymi poziomami skalowania algorytmu dla twarzy (64×64 → 256×256 i 256×256 → 1024×1024) oraz natury (64×64 → 256×256).
Czytaj też: Farmy kryptowalut w elektrowniach atomowych. Tak chce się obniżyć ich wpływ na środowisko
Wszystko rozpoczyna się od szumu Gaussa, czyli białego szumu, z którego algorytm w sposób iteracyjny poprawia zaszumiony sygnał wyjściowy za pomocą modelu U-Net. Ten został specjalnie wytrenowany w zakresie odszumiania na różnych poziomach szumu i dzięki niemu SR3 wykazuje wysoką wydajność w zadaniach zrealizowania super rozdzielczości przy różnych współczynnikach powiększenia. Mowa nie tylko o ludzkich twarzach, ale też naturalnych obrazach.
Wyniki Google SR3 możecie podejrzeć powyżej i choć z twarzą algorytm ewidentnie radzi sobie świetnie, to w przypadku lamparta dał ewidentnie ciała. Wystarczy tylko spojrzeć na oczy tego dzikiego kota, które zamiast wyglądać groźnie, stały się owalne, przypominające w pewnym stopniu wręcz te ludzkie.
Czytaj też: Padł nowy rekord prędkości transferu danych. Jest dwukrotnie większy od poprzedniego
Powyższe wykresy wskazują to, jak w praktyce wypada skuteczność Google SR3. Wykazano to w ramach badania ludzi, którzy mylili się w prawie 50% przypadków, a to ponoć sugeruje, że nowa technologia super rozdzielczości sugeruje wręcz fotorealistyczne wyniki.
Dalsze badania efektywności SR3 wykazały, że to podejście jest też niebywale skuteczne w kaskadowym generowaniu obrazów.
