Sieć neuronowa udoskonali zdjęcia ze smartfonu

Naukowcy ze szwajcarskiego Computer Vision Lab oraz Eidgenössische Technische Hochschule w Zurychu "wytrenowali" sieć neuronową, by potrafiła retuszować zdjęcia, wykonane smartfonem - dowolnym modelem - żeby wyglądały, jak zrobione lustrzanką.

Celem projektu nazwanego WESPE (Weakly Supervised Photo Enhancer for Digital Cameras) było opracowanie sztucznej inteligencji opartej o sieć neuronową, by przetwarzała zdjęcia w taki sposób, aby wyglądały one jak wykonane profesjonalnym sprzętem fotograficznym, a nie urządzeniem mobilnym. Przy czym należy pamiętać o istotnych założeniach projektowych, które narzucili sobie autorzy tego pomysłu. Chodziło o stworzenie rozwiązania, które można zastosować w urządzeniach klasy budżetowej, czyli sprzęcie dysponującym ograniczonymi możliwościami w zakresie matryc, optyki, ilości pamięci czy mocy obliczeniowej.

Technika uczenia maszyny była dość prosta, choć zadanie bynajmniej trywialne nie było. Naukowcy zaczęli od głębokiego uczenia maszynowego za pomocą specjalnie przygotowanych zestawów zdjęć przedstawiających te same sceny zarejestrowane aparatem wbudowanym w urządzenie mobilne oraz profesjonalną lustrzanką. Takie rozwiązanie okazało się skuteczne, ale w bardzo ograniczonym zakresie – chodzi o to, że uczona takimi przykładami sieć neuronowa była w stanie poprawnie przetworzyć fotografie i nadać im profesjonalny sznyt, ale tylko pod warunkiem, że fotografia wejściowa wykonana była tym samym urządzeniem mobilnym, z którego wcześniej wykonane zdjęcia użyte były do uczenia maszynowego.

AI poprawiająca zdjęcia
Różnica pomiędzy zdjęciem wejściowym a wyjściowym jest spora (fot. ETH Zürich).

Konieczne było poszerzenie możliwości budowanego systemu, użyto zatem zestawów zdjęć realizowanych za pomocą różnych urządzeń, pozostawiając jednakże warunek, by w każdej parze fotografii jedno było wykonane sprzętem mobilnym (ale różnymi modelami), a drugie lustrzanką cyfrową (również różnymi modelami). Karmiona dużymi zbiorami tak spreparowanych danych sieć neuronowa, zaczęła w końcu „rozumieć” jak optymalizować zdjęcia wykonane smartfonami.

Możecie sami się przekonać, jak opracowany przez szwajcarskich badaczy algorytm poradzi sobie ze zdjęciami wykonanymi waszym smartfonem. Wystarczy odwiedzić witrynę projektu i kliknąć na niej przycisk „Try Online Demo”. Zostaniecie wtedy przeniesieni do strony, na której udostępniono mechanizm uploadowania zdjęć, które można przetworzyć za pomocą opisywanego mechanizmu. Naszym zdaniem różnica jest wyraźna, pytanie tylko, czy faktycznie zdjęcia wynikowe wyglądają jak „z lustrzanki”. Największe różnice widać w sytuacji, gdy zdjęcie wejściowe wykonane jest low-endowym sprzętem. Jest tu jednak pewien problem. Sztuczna inteligencja nie potrafi jeszcze sama dodać informacji, których na zdjęciu nie ma. Jeżeli fotografia wejściowa jest rozmazana, to „lustrzankowa” optymalizacja niewiele da.

Projekt WESPE
Na witrynie projektu WESPE można porównać zdjęcia wykonane różnymi smartfonami przed i po optymalizacji (fot. CHIP).

Badacze chcą pójść jednak jeszcze dalej i wytrenować sieć neuronową, by „poprawiała” warunki w jakich wykonane było dane ujęcie. Przykład: miałeś nieudane wakacje z kiepską pogodą? Zdaniem naukowców odpowiednio wytrenowana sieć neuronowa przerobi Twoje zdjęcia tak, jakby były wykonywane w piękny słoneczny dzień. To jednak krok wykraczający nieco poza zwykłą obróbkę fotografii i bliższy raczej cyfrowej kreacji nieistniejących obrazów. Zainteresowanych odsyłam do pełnej publikacji naukowej badaczy ze szwajcarskiej uczelni. | CHIP

Źródło: http://www.vision.ee.ethz.ch/~ihnatova/wespe.html
Close

Choć staramy się je ograniczać, wykorzystujemy mechanizmy takie jak ciasteczka, które pozwalają naszym partnerom na śledzenie Twojego zachowania w sieci. Dowiedz się więcej.