Wizerunek XVII-wiecznego dżentelmena nie wyszedł spod ręki człowieka. Portret Edmonda, jak i kolejnych dziesięciu członków fikcyjnej rodziny de Belamy „namalowała” stworzona przez grupę Obvious sztuczna inteligencja. Kolektyw – bo tak o sobie mówi trójka francuskich studentów – rok temu rozpoczął prace nad projektem, który dzięki wykorzystaniu algorytmu uczenia maszynowego Generative Adversarial Network umożliwia komputerowi tworzenie portretów w XVII-wiecznym stylu. Wszystko po to, by poprzez podobne dzieła wyjaśniać i upowszechniać możliwości sztucznej inteligencji.
Gdyby to była wyłącznie deklaracja i idące za nią przykładowe prace, można by potraktować całą działalność kolektywu jako imponującą, ale tylko ciekawostkę technologiczną ze świata sieci neuronowych i machine learningu. Jest jednak inaczej, bo wygenerowany portret trafił na piedestał sztuki. Najpierw zainteresowanie marszandów i krytyków wzbudził sam fakt, że prestiżowy brytyjski dom aukcyjny Christie’s w ogóle będzie sprzedawał sztukę generowaną, potem – że dzieło „artysty” podpisanego ??????????[????(?))] + ??[???(?− ?(?(?)))] zostało wylicytowane na 432 tysiące dolarów.
Finał aukcji pokazał, że to już nie tylko ciekawostka, a kamień milowy oznaczający wejście SI na salony wysokiej sztuki. „Nowe” ma już nawet nazwę i po znanych z historii „-izmach” zostało ochrzczone GAN-izmem. Jak przystało na sztukę, w całym tym wydarzeniu jest i nutka pikanterii. Dociekliwi znawcy sztuki i SI szybko zorientowali się, że francuski kolektyw do stworzenia portretów rodziny de Belamy użył algorytmu …innego artysty – utalentowanego 19-latka Robbie Barrata.
Zanim osądzimy GAN-izm, zatrzymajmy się i popatrzmy wstecz.
Belamy nie był pierwszy w galerii “Computer Art”
Mariaż sztuk plastycznych z maszynami trwa już od końca lat 50 ubiegłego wieku. Przyjmuje się, że ta historia zaczęła się ok. 1956-58 roku w największym wtedy systemie komputerowym, jakim był Semi-Automatic Ground Environment – sieć służąca do wykrywania radzieckich ataków atomowych. Dzieło a raczej efekt pracy po godzinach przy użyciu systemu za 238 milionów dolarów przedstawiało pierwszy cyfrowo wygenerowany obrazek z tym, co zawsze było ważniejsze od bomb. Na okrągłym ekranie SAGE programista narysował algorytmami pin-up girl w stylu George’a Petty’ego.
Panienka z okrągłego okienka to oczywiście nie była sztuka, a tylko wykorzystanie maszyny tam, gdzie normalnie wystarczyłby ołówek. Jednak ten impuls był konieczny, by narodziła się prawdziwa sztuka komputerowa. Nie trzeba było nawet zbyt długo czekać. W 1960 roku Desmond Paul Henry stworzył Henry Drawing Machine – analogowy komputer połączony z czymś, co dziś nazwalibyśmy ploterem.
Maszyna, co zaskakujące, zbudowana została z używanego podczas II Wojny Światowej celownika bombowego (pomyślcie, jak w tym kontekście brzmi hasło make art not war), kreśliła różnego rodzaju wzory. Drawing Machine nie były urządzeniami programowalnymi i po prostu „robiły swoje”. Jedynym wpływem artysty na końcowy wynik mogła być zmiana mechanicznych komponentów maszyny, jak choćby poluzowanie śrub. Bez wątpienia dzieło tworzyła tutaj maszyna, a pierwsze zlecone jej przez Henry’ego prace zostały pokazane w 1962 roku w londyńskiej Reid Gallery.
Komputer i programowanie wkroczyły na scenę nieco później. W 1963 roku na okładce magazynu Computers and Automation ukazała się stworzona rok wcześniej grafika Efraima Araziego, dla której wydawca Edmund Berkeley ustanowił miano computer art.
Ważnymi pionierami, którzy od lat 60 badali, jak komputery mogą tworzyć sztukę niezależnie od człowieka, byli pochodzący z Rzymu Waldemar Cordeiro, Amerykanin Robert Mallary i Węgierka Vera Molnár. Zapisywali na kartach perforowanych lub taśmie algorytmy i generowali wzory (algorithmic art) albo wykorzystywali gotowe wzorce do malowania na drukarkach znakowych. Każdy z nich miał oryginalny styl, ale w każdej z prac, jak napisali kuratorzy wystawy Writing New Codes w The Mayor Gallery w Londynie, można dostrzec podobne zainteresowanie estetyką modernistyczną i wspólne zainteresowanie wykorzystaniem unikatowych możliwości komputera.
W latach 80 i 90 brytyjski artysta William Latham w IBM UK Scientific Centre przy użyciu Mutatora i FormGrow zaczął tworzyć nieistniejące formy 3D. Były to ni to fraktale, ni to rośliny, muszle, organizmy. Istotne, że ich generowanie Latham podporządkował zasadom genetyki i ewolucji, które później same bez jego pomocy ewoluowały w symulatorach w animowane, organiczne formy rzeźbiarskie. Z masy takich projektów autor arbitralnie wybierał, jego zdaniem, najciekawsze obiekty, które na wielkich wydrukach w 1988 roku trafiły m.in. do Galerii Arnolfini w Bristolu.
Sztuka komputerowa ma już dość długą historię, ale jej wytworami były dotąd przede wszystkim modernistyczne, geometryczne obrazy, fraktale albo chaos. Mógł stać za tym koncept, mogła stać losowość, ale próżno tu szukać portretów, pejzaży czy martwych natur. Nie znajdziemy w opisanych przykładach czegoś, co wzbudza emocje inne niż wywołane przez zachwyt nad pięknem formy czy nad samą estetyką. Więcej miała nam dopiero przynieść bardziej „ludzka” niż matematyczna maszyna – sztuczna inteligencja.
Na drugiej podstronie piszemy, jak działa artystyczna SI.
Sztuka SI
Wykorzystywanie sztucznej inteligencji do tworzenia nowych obrazów zaczęło się na poważnie w 2015 roku (ale sam koncept narodził się już w 2001). Wtedy ukazała się przełomowa publikacja A Neural Algorithm of Artistic Style opisująca wykorzystanie głębokich sieci neuronowych (Convolutional Neural Networks, tu możecie przeczytać, na czym polega działanie takich sieci) do przenoszenia stylu z jednego obrazka do drugiego. W praktyce oznaczało to, że można wgrać do systemu dowolne zdjęcie i zamienić je w coś, co wygląda, jakby wyszło spod ręki Van Gogha czy Kandinsky’ego.
Pierwsze eksperymenty z transferem stylu, bo tak nazwano tę możliwość, wymagały czasu. Można było załadować zdjęcie na serwer, a następnie iść zrobić kawę, zanim wynik był gotowy. Sytuacja zmieniła się znacząco, kiedy w 2015 roku oddział Google’a z Zurichu pokazał światu Deep Dream z działającym w tle algorytmem TransFlow. Od tego momentu z transferu stylu i nie tylko (o czym za chwilę) mógł zacząć korzystać cały świat.
Obecnie możliwości sieci przenoszących style możemy znaleźć w filtrach Facebooka (co powiecie na live feed w stylu Hieronima Bosch’a), Instagrama, w aplikacji Prisma, Dreamify, witrynach takich jak Dreamscope czy Deepart (dzieło tych, od których to wszystko się zaczęło). Wystarczy jedno kliknięcie, by można było pochwalić się selfie w stylu Van Gogha czy dowolnym innym. Tak tworzone obrazy mogą być nawet ładne, ale są wtórne. Są pastiszem. Trudno mówić o nowej estetyce, bogactwie koncepcyjnym czy o czymś, co miałoby przyciągnąć uwagę świata sztuki.
https://www.facebook.com/Engineering/videos/10154607751647200/?t=7
Deep Dream oprócz dwóch wersji transferu stylu (Deep i Thin Style) ma jeszcze trzecią funkcję, która została wymyślona, aby pomóc naukowcom i inżynierom zobaczyć, co widzi głęboka sieć neuronowa, gdy patrzy na dany obraz. I trzeba przyznać, że wynik działania procesu, który twórcy nazwali „incepcjonizmem” jest inny niż wszystko, co do tej pory widzieliśmy.
Sieć składająca się z 10-30 ułożonych warstw sztucznych neuronów karmiona jest milionami przykładów obrazów (dziś coraz częściej generowanych przez inne sieci… bo tak jest po prostu taniej), po to by zaczęły one rozmawiać ze sobą aż do osiągnięcia warstwy „wyjściowej”. Nie do końca wiemy, co dzieje się podczas tego procesu. Każda warstwa stopniowo wyodrębnia wyższe cechy obrazu (np. pierwsza warstwa może szukać krawędzi, kolejna elementów takich jak drzwi lub skrzydła) do momentu, gdy końcowa warstwa podejmie decyzję o tym, co obraz przedstawia. Ale w Deep Dream ten porządek jest odwrócony do góry nogami. I sieć dostaje polecenie wzmocnienia obrazu wejściowego w taki sposób, aby wywołać określoną interpretację. Zobaczcie poniżej, jak szum przekształcany jest w coś, co sieć uznaje za mrówki, spadochron itd.
Równie dobrze możemy tylko zdać się na sieć, wybrać warstwę i prosić SI, aby poprawiła to, co na niej wykryła. Jeśli chmura wygląda trochę jak ptak, sieć sprawi, że będzie wyglądała bardziej jak ptak. Ponieważ każda warstwa skupia się na innych cechach, to wybierając warstwy i decydując o ich kolejności stajemy się współtwórcami powstającego remiksu.
Jest to jak patrzenie przez mikroskop na pracę sieci neuronowej. Abstrakcyjne efekty przypominają to, co widzi człowiek rysujący pod wpływem środków psychodelicznych. Niektóre z nich są na tyle ciekawe (dla nas, ludzi, nie dla SI), że uznajemy je za atrakcyjne. A to, że „cyfrowe sny” przypominają zwierzęta, nie jest przebłyskiem geniuszu SI. To tylko efekt szkolenia jej na obrazach zwierząt.
Tak czy inaczej, Deep Dream osiągnął pewien sukces. Podczas aukcji charytatywnej dla Gray Area Foundation, w niewielkiej galerii w San Francisco, 29 obrazów wykonanych przesz sztuczną inteligencję Google’a sprzedało się w 2016 roku za 8000 dolarów.
GAN-y na stół
Ale to co robi Deep Dream i jemu podobne sieci, to tylko przedszkole SI. Dopiero Generative Adversarial Network, która wygenerowała portret Edmonda de Belamy, radykalnie zmienia sztuczną inteligencję. Jej kariera zaczęła się od publikacji Iana Goodfellowa, który w 2014 roku wraz z zespołem (pomysł zrodził się podobno przy piwie) opisał teoretyczny model Generative Adversarial Network. W przeciwieństwie do powtarzalnych wyników, jakie daje style transfer na bazie jakiegoś zdjęcia początkowego, GAN można wyszkolić tak, że samodzielnie wygeneruje nowe obrazy. Nie będzie to jednak coś z niczego, bo sieć musi zostać “nakarmiona” przez jej twórcę pożywką, która da możliwość tworzenia nowego obrazu. Adwokat diabła (czyli tradycyjnej sztuki) dopowie: …ale na podstawie starego.
Koncepcja GAN, z której właśnie skorzystał kolektyw Obvious, to dwie sieci neuronowe, które konkurują ze sobą: generator i dyskryminator. Generator na podstawie zbioru danych szkoleniowych (tutaj ponad 15 000 portretów namalowanych między XIV a XX wiekiem) próbuje tworzyć obrazy tak, żeby oszukać drugą sieć. Zadaniem dyskryminatora jest bowiem odróżnianie wygenerowanych obrazów od prawdziwych (wyglądających jak te namalowane przez ludzi) i odrzucanie tych, które uzna za fałszywe (wyglądające jak zrobione przez maszynę). W drugim przypadku generator otrzymuje informację od dyskryminatora o tym, dlaczego przegrał. Ta wiedza służy do nauki i dostosowania strategii, by wejść na wyższy poziom i w końcu oszukać generator. Podczas całego procesu obydwie sieci stają się coraz bardziej inteligentne i dążą do mistrzostwa. Efekty w sztuce musicie oceniać sami, ponieważ, jak głosi maksyma, o gustach się nie dyskutuje – ale w przypadku AlphaGo Zero (SI grającej w Go) mistrzostwa, a nawet artyzmu niektórych ruchów trudno algorytmowi odmówić.
Portrety wygenerowane przez GAN nie są takie jak te, które znamy. Pojawiają się na nich surrelistyczne elementy. Nie można zmusić GAN-a, żeby wyprodukował konkretny obraz. Jednak kiedy wygeneruje coś co spodoba się jego człowiekowi-opiekunowi, można wprowadzić w SI poprawki, które sprawią, że kolejne prace będą bardziej zbliżone do gustu właściciela sieci.
Na ostatniej stronie przeczytacie m.in. o tym, że algorytm wykorzystany przez grupę Obvious został “pożyczony”.
Nie ma sztuki bez skandalu
Skandal to może za duże słowo, ale… faktem jest, że doktorant Hugo Caselles-Dupré, jeden z trójki tworzącej Obvious, wziął algorytm, który zarobił 432 tysiące dolarów z repozytorium GitHuba. Dziś kolektyw co prawda nie zaprzecza, że tak właśnie było, ale również się tym nie chwali. Ojcem tej konkretnej sieci GAN (zainspirowany pracą Progressive Growing of GANs), został w wieku lat 18, uzdolniony artysta i programista Robbie Barrat. Dziś twórca jest o rok starszy i pracuje dla NVIDII.
Kiedy zaczniecie przeglądać witrynę Obviousa, dotrzecie do informacji, gdzie kolektyw opisuje swoje inspiracje i pisze m.in. tak: Na uwagę zasługuje również praca Robbie Barrata nad aktami, pejzażami i portretami generowanymi przez GAN-y, którymi zostaliśmy zainspirowani. To jednak chyba za mało, bo w czasie trwania aukcji w Christie’s Barrat opublikował tweet, w którym obok portretu Edmonda de Belamy’ego pokazał, co wyprodukowała stworzona przez niego sieć i opatrzył wpis komentarzem: Czy kogokolwiek to obchodzi? Czy ja jestem szalony, myśląc o tym, że oni naprawdę po prostu korzystali z mojej sieci i teraz sprzedają jej pracę?
left: the "AI generated" portrait Christie's is auctioning off right now
right: outputs from a neural network I trained and put online *over a year ago*.
Does anyone else care about this? Am I crazy for thinking that they really just used my network and are selling the results? pic.twitter.com/wAdSOe7gwz
— Robbie Barrat (@videodrome) October 25, 2018
W raporcie The Verge poświęconym tej sprawie, Caselles-Dupré z Obvious powiedział, że: Jeśli wziąć pod uwagę tylko kod, to nie ma dużego odsetka, który został [przez Obvious] zmodyfikowany. Ale jeśli chodzi o pracę na komputerze, dzięki czemu on działa, jest tam dużo [naszego] wysiłku. Patrząc na twitterową wypowiedź Barrata, można podejrzewać, że tym wysiłkiem były prośby Caselles-Dupré o wprowadzenie zmian w kodzie GAN-a przesyłane do autora na GitHubie…
Minimalną ilość zmian w algorytmie potwierdzają też inni artyści, wykorzystujący GAN w swojej twórczości. Takie zdanie mają Mario Klingemann czy Tom White. Ten drugi twierdzi, że co najmniej 90 proc. kodu nie zostało zmienione, co udowadnia, pokazując bardzo podobne rezultaty działania SI. Jason Bailey, bloger prowadzący witrynę Artnome poświęconą sztuce cyfrowej, nie jest tym bardzo zdziwiony. Przyznaje jednak, że w świetle tego, co zaszło, jest nie fair, że cały prestiż związany z aukcją spłynął na Francuzów, a o Robbie’m Barracie nikt nawet nie napomknął. A szkoda, bo portrety to nie jedyne jego dzieło. Oprócz nich zaprogramował swojego GAN-a do generowania aktów i pejzaży.
https://twitter.com/DrBeef_/status/978775691826098177
CAN – sztuczna inteligencja poszukuje nowego stylu
Licytacja w Christie’s obrazu wygenerowanego przez GAN nie oznacza, że naukowcy spoczęli na laurach. Wciąż trwają poszukiwania, obiecujące są prace prowadzone w Art and Artificial Intelligence Laboratory działającym na Rutgers University.
Naukowcy stworzyli nowy typ sieci neuronowej, która nie angażuje człowieka w procesie twórczym, ale wykorzystuje dokonania artystów do uczenia się. Nowa sieć w przeciwieństwie do GAN-a ma być kreatywna, stąd nazwa Creative Adversarial Network. U jej podstaw leży psychologiczna teoria ewolucji sztuki zaproponowana przez Colina Martindale’a. Zakłada ona, że na przestrzeni wieków artyści starają się stworzyć coś nowego, co przełamie dotychczasowe przyzwyczajenia. Jednak taki skok nie może być zbyt duży, ponieważ powinien uniknąć negatywnego odbioru nowego dzieła.
Rolę takich artystów mają odgrywać sieci CAN. Żeby zrozumieć ich nowatorstwo, trzeba dostrzec, że GAN-y nie robią nic twórczego. Dyskryminator sprawdza jedynie czy nowe jest zgodne lub nie, z tym co już było (o czym wspominał już adwokat diabła…). Nie ma tutaj żadnej siły, która popycha generator do dalszej eksploracji.
W CAN-ie jest inaczej, choć sama budowa sieci jest zbliżona (opis za publikacją Art and Artificial Intelligence Laboratory). Tu również mamy do czynienia z dwiema przeciwstawnymi sieciami. Dyskryminator ma dostęp do dużego zestawu dzieł sztuki, które opatrzone są etykietami 25 stylów (renesans, barok, impresjonizm, ekspresjonizm itp.) i wykorzystuje je do nauki rozpoznawania. Za to generator nie ma dostępu do żadnej sztuki. Tworzy obraz, zaczynając od losowego pliku wejściowego i w przeciwieństwie do sieci GAN dla każdej złej pracy odbiera nie jedną, ale dwie informacje od dyskryminatora. Pierwsza określa, czy dzieło można uznać lub nie za sztukę. Drugim sygnałem jest informacja o dwuznaczności stylu, która określa, na ile trudno jest przypisać nowy obraz do już znanych stylów. I to jest właśnie główna różnica sprawiająca, że generator uczy się, jak poprawić generowaną przez siebie sztukę, by była jak najbardziej oddalona stylowo od tego, co już było.
Sieć została przeszkolona na 80000 obrazów, które powstały pomiędzy XV wiekiem a końcem XX. Pozwala to na generowanie nowych obrazów, na których nie było typowych postaci, gatunków, stylów czy tematyki. Nie jest to ułomność CAN, ale efekt działania czynnika sprawdzającego styl. Jeśli go usuniemy, model zacznie naśladować sztukę tradycyjną i zobaczymy portrety, krajobrazy czy tematy religijne. Weryfikacja dwuznaczności stylu zmusza model do kreatywności.
Żeby jednak pchnąć sztukę do przodu, naukowcy z Rutgers University nakarmili CAN dziełami, które dziś uważamy za nowatorskie i kreatywne. Były to dwa zestawy: kolekcja Mistrzów Ekspresjonizmu Abstrakcyjnego stworzona w latach 1945-2007 i współczesne obrazy zaprezentowane na targach Art Basel 2016.
W zależności od tego, z którego zestawu korzystał CAN, jego obrazy inaczej były postrzegane przez ludzi. Zestaw starej sztuki “oszukiwał” 75% testujących, kolekcja Mistrzów Ekspresjonizmu Abstrakcyjnego aż 85%. Znacznie trudniej było SI zasymulować to, co naprawdę współczesne. Tutaj wynik był zaledwie na poziomie 48%.
Czy to jest sztuka?
Aukcja dzieła kolektywu Obvious w Christie’s sprowokowała pytanie, czy ich wytwór to sztuka. Jeśli dobrnęliście do tego miejsca artykułu, pewnie macie już wyrobione własne zdanie. Widzieliście np. dzieła GAN-ów. Są podobne do starej sztuki, ale też i inne. Mają jakiś surrealizm czy zawirowanie, co od razu zwraca naszą uwagę. Pytanie tylko, czy jest to rzeczywiście nowe? Jeśli zacznie się oglądać obrazy Francisa Bacona, np. reinterpretacje portretu Papieża Innocetego X namalowanego przez Velazqueza, albo Trzy studia George Dyernie nie jest to już to tak oczywiste. Cyfrowy glitch już przecież kiedyś wyszedł spod ręki człowieka. Efekt Bacona pojawia się praktycznie u wszystkich artystów korzystających z GAN-a. Widzimy je u Mario Klingemanna, Mike’a Tyki, Libby Heaney, Robbiego Barrata i innych.
Niemniej obrazy generowane przez SI są na pewno nowym polem do twórczych poszukiwań. Pokazują to artyści, których można było oglądać w tym roku na wystawie Machine Dreams towarzyszącej konferencji CogX poświęconej SI. Traktują oni sieci neuronowe jako narzędzie, które dostraja się przez miesiące, żeby uzyskać zamierzony artystyczny efekt. GAN czy CAN działa tylko z pozoru samodzielnie – bez odpowiedniego zestawu, SI byłaby ślepa. Bez modyfikacji kodu i późniejszej selekcji rezultatów dawałaby masę plew, wśród których może trafiłoby się ziarno.
Robbie Barrat wykorzystanie GAN-ów porównuje do pracy Robbiego Sola Lewitta, który ustanawiał pewne reguły swojego dzieła i zlecał jego wykonanie innym osobom. W przypadku SI artysta ustanawia zasady w zbiorze danych, które przekazuje GAN-owi i tu się kończy jego rola, bo za ich interpretacje odpowiada już sama sieć. Tak jak ludzie Lewitta. Tyle że on mógł obserwować, jak ludzie wykonują jego polecenia i je korygować. W przypadku GAN-ów nie ma tej kontroli. Modyfikacje reguł możliwe są dopiero, kiedy zobaczymy efekt końcowy.
Blaise Agϋera y Arcas, programista w Google’u, porównuje artystyczne możliwości SI do wykorzystania camera obscura przez artystów renesansu – narzędzi, które w tamtym czasie miały swoich krytyków, ale z perspektywy historycznej są dziś zaakceptowaną częścią historii sztuki. Dlatego na AI art na razie trzeba patrzeć jako na narzędzie oddane w ręce artystów – artystów, którzy mają dostęp do drogich superkomputerów. Barrat pracuje na klastrze GPU NVIDI, który potrzebuje dwóch tygodni na wytrenowanie GAN-a. Trzeba pamiętać, że każda modyfikacja sieci jest jednorazowa i żeby przejść od portretu do aktu trzeba ją całkowicie wyczyścić. Nie da się zrobić kroku w tył.
Oh, if I don't stop training soon it will get too good. Some cherry picked examples of where the enhancement actually worked quite well. pic.twitter.com/FOLUWxbQWC
— Mario Klingemann💧💦 (@quasimondo) January 12, 2017
A gdzie w tym jest kolektyw Obvious, który nazwał nowy nurt GAN-izmem? Artyści rozwijający SI wolą się z nim nie utożsamiać. Mario Klingemann, pionier sztuki sztucznej inteligencji, który pracuje z GAN-ami od początku ich istnienia, mówi: przyciągają dziś szarlatanów i tych, którzy chcą popłynąć na nowatorskiej fali. Według niego, problem leży w tym, że nawet bez zbytniej wiedzy jak one działają i jak je kontrolować można uzyskać efekt, który da się dobrze sprzedać.
Barrat dodaje: nikt w branży SI i sztuki tak naprawdę nie uważa ich za artystów – oni są bardziej jak marketerzy.
Working on automatic curation tools for the GAN landscapes, trying to find paintings that place atmosphere over detail. pic.twitter.com/VXpWhcal4S
— Robbie Barrat (@videodrome) November 7, 2018
Dla mnie – technologicznego nerda – to wielkie osiągnięcie, bo podobne eksperymenty dają jeszcze zupełnie inne, nieartystyczne możliwości, np. generowania fikcyjnych twarzy (NVIDIA), zwierząt, obiektów, rysowania tego co opiszemy za pomocą słów (eksperyment Microsoftu) czy wyostrzania kiepskiej jakości zdjęć. A wiele więcej ciągle przed nami. | CHIP
