Pokrętło sterujące dla algorytmów
Podstawowa idea stojąca za VMIBF jest imponująca w swojej prostocie. Chodzi o to, by algorytm umiał skompresować różnorodne dane, takie jak tekst, obraz, dźwięk, zachowując tylko te informacje, które są naprawdę niezbędne do postawienia trafnej prognozy. To trochę jak oczyszczanie sygnału z zakłóceń, tyle że na poziomie matematycznego modelu.
Odkryliśmy, że wiele z dzisiejszych najbardziej udanych metod AI sprowadza się do jednej, prostej idei – kompresowania wielu rodzajów danych na tyle, by zachować tylko te fragmenty, które naprawdę przewidują to, czego potrzebujesz – opisuje Ilya Nemenman z Emory University
Nowa struktura kategoryzuje istniejące algorytmy według tego, jak ich funkcja straty decyduje o zatrzymaniu lub odrzuceniu konkretnych informacji. Jeden z twórców, Michael Martini, porównuje to do pokrętła, którym można ustawić parametry dla danego zadania. Teoretycznie oznacza to koniec żmudnego testowania dziesiątek metod na ślepo: developer od razu powinien wiedzieć, w którą stronę skierować swoje wysiłki. Naukowcy nie tylko uogólnili znane techniki redukcji wymiarowości, lecz również zaproponowali nowe, jak beta-DVCCA czy Deep Variational Symmetric Information Bottleneck (DVSIB), które łączą się z nowoczesnym uczeniem kontrastowym.
Gdy fizyk spotyka uczenie maszynowe
Niecodzienne jest pochodzenie zespołu, który opracował tę koncepcję. Autorzy są bowiem fizykami, a nie informatykami. To właśnie ich dyscyplina, nastawiona na poszukiwanie fundamentalnych zasad, nadała kierunek badaniom.
Społeczność uczenia maszynowego koncentruje się na osiąganiu dokładności w systemie bez konieczności rozumienia, dlaczego system działa. My, jako fizycy, chcemy jednak zrozumieć, jak i dlaczego coś działa – dodaje Eslam Abdelaleem
To nacisk na zrozumienie mechanizmów, a nie tylko na wynik, zaowocował konkretnymi rezultatami. Testy na zestawach danych Noisy MNIST i Noisy CIFAR-100 wykazały, iż algorytmy dopasowane przez nowy framework osiągają wyższą dokładność niż dotychczasowe najlepsze modele. Tworzą również lepiej zorganizowane przestrzenie ukryte i są wydajniejsze w wykorzystaniu danych treningowych. Poza czystą dokładnością, VMIBF niesie ze sobą bardzo praktyczną korzyść: możliwość projektowania systemów AI, które potrzebują mniej danych do trenowania. A mniej danych to bezpośrednio mniejsze zapotrzebowanie na moc obliczeniową, co przekłada się na redukcję śladu węglowego.
W kontekście rosnącej świadomości ogromnego zużycia energii przez duże modele językowe, każda optymalizacja mająca na celu osiągnięcie tych samych celów mniejszym kosztem zasobów jest na wagę złota. Autorzy widzą też szerszy horyzont zastosowań. Abdelaleem zamierza wykorzystać swoją strukturę do badania ludzkich funkcji poznawczych, porównując sposób kompresji informacji w mózgu z działaniem modeli AI. Taka perspektywa może przybliżyć nas do zrozumienia zarówno sztucznej, jak i naturalnej inteligencji. Praca opublikowana w The Journal of Machine Learning Research zapewnia ujednolicone spojrzenie na wielomodalne uczenie maszynowe i realnie może przyspieszyć proces rozwoju nowych algorytmów. Jeśli uda się wykorzystać istniejący potencjał, będziemy mogli mówić o zrównoważonej i przejrzystej sztucznej inteligencji.