Zabrali modelom AI aż 99% danych. Nie uwierzysz, co stało się później

Od dawna nurtuje mnie pytanie, czy w pogoni za coraz większymi modelami i zbiorami treningowymi nie zapominamy o tym, ile z gromadzonych informacji rzeczywiście wnosi coś nowego. Grupa naukowców z Uniwersytetu Technologicznego Michigan oraz Uniwersytetu Kalifornijskiego w Los Angeles (UCLA) podeszła do tego problemu dość bezczelnie.
Zdjęcie poglądowe

Zdjęcie poglądowe

Przy wykorzystywaniu sztucznej inteligencji do projektowania nowych materiałów trzeba najpierw poświęcić ogrom czasu na przygotowanie danych, zanim SI zacznie pomagać człowiekowi. Tych danych musi być bardzo dużo, bo przewidywanie zachowania elektronów w metalu czy stopie wymaga obliczeń kwantowych, które potrafią solidnie obciążyć nawet superkomputery. Jednak wspomniani badacze uznali, że zamiast zastanawiać się nad tym, jak dostarczyć modelom jeszcze więcej wyników symulacji, zaczęli usuwać te już dostępne i sprawdzać, kiedy sieci neuronowe wreszcie zaczną się mylić.

Naukowcy zabrali sztucznej inteligencji 99% danych. Wynik zaskakuje

Eksperyment dotyczył przewidywania gęstości elektronowej, czyli rozkładu elektronów w przestrzeni wokół atomów. Badacze sprawdzili cztery bardzo różne układy, bo aluminium, wodę oraz stopy SiGeSn i CrFeCoNi. Każdy miał własny zbiór treningowy obejmujący od 38,6 do 51,1 miliona punktów siatki obliczeniowej. Łącznie daje to około 174 milionów punktów pochodzących z symulacji opartych na teorii funkcjonału gęstości (DFT). Nie są to więc miliony różnych materiałów, a szczegółowe dane opisujące rozkład elektronów w wybranych układach.

Czytaj też: AI w Wiedźminie 3 potwierdzone. Pieśni Przeszłości wspomoże sztuczna inteligencja

Po usunięciu 90% danych modele zachowywały praktycznie tę samą dokładność. Przy redukcji o 99% błędy już rosły, ale odpowiednio dobrane próbki pozwalały nadal bardzo trafnie przewidywać gęstość elektronową i wyliczać energię układów z dokładnością uznawaną w chemii obliczeniowej za wystarczającą. Najciekawsze jest dla mnie jednak to, że nie wystarczyło po prostu zostawić najtrudniejszych przykładów. Najlepiej działała metoda CCS, która wybierała reprezentatywne punkty o różnym stopniu trudności i dbała, żeby model nie stracił obrazu całego problemu.

Czytaj też: Darmowa sztuczna inteligencja przechodzi do historii. Samsung szykuje płatną subskrypcję za Galaxy AI

Dlaczego to działa? Naukowcy wskazali na niską wewnętrzną wymiarowość zbiorów. Chociaż każdy punkt opisywało od 236 do 295 cech, to badacze oszacowali ich rzeczywistą wymiarowość na około 65-90. Do tego dochodzi lokalny charakter oddziaływań, bo o zachowaniu elektronów w danym miejscu w dużej mierze decyduje najbliższe otoczenie atomów. Jeśli wiele konfiguracji wygląda pod tym względem podobnie, kolejne miliony punktów uczą sieć niemal tego samego. Mówiąc prościej – model potrzebuje różnorodnych przykładów, a nie nieskończonej liczby ich powtórek.

Szybsze AI może pomóc projektować materiały, ale…

Przy usunięciu 99% punktów sam trening zajmował o 75-90% mniej czasu niż na pełnym zbiorze, ale nie oznacza to oczywiście równie dużej oszczędności w całym procesie badawczym. Dane wyjściowe nadal pochodziły z kosztownych symulacji, a wybór odpowiednich próbek też wymaga pracy obliczeniowej. Dopiero metoda, która pozwoliłaby ograniczyć liczbę symulacji już na etapie ich planowania, mogłaby przynieść większe oszczędności.

Jest jeszcze kwestia niezawodności. W testach nowych konfiguracji atomowych, których sieć nie widziała podczas treningu, 99-procentowa redukcja poradziła sobie bardzo dobrze w większości przypadków. Wyjątkiem był szczególny przypadek stopu CrFeCoNi z dwoma brakującymi atomami w strukturze, dla którego błąd obliczonej energii przekroczył próg dokładności chemicznej. Patrząc na to, traktowałbym wspomniane wcześniej 90% jako bezpieczniejszy rezultat badania, a 99% jako imponującą demonstrację możliwości starannego doboru danych.

Czytaj też: Jeden pierścień, by wszystkim rządzić. Aina zastąpi pilot do telewizora i pozwoli sterować AI

Co więc z tego wynika? Tutaj muszę się zatrzymać i popatrzeć w przeszłość, bo w swoim tekście o stali projektowanej z pomocą AI opisywałem, jak algorytmy mogą ułatwić znalezienie korzystnego składu i mikrostruktury stopu. Podobnie przy nowych nadprzewodnikach najważniejsze było zawężenie listy kandydatów, których później sprawdzają fizycy. Tutaj z kolei dostaliśmy szansę na przyspieszenie jeszcze wcześniejszego etapu, a więc budowy modeli wspierających takie poszukiwania. Sęk w tym, że na tę chwilę nie mamy gotowego przepisu na tańsze materiały przyszłości, ale mamy konkretny sygnał, że rozwoju AI nie trzeba mierzyć wyłącznie liczbą parametrów, serwerów i gigabajtów danych. Czasem warto najpierw sprawdzić, ile z tych gigabajtów naprawdę czegoś uczy.

Źródła: Michigan Technological University, arXiv

Mateusz ŁysońM
Napisane przez

Mateusz Łysoń

RedaktorZwiązany z mediami od 2016 roku. Twórca gier, autor tekstów przeróżnej maści, które można liczyć w dziesiątkach tysięcy, książki Powrót do Korzeni oraz gry wideo DIGSITE ZERO.