Jeszcze kilka lat temu “komputer działający jak mózg” był jednym z tych haseł, które rozbijały się o fizykę sprzętu. Biologia potrafi bowiem rozpoznać twarz po fragmencie obrazu, przypomnieć sobie melodię po kilku nutach i robić to przy poborze energii, o którym centra danych mogą tylko pomarzyć. Krzem z kolei w systemie komputerowym jest niezwykle szybki, ale nadal bardzo często działa według prostej logiki w stylu “znajdź dane, przenieś je, przetwórz i odeślij”. W to właśnie miejsce uderzyli badacze, których praca ukazała się w Nature Communications już 23 lutego.
Pamięć, której nie trzeba podawać adresu
Klasyczna pamięć komputera działa trochę jak magazyn. System musi wiedzieć, gdzie coś odłożył, żeby później po to wrócić. Pamięć asocjacyjna działa inaczej, bo wyszukuje informację na podstawie jej treści. Dostaje niepełny albo uszkodzony wzorzec i próbuje odtworzyć całość. Kilka pikseli może więc prowadzić do kompletnego obrazu, a zaszumiony znak do właściwej cyfry.
Czytaj też: 50 atomów zaczęło liczyć. Japonia uruchomiła komputer nowej ery bez normalnego procesora
W elektronice takim zachowaniem od dekad zajmują się m.in. sieci Hopfielda. Problem w tym, że klasyczne konstrukcje mają bardzo nieprzyjemny sufit pojemności. Im więcej wzorców próbujemy zapisać w sieci o określonej wielkości, tym większa szansa, że zacznie je mylić. W klasycznej sieci Hopfielda z regułą Hebba pojemność wynosi około 0,14 N wzorców, gdzie N oznacza liczbę neuronów. W pewnym momencie odpowiedzią staje się więc po prostu “zbuduj większą sieć”.
Zespół prof. Can Li podszedł do tego od dwóch stron. Zamiast udawać, że prawdziwe memrystory są idealne, algorytm podczas treningu uwzględnia ich rzeczywiste ograniczenia, zmienność parametrów i elementy utknięte w określonych stanach. Jednocześnie badacze przeszli z klasycznej pojedynczej warstwy na konstrukcję wielowarstwową. W efekcie na skorelowanych danych pojemność pamięci rosła szybciej niż sama wielkość sieci.
W równaniach autorzy oznaczają tę wielkość wspomnianą literą N, która odpowiada liczbie neuronów, czyli podstawowych elementów sieci. Gdyby pojemność rosła idealnie liniowo, dwukrotne zwiększenie N dawałoby mniej więcej dwukrotnie więcej miejsca na zapamiętane wzorce. W jednowarstwowej konstrukcji rzeczywiście było blisko takiego zachowania, bo autorzy zmierzyli zależność około N^1,06. W nowej wielowarstwowej architekturze dla danych binarnych było to już (empirycznie) około N^1,49, co oznacza, że dwukrotne zwiększenie liczby neuronów przekładało się teoretycznie na około 2,8 razy większą pojemność. Dla danych o wartościach ciągłych wykładnik dochodził do około N^1,74, czyli przy dwukrotnie większej sieci wzrost pojemności sięgał już około 3,3 razy.
Właśnie to autorzy określają mianem skalowania superliniowego. Sieć nie zyskuje więc pamięci wyłącznie dlatego, że dokładamy do niej kolejne elementy. Jej pojemność rośnie szybciej niż sama liczba neuronów, co jest tutaj najważniejszą różnicą względem klasycznych konstrukcji.
Zepsuty chip? Tym lepiej, jeśli nauczy się swoich wad
Przez dekady goniliśmy za perfekcyjnie powtarzalnym tranzystorem. W układach neuromorficznych możemy dojść do momentu, w którym bardziej opłacalne będzie nauczenie systemu własnych wad niż kosztowne eliminowanie każdej z nich. Tak się zresztą składa, że najciekawszy fragment tej pracy wcale nie dotyczy jednak maksymalnej pojemności, a niedoskonałości.
Czytaj też: Przez dekady godziliśmy się na gorące komputery. Ten eksperyment może zmienić ich przyszłość
Produkcja układów analogowych i memrystorowych nie daje bowiem armii identycznych elementów. Pojawiają się odchylenia przewodności, szum oraz elementy, które utknęły w określonych stanach. Zwykle próbujemy ten problem minimalizować. Tutaj naukowcy zrobili coś bardziej pragmatycznego, bo zmierzyli ograniczenia sprzętu i włączyli je do procesu uczenia.
Przy 50 procentach uszkodzonych w ten sposób elementów ich metoda utrzymywała trzykrotnie wyższą efektywną pojemność od porównywanego rozwiązania typu pseudo-inverse. W innym zestawieniu pojemność była mniej więcej dwukrotnie wyższa od wcześniejszej metody referencyjnej. Wielowarstwowa architektura pozwalała też ograniczyć liczbę potrzebnych memrystorów o 43,75-95 procent, zależnie od konfiguracji.
99,7 procent mniej czasu rozbudza fantazję, ale…
Memrystory mają jeszcze jedną przewagę, a mianowicie fakt, że pamięć i obliczenia mogą odbywać się praktycznie w tym samym miejscu. W klasycznej architekturze von Neumanna dane kursują między pamięcią a jednostką obliczeniową, co kosztuje czas i energię. Macierz memrystorowa może wykonywać część operacji analogowo i równolegle, wykorzystując prawa Ohma i Kirchhoffa.
Łącząc równoległość macierzy, synchroniczną aktualizację i wielowarstwową architekturę, badacze w najlepszym zestawieniu uzyskali redukcję latencji o 99,7 procent oraz nawet 8,8-krotnie wyższą efektywność energetyczną względem rozwiązania asynchronicznego. Brzmi to wprawdzie jak nokaut dla klasycznych rozwiązań, ale tych liczb nie wolno przenosić wprost na procesory CPU czy GPU. Jest to porównanie konkretnych sposobów realizacji pamięci asocjacyjnej dla określonych wzorców, a nie dowód, że nowy chip nagle zastąpi RTX-a czy procesor w laptopie.
Komputer przyszłości może pamiętać bardziej jak człowiek
Najbliższe zastosowanie takiej technologii obejmuje czujniki, roboty, urządzenia ubieralne i cały segment brzegowego AI, gdzie liczy się niski pobór energii, odporność na awarie i możliwość rozpoznawania wzorców bez ciągłego wysyłania danych do centrum danych. Na taki kierunek wskazują zresztą sami badacze. Podobny trend widać też przy układach, które nie analizują każdej klatki obrazu od początku, tylko reagują przede wszystkim na zmiany. W obu przypadkach celem nie jest zbudowanie “drugiego mózgu”, lecz podwędzenie biologii kilku bardzo skutecznych sztuczek. Właśnie dlatego ta praca wydaje mi się ważniejsza od typowej historii o “nowym chipie AI”.
Czytaj też: Komputer przyszłości może być żywy. Naukowcy stworzyli coś, w co trudno uwierzyć
Przez lata próbowaliśmy przede wszystkim robić klasyczne komputery szybciej. Teraz coraz częściej pytamy, czy nie powinniśmy robić ich inaczej. Jeśli pamięć potrafi szukać po treści, liczyć tam, gdzie przechowuje dane, tolerować własne uszkodzenia i zwiększać pojemność szybciej niż rozmiar sieci, to dawne marzenie o elektronice inspirowanej mózgiem zaczyna tracić status futurystycznej ciekawostki. Nie oznacza to jeszcze końca RAM-u, procesorów i GPU. Oznacza coś ciekawszego. Przyszłość komputerów może nie polegać wyłącznie na dokładaniu kolejnych miliardów tranzystorów, ale na nauczeniu ich pracy w sposób, którego przez dekady unikaliśmy.
Źródła: Tech Xplore, Nature Communications, University of Hong Kong
