Współczesna sztuczna inteligencja coraz częściej potyka się nie o samą liczbę jednostek obliczeniowych, ale o przepływ danych. Można mieć potężny akcelerator, ogromny budżet energetyczny i centrum danych pełne sprzętu, ale jeśli pamięć nie nadąża z karmieniem procesorów danymi, to cała ta konstrukcja zaczyna przypominać sportowy samochód stojący w korku. Można powiedzieć, że w takiej sytuacji silnik ma moc, ale sama droga jest już zapchana.
AI nie zawsze potrzebuje większego mózgu. Czasem potrzebuje szybszej pamięci
Nie bez powodu HBM, czyli High Bandwidth Memory, stała się jednym z najważniejszych elementów ery AI. Pisałem już o tym przy RAMaggedonie i niedoborach pamięci, gdzie popyt na pamięci dla serwerów AI zaczął uderzać nawet w zwykły rynek PC. Widać to też przy przyszłości procesorów po Prawie Moore’a, bo branża coraz wyraźniej szuka wydajności nie tylko w miniaturyzacji, ale też w pakietowaniu, interkonektach, chipletach i skracaniu drogi przebiegu samych danych.
Czytaj też: Sensowna sztuczna inteligencja dla każdego? NVIDIA zrobiła właśnie coś, na co czekałem od dawna
HBM działa właśnie dlatego, że pamięć przestaje być płaską strukturą rozlaną po dużej powierzchni. Kości układa się pionowo, warstwa na warstwie, a dzięki temu dane mają krótszą drogę do pokonania. Prosta analogia z wieżowcem jest tutaj wyjątkowo trafna, bo gdy w mieście brakuje gruntu, przestajemy budować same domki jednorodzinne i zaczynamy piąć się w górę. W elektronice właśnie dzieje się dziś coś podobnego.
Koreańczycy pokazali stos cieńszy niż wyobraźnia podpowiada
Zespół z POSTECH, czyli Pohang University of Science and Technology, razem z Korea Institute of Industrial Technology opracował metodę stabilnego układania ponad 10 ultracienkich półprzewodnikowych chipów. Każdy z nich miał około 14 mikrometrów grubości, a sam mikrometr to jedna tysięczna milimetra, więc mówimy o warstwie tak cienkiej, że łatwo się w tym pogubić. W materiałach źródłowych pojawia się też porównanie do jednej piątej grubości ludzkiego włosa i akurat w tym przypadku nie jest to przesada, a całkiem dobre przybliżenie skali.
Badacze twierdzą, że w ramach swojej pracy uzyskali gęstość integracji około czterokrotnie wyższą niż w komercyjnych 12-warstwowych strukturach HBM. Innymi słowy, w tej samej wysokości pakietu można potencjalnie zmieścić znacznie więcej funkcjonalnych warstw. Dla sprzętów do AI to nie jest drobnostka, bo w świecie akceleratorów liczy się nie tylko sama pojemność, ale też przepustowość, odległość sygnału, opóźnienia, zużycie energii i to, ile układów da się upchnąć w jednej konstrukcji.
Przez lata miniaturyzacja była niemal religią branży półprzewodników. Coraz mniejsze tranzystory, coraz niższe nanometry, coraz większa gęstość. Problem polega na tym, że ta ścieżka nie znika, ale przestaje wystarczać jako jedyna odpowiedź, co widać m.in. przy najmniejszych tranzystorach FeFET, gdzie sama skala ma znaczenie, ale równie ważne okazują się napięcie, energia i architektura pracy układu.
Nie tylko układanie wafelków krzemu
Cała trudność układania chipu na chipie polega na tym, że ultracienki układ nie zachowuje się jak sztywna płytka. Przy grubościach liczonych w kilkunastu mikrometrach zaczynają się problemy z wyginaniem, pękaniem, falowaniem i przesunięciami. Stos grubych kart można położyć równo bez większej filozofii. Jednak stos cienkich, delikatnych arkuszy szybko zaczyna żyć własnym życiem.
Dlatego badacze połączyli dwie operacje w jeden proces. Pierwsza to precyzyjne przenoszenie i umieszczanie chipów w wybranym miejscu (transfer printing), a druga to tworzenie metalicznych połączeń w tym samym momencie, w którym chip jest transferowany (in-situ bonding). W praktyce chodzi więc nie tylko o mechaniczne ułożenie kolejnej warstwy, ale też o wykonanie połączeń elektrycznych między piętrami tej półprzewodnikowej konstrukcji.
Czytaj też: Zrobili darmowe narzędzie, które zawstydza całą branżę. Sztuczna inteligencja może być “dobra”
Walidacja procesu objęła ultracienkie chipy krzemowe o grubości około 14 mikrometrów. Każdy z nich zawierał pionowe ścieżki sygnałowe oraz boczne okablowanie redystrybucyjne, dzięki czemu taka struktura miała sens jako element wielowarstwowego stosu. Całość udało się przeprowadzić w warunkach relatywnie łagodnych jak na taki poziom precyzji, bo poniżej 180 stopni Celsjusza i poniżej 20 kPa, czyli około 0,2 bara. Niska temperatura i niskie ciśnienie mają tutaj znaczenie, ponieważ ograniczają ryzyko uszkodzeń, naprężeń i deformacji.
Cztery razy większa gęstość brzmi jak przełom, ale do produktu daleko
Z jednej strony mamy wynik, który rzeczywiście robi wrażenie. Ponad 10 warstw ultracienkich chipów, ograniczone wypaczenia, bardzo małe błędy wyrównania i gęstość integracji około czterokrotnie większa niż przy konwencjonalnym 12-warstwowym HBM. Dla branży, która walczy o każdy milimetr, każdy wat i każdy dodatkowy kanał danych, to potencjalnie bardzo poważna sprawa.
Z drugiej strony nie mamy jeszcze masowej produkcji, gotowego modułu HBM następnej generacji ani dowodu, że cały proces da się tanio i powtarzalnie przenieść do wielkoskalowych linii produkcyjnych. Laboratorium i fabryka to dwa różne światy. W laboratorium można pokazać piękny stos, ale to w fabryce trzeba go powtórzyć tysiące i miliony razy, a to wszystko z wysokim uzyskiem, kontrolą jakości, zgodnością z istniejącymi procesami i kosztem, który nie zabije sensu ekonomicznego.
Czytaj też: Ratunek nadszedł? Sztuczna inteligencja oświecona kagankiem ekologiczności
Właśnie dlatego nie traktowałbym tego jako zapowiedzi, że “za chwilę” każdy akcelerator AI dostanie cztery razy lepszą pamięć. Bardziej widzę tutaj ważny sygnał kierunkowy. Branża półprzewodników coraz mocniej zamienia płaskie myślenie w przestrzenne. Mniejsze nanometry nadal będą ważne, ale równie ważne stanie się to, jak inteligentnie połączymy gotowe bloki, jak ustawimy je względem siebie i jak skrócimy drogę sygnału.
Źródła: TechXplore
