Jeśli śledziliście moje poprzednie teksty o lokalnej sztucznej inteligencji, to tę historię już znacie: najpierw pojawił się ogólny przewodnik tłumaczący, czym w ogóle jest lokalna SI i jak ją sensownie zorganizować w domu lub firmie, potem przyjrzeliśmy się bliżej temu, czym tak naprawdę jest NVIDIA DGX Spark, czyli miniaturowy komputer o możliwościach małego klastra, a na koniec przyszła pora na test niereferencyjnego Gigabyte AI TOP ATOM, który sprowadza tę moc na zwykłe biurko.
W tamtych miałem jednoznacznie cele. Po pierwsze, chciałem wyjaśnić, że sztuczna inteligencja to nie magia, tylko bardzo konkretne obliczenia wykonywane na specjalizowanym sprzęcie. Po drugie, miałem pokazać, że DGX Spark nie jest kolejnym mini PC, ale referencyjną platformą z superchipem Grace Blackwell i zunifikowaną pulą 128 GB pamięci dynamicznej, która pozwala uruchamiać duże modele bez żonglowania RAM i VRAM. Po trzecie wreszcie, sprawdzić w praktyce, jak ten pomysł wypada w wydaniu partnerskim, czyli w postaci gotowej maszyny Gigabyte AI TOP ATOM.
NVIDIA poprawia DGX Spark po uwagach użytkowników. Modele ładują się szybciej, a problemy z peryferiami znikają
Podczas zabawy z DGX Spark zauważyłem, że sama specyfikacja sprzętu to tylko połowa układanki. W teście uczciwie uprzedzałem, że to wciąż rozwiązania dla osób, które akceptują pewien poziom dłubania w oprogramowaniu, a nie tkaie, które jest niczym aparat fotograficzny z trybem auto. Teraz wracamy do tej historii w ciekawym momencie, bo NVIDIA ogłosiła dużą aktualizację oprogramowania DGX Spark, która trafia nie tylko na referencyjne jednostki, ale także na warianty od partnerów, a w tym właśnie na Gigabyte AI TOP ATOM. To nie jest kosmetyczna łatka, a zestaw zmian, który dotyka jednocześnie systemu operacyjnego, środowiska pracy z modelami oraz sposobu, w jaki te maszyny współpracują z peryferiami i narzędziami do monitorowania zasobów.
Czytaj też: Ten komputer jest mniejszy od mojego routera, a bije na głowę wydajność potężnego peceta
Na poziomie systemu operacyjnego najważniejsza jest wymiana jądra na nowszą wersję z gałęzi HWE, która została przygotowana z myślą o aktualnych procesorach i kontrolerach. W praktyce oznacza to lepszą obsługę sprzętu, mniejszą podatność na drobne kaprysy sterowników i świeży pakiet poprawek bezpieczeństwa. Dla użytkownika liczy się efekt końcowy, a więc to, że maszyna ma zachowywać się stabilnie zarówno wtedy, gdy pracuje jako pojedyncza stacja z jednym modelem, jak i wtedy, gdy równolegle obsługuje kilka usług wymagających dużych porcji pamięci.
Wraz z nowym jądrem przychodzi aktualizacja środowiska JupyterLab, czyli miejsca, w którym praktycznie żyją deweloperzy i osoby testujące modele. NVIDIA podbiła wersję biblioteki CUDA do 13.0.2 i dołączyła aktualny stos PyTorch, dzięki czemu użytkownik dostaje od razu gotowe do pracy, współczesne środowisko uruchomieniowe. Z punktu widzenia kogoś, kto regularnie pobiera nowe modele lub klonuje repozytoria z narzędziami do kwantyzacji albo RAG, to duże odciążenie, bo zamiast budować wszystko ręcznie, można w większym stopniu oprzeć się na tym, co producent dostarcza w standardzie.
Istotną, choć z pozoru mało efektowną zmianą jest także korekta sposobu raportowania pamięci w panelu DGX Dashboard. W poprzednich wersjach osoby przyzwyczajone do klasycznego podziału na RAM i VRAM mogły mieć wrażenie, że liczby na ekranie nie do końca pasują do tego, co sugeruje CUDA i mechanizmy zunifikowanej pamięci. Teraz raportowanie ma być zgodne z zaleceniami dla systemów z pamięcią współdzieloną, co ułatwia planowanie pracy z dużymi modelami i zmniejsza ryzyko, że system będzie wyglądał na “„”zapchany”.
Dużo bliżej codziennego użytkowania są zmiany dotyczące peryferiów. Aktualizacja poprawia współpracę z monitorami, stacjami dokującymi i innymi urządzeniami USB-C, a także z klawiaturami, myszkami, modułami Bluetooth i punktami dostępowymi Wi-Fi. Chociaż NVIDIA nie “wyczaruje” magicznie w tym sprzęcie choć jednego USB-A, to lepszy krok w tę stronę niż żadną. W testach AI TOP ATOM odczułem bowiem, że to po prostu maszyna z serwerowym rodowodem.
Czytaj też: Czym jest sztuczna inteligencja i jak mieć ją u siebie lokalnie?
Ta aktualizacja nie załatwia wszystkiego. Lokalna sztuczna inteligencja wciąż nie jest rozwiązaniem dla kogoś, kto chce jedynie kliknąć “dalej, dalej, zakończ” i oczekiwać magii z reklam. Nadal trzeba rozumieć, czym różni się jeden model od drugiego, jak sensownie podejść do pracy z długim kontekstem i w jaki sposób zabezpieczyć własne dane. Jednocześnie najnowsze zmiany potwierdzają, że i taki świat może nastać, bo sama aktualizacja potwierdza, że NVIDIA zaczyna traktować DGX Spark jak żywą platformę, którą trzeba regularnie pielęgnować, a nie jak jednorazowy produkt.