NVIDIA aktualnie rozwija narzędzia do łączenia kilku jednostek, upraszcza zarządzanie nimi, a równolegle optymalizuje nowe otwarte modele tak, żeby coraz więcej pracy dało się wykonać bez wysyłania danych do chmury. Patrząc na tempo tych zmian, lokalna sztuczna inteligencja coraz bardziej zaczyna przypominać normalną platformę obliczeniową, a nie eksperyment dla najbardziej wytrwałych użytkowników.
Dwa DGX Spark mogą działać jak jeden klaster
Najważniejszą nowością dla właścicieli DGX Spark jest NVIDIA Sync Cluster Assistant. Narzędzie to automatyzuje proces łączenia co najmniej dwóch takich komputerów w szybki klaster, wykorzystując ich interfejsy NVIDIA ConnectX-7. NVIDIA Sync zajmuje się konfiguracją sieci, rozdzielaniem zadań między węzłami oraz kontrolowaniem stanu całego środowiska.
Czytaj też: NVIDIA stworzyła mózg samochodu przyszłości. Jego nowe oczy widzą na kilometr
Ma to znaczenie przede wszystkim przy większych modelach, które zaczynają wykraczać poza możliwości pamięciowe pojedynczego urządzenia. DGX Spark już sam w sobie jest pod tym względem nietypowy dzięki 128 GB zunifikowanej pamięci, ale możliwość prostego spięcia kolejnych jednostek przesuwa granicę jeszcze dalej. Pisałem już wcześniej o tym, jak DGX Spark wygląda w praktyce na przykładzie Gigabyte AI TOP ATOM, a teraz sama koncepcja takiego urządzenia robi się jeszcze ciekawsza.
Dla mnie ważne jest tutaj przede wszystkim słowo “prosto“. Klaster obliczeniowy nie jest niczym nowym, ale do tej pory samo zestawianie kilku maszyn, konfiguracja komunikacji oraz późniejsze zarządzanie nimi nie było tak uproszczone. NVIDIA Sync ma zaś ukryć znaczną część tej pracy pod gotowym narzędziem.
DGX Spark staje się też bardziej normalnym komputerem
NVIDIA rozwija również elementy znacznie mniej spektakularne, ale bardzo potrzebne w codziennym użytkowaniu. Jeszcze w sierpniu DGX Spark ma otrzymać natywną wersję Google Chrome dla Linuksa ARM64, instalowaną bezpośrednio z DGX Dashboard. Oznacza to pełną obsługę rozszerzeń, synchronizacji konta Google i normalnego środowiska przeglądarkowego bez konieczności kombinowania z mniej wygodnymi rozwiązaniami.
Drugą nowością jest NVIDIA Sync Resource Monitor. Narzędzie to pokaże bieżące i historyczne wykorzystanie CPU oraz GPU zarówno dla pojedynczego DGX Spark, jak i całego klastra. Można więc sprawdzić obciążenie, dostępne zasoby, postęp pracy i potencjalne wąskie gardła bez dokładania zewnętrznego systemu monitorowania.
Czytaj też: NVIDIA daje starszym grom drugie życie. DLSS 4.5 trafia do kolejnych hitów
Są to drobiazgi tylko z pozoru. Już wcześniej zwracałem uwagę, że DGX Spark stopniowo dojrzewa jako normalny komputer, a kolejne aktualizacje coraz wyraźniej zmniejszają dystans między specjalistycznym urządzeniem AI a stacją roboczą, na której da się po prostu wygodnie pracować.
Meta Muse Glimmer ma działać bez przerwy i bez chmury
Równolegle pojawił się Meta Muse Glimmer, czyli gęsty model typu open weight o 30 mld parametrów i kontekście przekraczającym 120000 tokenów. Został przygotowany przede wszystkim z myślą o kodowaniu oraz długo działających lokalnych agentach. NVIDIA podaje, że na GeForce RTX 5090 model przekracza 200 tokenów na sekundę, ale ciekawszy od samego wyniku jest jednak docelowy sposób użycia.
Muse Glimmer może pracować z lokalnymi dokumentami, plikami, wiadomościami i poświadczeniami, wykonywać wieloetapowe zadania oraz zachowywać kontekst podczas dłuższej pracy. NVIDIA wspiera uruchamianie go m.in. poprzez vLLM i llama.cpp, a także lokalne dostrajanie z użyciem NeMo AutoModel. Jest to dokładnie ten kierunek, o którym pisałem przy Hermes Agent. Lokalny model przestaje być oknem czatu, które odpowiada na jedno pytanie. Ma zostać procesem działającym stale obok użytkownika i wykonującym pracę na jego danych.
Lokalnie powstanie też coraz bardziej złożone wideo
Drugi duży kierunek rozwoju dotyczy generowania obrazu. LTX-2.5 wprowadza generowanie wielu następujących po sobie ujęć z zachowaniem spójności, poprawiony dekoder wideo oraz generatywną edycję istniejących materiałów. Ma to ułatwić poprawianie konkretnych fragmentów bez rozpoczynania całej generacji od początku.
Model został zoptymalizowany dla kart RTX, DGX Spark i DGX Station. W zaktualizowanym materiale NVIDIA podaje przykład RTX PRO 6000, na którym optymalizacje przynoszą do 20% wyższą wydajność i 40% mniejsze zużycie pamięci. Do dyspozycji jest również gotowy workflow ComfyUI obejmujący generowanie z tekstu, obrazu i materiału wideo. Stanowi to kolejny sygnał, że lokalne AI przestaje oznaczać wyłącznie modele językowe.
Otwarty ekosystem robi się coraz większy
Do całej układanki NVIDIA dokłada wsparcie dla kolejnych otwartych modeli. Cosmos 3 Edge jest przeznaczony m.in. dla robotyki i systemów autonomicznych, MiniMax-H3 łączy generowanie obrazu ruchomego z dźwiękiem, Laguna S 2.1 koncentruje się na długotrwałych zadaniach programistycznych, a DeepSeek-V4-Flash oferuje milion tokenów kontekstu. Dochodzą do nich multimodalny Inkling-Small, aplikacja Unsloth Desktop i Wan-Animate-2 do przenoszenia ruchu oraz mimiki z materiału źródłowego na statyczną postać.
Właśnie suma tych zmian wydaje mi się najważniejsza. Osobno nowa przeglądarka, monitor zasobów, szybszy model czy możliwość spięcia dwóch komputerów nie zmieniają rynku. Razem zaczynają jednak tworzyć środowisko, w którym lokalne AI może wykonywać coraz więcej zadań od początku do końca.
Czytaj też: Nie potrzebujesz gamingowego sprzętu w plecaku. NVIDIA ma prostsze rozwiązanie
Jeszcze niedawno lokalna sztuczna inteligencja oznaczała przede wszystkim pytanie “czy ten model zmieści się w pamięci?”. Teraz coraz częściej pytamy już, ile modeli możemy uruchomić, jak podzielić między nie pracę, jak zbudować stale działającego agenta i czy do bardziej wymagającego zadania wystarczy dołożyć drugi komputer. To znacznie ciekawszy etap rozwoju. Lokalna AI powoli przestaje być bowiem demonstracją możliwości sprzętu i zaczyna stawać się sposobem jego wykorzystania.
Źródła: NVIDIA Local AI, NVIDIA
