Co w tym najbardziej niesamowitego? Zrobiono to całkowicie offline, bez wsparcia chmury i bez wymiany choćby jednej śrubki wewnątrz obudowy. To nie magia, to Pocket Lab – urządzenie, które chce odebrać monopol na inteligencję wielkim centrom danych i oddać go zwykłym ludziom.
Pocket Lab to kieszonkowa bestia, która nie zna słowa „niemożliwe”
Cały eksperyment wyglądał jak scena z filmu science-fiction osadzonego w piwnicy hobbysty. Zespół Tiiny AI wziął komputer z 2011 roku – maszynę wyposażoną w procesor Intel Core i3-530 i skromne 2 GB pamięci RAM DDR3. Całość podpięto do starego monitora CRT (tak, tego wielkiego „pudła”), który wyświetlał interfejs ChatGPT działający lokalnie. Po podłączeniu Pocket Lab, ten technologiczny zabytek zaczął generować tekst z prędkością około 20 tokenów na sekundę. Kiedy zapytano model o to, dlaczego 1+1=2, system wypluł szczegółowe, logiczne wyjaśnienie liczące ponad 1500 znaków bez ani jednego zająknięcia.
Jak to możliwe, skoro modele o rozmiarze 100B+ zazwyczaj wymagają potężnych kart graficznych wartych tysiące dolarów? Tajemnica tkwi w autorskich technologiach Tiiny AI: TurboSparse oraz PowerInfer.
- TurboSparse to system, który aktywuje tylko te „neurony” modelu, które są w danej chwili niezbędne do udzielenia odpowiedzi, co drastycznie zwiększa wydajność bez utraty jakości inteligencji.
- PowerInfer z kolei inteligentnie rozdziela zadania między procesor (CPU) a jednostkę NPU, zużywając przy tym ułamek energii potrzebnej tradycyjnym systemom opartym na GPU.
Sam Pocket Lab to mała czarna kostka ważąca zaledwie 300 gramów. W środku siedzi 12-rdzeniowy procesor ARMv9.2, aż 80 GB szybkiej pamięci LPDDR5X oraz dysk SSD 1 TB. To wystarczy, by obsłużyć najpopularniejsze modele open-source, takie jak Llama, Qwen, Mistral czy GPT-OSS, przy poborze mocy na poziomie zaledwie 65 W.
Prywatność, o której Google i OpenAI mogą tylko pomarzyć
To, co robi Tiiny AI, to nie tylko pokaz siły inżynieryjnej, ale przede wszystkim manifest na rzecz prywatności. Dzisiejsza sztuczna inteligencja opiera się na chmurze – wszystko, co wpisujesz w okno czatu, ląduje na serwerach korporacji. Pocket Lab zmienia zasady gry. Twoje dane, dokumenty i preferencje są przechowywane lokalnie z szyfrowaniem na poziomie bankowym. Możesz analizować poufne dane firmowe, pisać prace naukowe czy tworzyć kody źródłowe bez strachu, że Twoje informacje posłużą do trenowania kolejnej wersji publicznego modelu.
Czytaj też: Seria Xiaomi 17 powiększy się o tajemniczy model. Producent jeszcze nie powiedział ostatniego słowa
Dla badaczy, programistów czy studentów to prawdziwa rewolucja. Możliwość posiadania osobistego superkomputera AI, który działa w pociągu, w lesie czy w miejscu bez dostępu do sieci, otwiera drzwi, które dotąd były zamknięte dla każdego, kto nie miał budżetu wielkiej korporacji.
Jeśli 14-letni PC może dziś stać się “mózgiem” przewyższającym możliwościami większość współczesnych laptopów, to znaczy, że bariera wejścia do świata wysokiej klasy AI właśnie przestała istnieć. To nie tylko gadżet dla geeków, to narzędzie, które może uratować miliony ton elektroniki przed wysypiskiem, dając starym komputerom drugie, znacznie inteligentniejsze życie.