AI napędzana siłą mięśni
Sztuczna inteligencja ma dziś opinię technologii, która potrafi zrobić niemal wszystko. Napisze maila, stworzy grafikę, zaplanuje wakacje, pomoże w programowaniu, a czasem nawet udaje psychologa. Jest tylko jeden problem: to wszystko kosztuje ogromne ilości energii. Centra danych obsługujące nowoczesne modele AI zużywają coraz więcej prądu i wody, co regularnie podkreślają eksperci i krytycy tej technologii. Właśnie dlatego grupa Squeez Labs postanowiła stworzyć coś, co wygląda jak żart, ale jednocześnie jest całkiem trafnym komentarzem do obecnego stanu branży. Tak powstał CrankGPT – chatbot AI, który działa całkowicie offline i jest zasilany… korbką.
Sama nazwa zdradza już główny pomysł projektu. Zamiast korzystać z chmury, serwerowni i akceleratorów AI kosztujących fortunę, CrankGPT działa na pojedynczym Raspberry Pi 5 wyposażonym w 8 GB pamięci RAM. Brzmi skromnie i tak właśnie miało być, bo nikt nie chciał tutaj robić konkurenta dla ChatGPT czy Gemini.
Co ciekawe, największym wyzwaniem nie okazało się nawet uruchomienie modelu językowego na niewielkim komputerze jednopłytkowym, tylko dostarczenie wystarczającej ilości energii. Twórcy postanowili bowiem całkowicie zrezygnować z gniazdka elektrycznego. Na pokładzie nie ma też miejsca na baterię, a zamiast tego jest właśnie korbka, bo cały zamysł polega na tym, że to my sami musimy dostarczyć energii urządzeniu.
Jeżeli chcesz porozmawiać z CrankGPT, najpierw musisz własnoręcznie wygenerować prąd
Uruchomienie sztucznej inteligencji na Raspberry Pi nie jest dziś niczym niezwykłym. Schody zaczynają się wtedy, gdy komputer trzeba zasilać ręcznym generatorem. Podczas rozpoznawania mowy Raspberry Pi potrafi pobierać około 8 W energii, a gdy jednocześnie działa model językowy oraz synteza głosu, zapotrzebowanie rośnie nawet do 15 W. Jeśli mamy pod ręką zasilacz czy ładowarkę, nie musimy się czymś takim przejmować. Jeśli jednak to my sami musimy ten prąd wygenerować. Cóż, wówczas 15 W okazuje się ilością naprawdę sporą.
Twórcy szybko odkryli, że chwilowe skoki poboru energii powodują wyłączanie się generatora. Rozwiązaniem okazała się autorska płytka z kondensatorami, która działa jak mały magazyn energii. Gromadzi nadwyżki prądu podczas kręcenia i oddaje je wtedy, gdy komputer potrzebuje chwilowo więcej mocy. Dzięki temu urządzenie nie wyłącza się przy każdym bardziej wymagającym zadaniu.
Jak też wcześniej wspomniałam, CrankGPT działa też całkowicie offline. System oparto na lekkiej wersji DietPi, a poszczególne elementy zostały dobrane pod kątem działania na skromnym sprzęcie. Za rozpoznawanie mowy odpowiada Moonshine ASR, wykrywanie aktywności głosowej realizuje Silero VAD, a generowaniem odpowiedzi zajmują się niewielkie modele uruchamiane przez llama.cpp. Twórcy testowali większe modele językowe, ale szybko okazało się, że Raspberry Pi nie jest najlepszym miejscem dla rozbudowanej sztucznej inteligencji. Ostatecznie postawiono na lekkie modele, takie jak Gemma 3 1B oraz LFM2 od Liquid AI.
Efekt? W najlepszej konfiguracji odpowiedź może pojawić się w mniej niż sekundę od zakończenia pytania. Jak na komputer wielkości dłoni zasilany korbką, brzmi to całkiem imponująco. W dodatku nie zabrakło tu nawet generowania głosu, za co odpowiada Piper – jedno z popularniejszych rozwiązań typu text-to-speech działających lokalnie. Są one generowane na bieżąco, więc urządzenie zaczyna mówić jeszcze zanim zakończy tworzenie całej odpowiedzi. Pozwala to na bardziej naturalną konwersację, choć raczej z CrankGPT nie pogadamy za długo, bo ręka może nam się szybko zmęczyć.
Najbardziej absurdalny chatbot roku? Zdecydowanie, ale…
Nie ma co ukrywać, CrankGPT nie rozwiąże problemów energetycznych świata. Nie zastąpi też ChatGPT, Gemini czy Claude’a. Prawdopodobnie nikt nie będzie chciał przez godzinę kręcić korbką tylko po to, żeby zapytać AI o przepis na naleśniki czy aby porozmawiać o pogodzie. I może właśnie dlatego wydaje mi się tak ciekawy.
Bo z wierzchu wygląda jak żart, ale kiedy musimy kręcić korbą zaczyna rodzić się pytanie o przyszłość sztucznej inteligencji. Dziś korzystanie z AI wydaje się niemal darmowe, bo rachunek za energię ukryty jest gdzieś w ogromnych centrach danych oddalonych o setki kilometrów od użytkownika. To urządzenie boleśnie przypomina o tym, jak wiele energii kosztuje każde nasze pytanie. Chociaż nadal nie płacimy za to pieniędzmi, to własnym wysiłkiem, co do wielu osób może przemawiać jeszcze bardziej.
Źródło: SqueezLabs
