LongLLaMA to projekt, w którym udział wzięli badacze związani z IDEAS NCBR, Uniwersytetem Warszawskim i Polską Akademią Nauk (Szymon Tworkowski, Konrad Staniszewski, Mikołaj Pacek i Piotr Miłoś), związany z UW i Google DeepMind Henryk Michalewski oraz Yuhuai Wu, jeden ze współtwórców startupu Elona Muska – xAI. Czym to rozwiązanie różni się od tego, co proponuje światu Open AI?
LongLLaMA a ChatGPT – pod jakimi względami polski model jest lepszy?
Dr hab. Piotr Miłoś, prof. Polskiej Akademii Nauk, lider zespołu badawczego w IDEAS NCBR, wyjaśnia zalety LongLLaMA w następujący sposób:
Nasz model może obsługiwać jednorazowo 8 tysięcy tokenów, czyli w przybliżeniu 30-50 stron tekstu, a w przypadku niektórych zadań znacznie więcej, nawet 256 tysięcy tokenów, chociaż to tylko wynik techniczny. Od marca pojawiają się pierwsze duże otwarte modele językowe o otwartym kodzie źródłowym. Pozwalają one naukowcom na zaawansowane prace, bo obecnie nie możemy stworzyć własnego LLM od zera. Kiedy Meta, właściciel Facebooka, wypuściła OpenLLaMA, naukowcy z całego świata, między innymi nasz zespół, wzięli go na warsztat i modyfikowali. Nasza LongLLaMA jest w stanie przetwarzać znacznie większy kontekst niż było to wcześniej możliwe, czyli potrafi w jednym kawałku „zjeść” znacznie więcej tekstu.
Czytaj też: ChatGPT zrobi aplikację w kilka minut i za pół darmo. To udowodnione
LongLLaMA nie ma żadnego interfejsu w internecie, dlatego do skorzystania z niej potrzebny jest udostępniony w sieci na zasadach open source model. Dzięki temu każdy może go zmodyfikować i dopasowywać do swoich potrzeb lub wprowadzać ulepszenia, którymi następnie podzieli się ze światem. Model to rodzaj architektury sieci neuronowej. Wprowadzony tekst podlega analizie pozwalającej na znalezienie powiązań pomiędzy słowami oraz wzorców. Gdy użytkownik wprowadzi tekst, na przykład pytanie, zostaje ono zmienione na tokeny.
Co w praktyce potrafi rywal ChatGPT?
Można wyobrazić sobie, że token jest jednym słowem, 2 tysiące słów to tekst na 7 stron, a 257 tys. słów liczy sobie Harry Potter i Zakon Feniksa. Chatboty mają swoje ograniczenia co do ilości tokenów, które mogą jednorazowo przyjąć. Najsłabiej wypada tu właśnie model Google Bard – jest to 1000 tokenów. OpenLLaMA pozwala na 2000, a ChatGPT 3.5 dopuszcza ich 4096. Wszystkich przebija LongLLaMA – model ten obsługuje aż wspomniane 8 tysięcy tokenów.
Mało tego – aby wykorzystać polski model wystarczy jeden procesor. LongLLaMA umożliwia generowanie tekstu, edycję tekstu, rozmowę z użytkownikiem, tworzenie streszczeń, tłumaczenie itd. Jak czytamy w informacji prasowej “potrafi obecnie wytwarzać spójne teksty o długości 8 tysięcy tokenów, a potencjalnie nawet 256 tysięcy tokenów”. Czyli teoretycznie “lama” mogłaby napisać książkę. Piotr Miłoś wyjaśnia:
Pełny potencjał dużych modeli językowych jest często ograniczony ze względu na to, ile kontekstu może przyjąć dany model. Dlatego wprowadziliśmy Focused Transformer (FoT), technikę wykorzystującą proces szkoleniowy inspirowany uczeniem kontrastowym (contrastive learning). To nowatorskie podejście pozwala na strojenie (fine-tuning) dostępnych już LLM, tak by były zdolne przyjmować większy kontekst. (…) LongLLaMA to duże osiągnięcie, ponieważ pokazuje, że duże modele językowe mogą pokonać ograniczenia związane z długością promptów i wytwarzać długie teksty, które będą przydatne dla człowieka.
Czytaj też: Opera w wersji dla telefonów z iOS dostaje inteligentnego chatbota. Aria to ChatGPT na sterydach
No cóż – dla ChatGPT pojawiło się nieco konkurencyjnych rozwiązań (mniej lub bardziej egzotycznych), jednak żaden nie zdobył sobie takiej popularności. Czy LongLLaMA pozwoli to zmienić? Nie miałbym nic przeciwko, dlatego trzymam kciuki za sukces badaczy pod dowództwem Piotra Miłosia.
