Wydarzenie to miało miejsce w maju tego roku w kalifornijskim Berkeley. Trzydziestu wybitnych matematyków przybyło tam, a jednym z elementów ich wizyty była konfrontacja z popularnym w ostatnim czasie chatbotem. Zadaniem tego ostatniego było rozwiązanie problemów, które serwowali mu ludzie, co miało pozwolić na ocenę jego matematycznych możliwości.
Czytaj też: Ta liczba może ujawnić granice matematyki. Jest tak ogromna, że nawet jej zapisanie stanowiłoby wyzwanie
Dwa dni tak wymagających testów najwyraźniej bardziej zmęczyły ludzi, aniżeli maszynę, a specjaliści w dziedzinie matematyki byli zaskoczeni tym, jak wiele potrafi chatbot. Był on w stanie poradzić sobie z nawet najbardziej wymagającymi kwestiami, co pokazuje, iż modele oparte na sztucznej inteligencji faktycznie osiągnęły imponujący poziom w zakresie rozwiązywania problemów.
Testowane oprogramowanie to OpenAI o4-mini, który jest dużym modelem językowym w typie wstępnie przeszkolonego transformatora generatywnego. Dzięki sposobowi ich szkolenia, takie narzędzia cechują się zdolnością do rozprawiania się z naprawdę zaawansowanymi problemami matematycznymi. Pod tym względem są bardziej zaawansowane od konwencjonalnie stosowanych dużych modeli językowych.
Firma OpenAI zaprosiła do współpracy 30 matematyków, którzy mieli sprawdzić możliwości narzędzia o4-mini
W ramach sprawdzania możliwości tego modelu, OpanAI zatrudniło Elliota Glazera, który wziął udział w projekcie FrontierMath zapoczątkowanym we wrześniu ubiegłego roku. W jego ramach miały być zlecana na różnych poziomach trudności. Pierwsze trzy obejmował zagadnienia w zakresie licencjackim, magisterskim i badawczym, a do kwietnia Glazer stwierdził, że o4-mini odpowiada na około 20 procent pytań. Czwarty poziom miał być zdecydowanie trudniejszy, stanowiąc wyzwanie nawet dla największych ekspertów w dziedzinie matematyki.
Uczestnicy majowego spotkania musieli podpisać umowę o zachowaniu poufności. Nie mogli też komunikować się na odległość w inny sposób niż przy użyciu Signala, ponieważ inne metody mogłyby doprowadzić do zdobycia tych informacji przez modele. Stawka była zachęcająca, ponieważ autor matematycznego wyzwania, z którym nie poradziłby sobie o4-mini, miał przynieść mu 7500 dolarów nagrody.30 uczestników podzielono na sześcioosobowe grupy, a spotkanie potrwało dwa dni.
Czytaj też: Samsung szykuje rewolucję w świecie wearables. Inteligentne kolczyki i naszyjniki wkrótce na rynku
I choć ostatecznie matematykom udało się opracować dziesięć pytań, z którymi chatbot sobie nie poradził, to nie ukrywali, że jego możliwości kompletnie ich zaskoczyły. Porównali jego umiejętności do świetnego studenta na poziomie studiów magisterskich – a być może nawet wyżej. Poza tym narzędzie robiło w ciągu kilku minut to, co człowiekowi zajęłoby wiele dni, a czasami nawet miesięcy. A przecież mówimy o technologii, którą do niedawna moglibyśmy określić mianem raczkującej.