Badanie OpenAI (udostępnione przez The New York Times) wykazało niepokojące wskaźniki halucynacji nowych modeli językowych. W teście benchmarkowym, dotyczącym osób publicznych, model GPT o3 zawierał halucynacje w jednej trzeciej odpowiedzi (dwukrotnie więcej niż model o1). Bardziej kompaktowy model o4-mini wypadł jeszcze gorzej, halucynując w 48% podobnych zadań. W pytaniach dotyczących wiedzy ogólnej (benchmark SimpleQA), halucynacje wzrosły do 51% odpowiedzi dla o3 i 79% dla o4-mini.
Jedna z teorii głosi, że im więcej “rozumowania” próbuje przeprowadzić model, tym więcej ma szans na ‘zejście z torów’. Modele rozumujące zapuszczają się w najróżniejsze terytoria, gdzie muszą oceniać wiele możliwych ścieżek, łączyć wiele faktów i zasadniczo improwizować. OpenAI sugeruje, że wzrost halucynacji może nie wynikać z tego, że modele rozumujące są z natury gorsze, ale z tego, że są po prostu bardziej rozgadane i awanturnicze w swoich odpowiedziach. Ponieważ nowe modele nie tylko powtarzają przewidywalne fakty, ale spekulują o możliwościach, granica między teorią a fabrykowanym faktem może się dla AI zamazać.
W miarę wdrażania generatywnego AI w różnych dziedzinach codziennego życia rośnie też skala problemów spowodowanych halucynacjami. Warto tu przypomnieć przypadek amerykańskich prawników, którzy swego czasu wpadli w poważne kłopoty związane z używaniem ChataGPT i tworzeniem przez chatbota wyimaginowanych cytatów sądowych. Cały paradoks tego zagadnienia polega na tym, że im bardziej użyteczne staje się AI, tym mniej miejsca zostaje na ewentualne błędy. Trudno zgodzić się bowiem ze stwierdzeniem, że oszczędzamy czas i wysiłek, używając narzędzia, które trzeba potem samodzielnie dodatkowo sprawdzać.
Czytaj też: Claude 3.7 odbiera użytkowników ChatGPT. Jak nowy model Anthropic zmienia układ sił na rynku
Aby zmniejszyć halucynacje, można stosować techniki takie jak zewnętrzna weryfikacja (np. wyszukiwanie online), iteracyjne poprawianie odpowiedzi lub ograniczenie zakresu kontekstu. Przy przetwarzaniu dużych ilości informacji model może “gubić się” w szczegółach, co prowadzi do generowania nieprawdziwych lub niespójnych stwierdzeń. Jednak całkowite wyeliminowanie halucynacji pozostaje wyzwaniem ze względu na inherentne ograniczenia modeli językowych.