W czasopiśmie PLOS Digital Health opublikowano kolejny ciekawy przypadek pokazujący, jak szybko uczy się ChatGPT. Sztucznej inteligencji udało się uzyskać wynik w okolicach 60 proc., niezbędnych, by zdać egzamin United States Medical Licensing Exam (USMLE), z którym muszą poradzić sobie osoby chcące wykonywać zawód lekarza na terenie Stanów Zjednoczonych. Odpowiedzi udzielone przez ChatGPT miały spójny, wewnętrzny sens i zawierały spostrzeżenia godne doświadczonych lekarzy.
ChatGPT coraz lepszy
ChatGPT to system sztucznej inteligencji nowej generacji, znany jako duży model językowy (LLM), który został stworzony do generowania pisma podobnego do ludzkiego przez przewidywanie sekwencji słów. W przeciwieństwie do większości chatbotów, ChatGPT nie przeszukuje zasobów Internetu, a używa relacji słów przewidywanych przez jego wewnętrzne procesy.
Czytaj też: ChatGPT wszedł na wyższy level. Zdał egzamin na poziomie studiów podyplomowych
Dr Tiffany Kung i jej koledzy ze start-upu AnsibleHealth przetestowali możliwości ChatGPT poddając go USMLE, złożonemu, trzystopniowemu systemowi egzaminów weryfikujących wiedzę i umiejętności przyszłych lekarzy. Konieczność zdawania tych egzaminów dotyczy każdego, zarówno obywatela USA, jak i obcokrajowcy. Zdawany przez studentów medycyny i lekarzy-stażystów, USMLE ocenia wiedzę z większości dziedzin medycyny – od biochemii, przez diagnostykę, po bioetykę.
Po usunięciu pytań opartych na obrazach, autorzy sprawdzili ChatGPT na 350 z 376 pytań, które pojawiły się na USMLE w czerwcu 2022 roku. ChatGPT uzyskał wynik od 52,4 do 75 proc. we wszystkich trzech etapach. Aby zdać egzamin, trzeba uzyskać ok. 60 proc. w każdej z części. To oznacza, że ChatGPT teoretycznie “prawie” mógłby zostać lekarzem. Ale jak dobrze wiemy, prawie robi dużą różnicę.
Warto wspomnieć, że ChatGPT wykazał również zgodność 94,6 proc. wszystkich swoich odpowiedzi i był źródłem co najmniej jednego znaczącego wglądu klinicznego (coś, co było nowe, nieoczywiste i klinicznie ważne) w 88,9 proc. swoich odpowiedzi. ChatGPT pobił tym samym PubMedGPT, model sztucznej inteligencji wytrenowany wyłącznie na literaturze medycznej, który uzyskał wynik 50,8 proc. na starszym zestawie pytań w stylu USMLE.
Specjaliści z AnsibleHealth już teraz używają ChatGPT do przepisywania specjalistycznych raportów, aby ułatwić pacjentom ich zrozumienie. A możliwości wykorzystania ChatGPT w medycynie jest znacznie więcej – o wielu zastosowaniach jeszcze nie mamy pojęcia.
ChatGPT przyczynił się znacząco do napisania naszego manuskryptu. Współdziałaliśmy z ChatGPT jak z kolegą, prosząc go o syntezę, uproszczenie i oferowanie kontrapunktów do projektów w toku. Wszyscy współautorzy docenili wkład ChatGPT. Dr Tiffany Kung
