Jego głównym zadaniem ma być bowiem generowanie odpowiedzi w tej dziedzinie. Model łączy HealthSearchQA, czyli zbiór danych odpowiadających medycznym pytaniom zadawanym w sieci, z sześcioma innymi, otwartymi zbiorami danych, powiązanymi między innymi z egzaminami medycznymi. Med-PaLM jest przeznaczony do pytań wielokrotnego wyboru oraz zadawanych przez profesjonalistów i nieprofesjonalistów.
Czytaj też: Jest wege, przypomina soję i nie ma smaku. Sztuczne jedzenie wkrótce wyląduje na naszych talerzach
HealthsearchQA składa się z 3375 często zadawanych pytań i powstał przy udziale diagnoz medycznych oraz odpowiadających im objawów. Jak wyjaśniają twórcy, tzw. duże modele językowe oferują ogromne możliwości w zakresie rozumienia i generowania języka naturalnego, ale w przypadku zastosowań z zakresu medycyny poprzeczka jest zawieszona bardzo wysoko.
Model językowy Med-PaLM to owoc współpracy Google i DeepMind
Med-PaLM, choć osiąga imponujące wyniki, to wciąż nie jest w stanie przegonić ludzkich ekspertów. Mimo to tego typu rozwiązania mogą być bardzo przydatne w świecie medycyny. Tym bardziej, że nowy model jest znacznie skuteczniejszy niż na przykład Flan-PaLM. Ten pierwszy uzyskał bowiem 92,6% “aprobaty” od ludzkich ekspertów, którzy oceniali udzielane odpowiedzi, podczas gdy w przypadku drugiego wskaźnik wyniósł 61,9%.
Co równie istotne, zauważalny był znacznie niższy współczynnik potencjalnie niebezpiecznych odpowiedzi. We Flan-PaLM z takowe uznano 29,7% odpowiedzi, natomiast w Med-PaLM było to zaledwie 5,9%.
Imponujące wyniki uzyskane przez Med-PaLM mogą być znakiem rosnących zdolności modeli językowych. Wydajność modelu była bowiem zmienna w zależności od liczby parametrów w różnych modelach PaLM (od 8 do 540 miliardów). Samo skalowanie nie wystarcza jednak do osiągnięcia wysokiej wiarygodności odpowiedzi. Kluczowa jest prawdopodobnie nowo wprowadzona instrukcja.
Czytaj też: Chińczycy biorą się za sztuczną inteligencję. Nowe prawo wyznacza jasne granice
Wyniki Med-PaLM pokazują, że przy szybkim dostrajaniu instrukcji mamy skuteczną technikę wyrównywania poziomu danych i parametrów przydatną do poprawy czynników związanych z dokładnością, rzeczowością, spójnością, bezpieczeństwem, szkodliwością i stronniczością, wypełniając lukę z ekspertami klinicznymi i przybliżając te modele do zastosowań klinicznych w świecie rzeczywistym. podsumowują autorzy
