Neseniai žurnale „The Annals of Family Medicine“ paskelbtame tyrime mokslininkai įvertino „Chat Generative Pretrained Transformer“ (ChatGPT) veiksmingumą apibendrinant medicinines santraukas, padedančias gydytojams. Tyrimu buvo siekiama nustatyti „ChatGPT“ sugeneruotų suvestinių kokybę, tikslumą ir šališkumą, suteikiant įžvalgų apie jos, kaip įrankio, skirto dideliam medicininės literatūros kiekiui, potencialą, esant laiko apribojimams, su kuriais susiduria sveikatos priežiūros specialistai.
Aukšti kokybės ir tikslumo įvertinimai
Tyrimas naudojo ChatGPT, kad sutrauktų 140 medicininių santraukų iš 14 įvairių žurnalų, sumažinant turinį vidutiniškai 70%. Nepaisant kai kurių netikslumų ir haliucinacijų, aptiktų nedidelėje suvestinių dalyje, gydytojai labai gerai įvertino suvestinių kokybę ir tikslumą. Išvados rodo, kad „ChatGPT“ gali padėti gydytojams efektyviai peržiūrėti medicininę literatūrą, pasiūlyti glaustas ir tikslias santraukas, kartu su didžiuliu informacijos kiekiu.
Tyrėjai atrinko po 10 straipsnių iš kiekvieno iš 14 žurnalų, apimančių įvairias medicinos temas ir struktūras. Jie pavedė ChatGPT apibendrinti šiuos straipsnius ir įvertino sugeneruotas santraukas dėl kokybės, tikslumo, šališkumo ir tinkamumo dešimtyje medicinos sričių. Tyrimas parodė, kad „ChatGPT“ sėkmingai sutrumpino medicinines santraukas vidutiniškai 70 proc., todėl gydytojų apžvalgininkai įvertino aukštus kokybės ir tikslumo įvertinimus.
Poveikis sveikatos priežiūrai
Nepaisant aukštų įvertinimų, tyrimas nustatė rimtų netikslumų ir haliucinacijų nedaugelyje suvestinių. Šios klaidos svyravo nuo praleistų kritinių duomenų iki klaidingų tyrimų planų interpretacijų, kurios gali pakeisti tyrimo išvadų interpretaciją. Tačiau „ChatGPT“ rezultatai apibendrinant medicinines santraukas buvo laikomi patikimais, stebint minimalų šališkumą.
Nors ChatGPT parodė tvirtą suderinimą su žmonių vertinimais žurnalo lygiu, jo rezultatai nustatant atskirų straipsnių tinkamumą konkrečioms medicinos specialybėms buvo mažiau įspūdingi. Šis neatitikimas išryškino „ChatGPT“ gebėjimo tiksliai nustatyti atskirų straipsnių svarbą platesniame medicinos specialybių kontekste apribojimą.
Tyrimas suteikia vertingų įžvalgų apie AI, ypač ChatGPT, potencialą padedant gydytojams efektyviai peržiūrėti medicininę literatūrą. Nors „ChatGPT“ rodo daug žadą aukštos kokybės ir tiksliai apibendrindama medicinines santraukas, reikia atlikti tolesnius tyrimus, kad būtų pašalinti apribojimai ir pagerintas jo veikimas konkrečiose medicinos srityse.
Būsimi tyrimai galėtų būti skirti tobulinti ChatGPT gebėjimą atpažinti atskirų straipsnių svarbą konkrečioms medicinos specialybėms. Be to, pastangos sumažinti sugeneruotų suvestinių netikslumus ir haliucinacijas galėtų dar labiau padidinti AI įrankių naudingumą sveikatos priežiūros įstaigose.
Šaltinis: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/