Un team di ricercatori ha sottoposto ChatGPT all’esame di licenza medica previsto negli Stati Uniti. Il chatbot di Open AI non solo ha superato la prova, ma ha anche dimostrato di poter supportare le sue risposte attraverso spiegazioni e deduzioni logiche.
Lo United States Medical Licensing Examination (USMLE) consiste in tre test che integrano domande multidisciplinari su diverse aree di competenza, come scienza medica di base, ragionamento clinico e bioetica. L’USMLE è utilizzato dal 1992 per valutare conoscenze e competenze da parte degli studenti di medicina e medici tirocinanti. Più di 100000 studenti e dottorandi sostengono il test ogni anno per poter esercitare la professione medica negli Stati Uniti.
ChatGPT ha risposto a 350 quesiti, selezionate dall’esame USMLE di giugno 2022, affrontando domande a risposta aperta, domande a scelta multipla e domande dove la risposta doveva essere giustificata. Sono state escluse quelle basate sulle immagini. Il chatbot di OpenAI ha ottenuto un punteggio tra il 52,4 e il 75% del totale (la soglia di superamento dell’esame è di circa il 60%), ha fornito risposte e spiegazioni con una concordanza superiore al 90% in tutte le domande e ha generato intuizioni significative, non ovvie e clinicamente valide.
I risultati hanno superato le prestazioni di PubMedGPT, un modello AI addestrato specificatamente in campo biomedico, che ha ottenuto un punteggio pari al 50,8%.
Per gli autori del test il chatbot “possiede la capacità parziale di insegnare medicina facendo emergere concetti nuovi e non ovvi che potrebbero non essere nella sfera di consapevolezza degli studenti”.
Un risultato eccezionale che dimostra come il potenziale di applicazione del sistema AI spazia dall’educazione medica fino alla pratica clinica.
Secondo la dott.ssa Tiffany Kung, autrice dello studio, l’esperimento suggerisce che modelli linguistici come ChatGPT potrebbero potenzialmente assistere gli studenti in situazioni di istruzione medica, come preludio alla futura integrazione nel processo decisionale clinico.
ChatGPT è già utilizzato per rendere i rapporti medici e tecnici più comprensibili per i pazienti. Gli stessi autori hanno interagito col sistema chiedendogli di sintetizzare e semplificare determinati passaggi del paper scientifico. E tutti hanno apprezzato gli input forniti dal chatbot.
Il dott. Stuart Armstrong, co-fondatore e capo ricercatore di Aligned AI, ritiene che “questa sia una prestazione impressionante e dovremmo aspettarci di vedere altri successi simili nell’IA in futuro”.
Ci sono molte aree in cui gli esseri umani sono più efficaci dei sistemi di Intelligenza Artificiale, ma questa superiorità si assottiglierà man mano che queste tecnologie progrediranno, ampliando così i domini applicativi in cui l’AI potrà fare la differenza.