Un gruppo di ricercatori statunitensi ha cercato di stabilire il livello di preparazione di ChatGPT, popolare chat online basata su modelli di intelligenza artificiale, in cardiologia. Per farlo hanno rivolto al sistema informatico una serie di domande sui concetti fondamentali della prevenzione cardiovascolare, basati sui contenuti delle linee guida in tema di prevenzione e sulla propria esperienza clinica.
È uno degli argomenti del momento: forse non proprio adatto per una discussione al bar, ma evidentemente appassionante per i ricercatori e per la cosiddetta “medicina accademica”. Almeno a giudicare dalla quantità di articoli usciti nelle ultime settimane. Al JAMA gli hanno dedicato addirittura un editoriale a firma di alcuni degli editor di maggiore prestigio, sostanzialmente per mettere in guardia gli autori: come a dire “se lo usate, vi becchiamo e peggio per voi” (1).
Parliamo di ChatGPT un “open source, natural language processing tool” di intelligenza artificiale che tra le molte applicazioni che promette potrebbe annoverare anche quella di saper scrivere articoli scientifici. Come leggiamo in un commento uscito su Nature (2), “ricercatori e non solo hanno già utilizzato ChatGPT e altri modelli linguistici di grandi dimensioni per scrivere articoli e relazioni a convegni, sintetizzare la letteratura, redigere e migliorare i documenti, nonché identificare le lacune della ricerca e scrivere codici informatici, comprese le analisi statistiche. Presto questa tecnologia si evolverà al punto da poter progettare sperimentazioni, scrivere e completare manoscritti, condurre peer review e supportare le decisioni editoriali di accettazione o rifiuto dei manoscritti. L’intelligenza artificiale – concludono – probabilmente rivoluzionerà le pratiche della ricerca e i percorsi della pubblicazione scientifica, creando sia opportunità che preoccupazioni.”
Ci siamo: opportunità e preoccupazioni.
Autori della Cleveland Clinic e della Stanford University hanno pensato fosse arrivata l’ora di mettere alla prova ChatGPT su un compito diverso: quello di informare cittadini e pazienti (3). Per farlo, hanno creato 25 domande che centrate sui concetti fondamentali della prevenzione cardiovascolare tra cui i fattori di rischio, i risultati dei test diagnostici e le informazioni sui farmaci, basandosi sui contenuti delle linee guida in tema di prevenzione e sulla propria esperienza clinica. Invece di rivolgersi a un collega notoriamente esperto, questi sono stati rivolti a ChatGPT registrando le risposte e dandole in valutazione a gruppi di tre ad altrettanti medici esperti di cardiologia preventiva che hanno classificato ogni serie di risposte come “appropriate” o “inappropriate” in base al loro giudizio clinico e al contenuto della risposta o come “inaffidabili” se le 3 risposte erano incoerenti tra loro. L’insieme di risposte è stato classificato come inappropriato se una qualsiasi delle tre risposte conteneva informazioni giudicate negativamente.
Alla fine, più preoccupazioni che opportunità intraviste.
Nella Discussione dell’articolo gli autori prendono a esempio la risposta alle domande sull’esercizio fisico che raccomandavano sia l’attività cardiovascolare sia il… sollevamento pesi, attività non esattamente ideale per alcuni pazienti. Ancora, l’incompletezza delle risposte sull’interpretazione di livelli di colesterolo LDL di 200 mg/dL che non accennavano all’ipercolesterolemia familiare e mancavano di considerazioni genetiche. Infine, sembra anche che ChatGPT non abbia ricevuto visite da informatori farmaceutici: per lui, inclisiran non è ancora disponibile in commercio.
Trarre conclusioni su una materia come questa sarebbe ingenuo. È sicuro che nel tempo di scrittura di questa nota e ancor più della sua pubblicazione, ChatGPT non solo avrà conosciuto disponibilità, indicazioni e costo di inclisiran ma il sistema di machine learning che lo istruisce avrà anche provveduto ad affinare il resto delle sue conoscenze. Più divertente chiedersi se gli skills circa i quali la comunità scientifica sta mettendo alla prova l’intelligenza artificiale non siano quelli più indigesti ai medici: scrivere articoli, fare la peer review, informare i pazienti. Incombenze magari noiose, ma davvero importanti.
Bigliografia
1. Flanagin A, Bibbins-Domingo K, Berkwits M, Christiansen SL. Nonhuman “Authors” and Implications for the Integrity of Scientific Publication and Medical Knowledge. JAMA 2023; doi:10.1001/jama.2023.1344.
2. Van dis EAM, et al. ChatGPT: five priorities for research. Nature 2023; 614, 224-6.
3. Sarraju A, Bruemmer D, Van Iterson E, et al. Appropriateness of Cardiovascular Disease Prevention Recommendations Obtained From a Popular Online Chat-Based Artificial Intelligence Model. JAMA. Published online February 03, 2023. doi:10.1001/jama.2023.1044.
