Contesto e motivazione dello studio
La scelta del protocollo di risonanza magnetica (MRI) è tradizionalmente un processo manuale, che richiede una profonda conoscenza della fisica MRI, dell’anatomia e della patologia. Come evidenziato dalla dottoressa Zeynep Bendella del dipartimento di neuroradiologia dell’Universitätsklinikum Bonn, questa attività è dispendiosa in termini di tempo e soggetta a giudizi soggettivi e a standard istituzionali variabili.
Tali variazioni possono portare a protocolli eterogenei, qualità d’immagine incoerente e a esami incompleti o eccessivamente lunghi, con il rischio di errori diagnostici o ritardi.
Metodologia della valutazione
I ricercatori hanno testato quattro LLM open‑weight su 1 200 moduli di riferimento per MRI consecutivi. Ogni modello ha ricevuto il testo della richiesta e ha dovuto selezionare, da elenchi predefiniti, il protocollo istituzionale e le sequenze opzionali. Come riferimento è stato utilizzato il consenso di due radiologi certificati.
Modelli valutati
- GPT‑OSS‑120B
- Qwen3‑235B‑A22B‑Instruct‑2507
- MedGemma‑27B‑Text‑IT (modello medico)
- Gemma‑3‑27B‑IT
Risultati di accuratezza
I due modelli generali più grandi, GPT‑OSS‑120B e Qwen3‑235B‑A22B‑Instruct‑2507, hanno raggiunto il 94 % di accuratezza nella scelta del protocollo, dimostrando una forte concordanza con le decisioni degli esperti. MedGemma‑27B‑Text‑IT ha ottenuto il 79 % di accuratezza, mentre Gemma‑3‑27B‑IT il risultato più basso, con il 58 %.
Frequenza di selezioni inaccettabili
- GPT‑OSS: 70 selezioni inaccettabili (5,8 %)
- Qwen3: 71 selezioni inaccettabili (5,9 %)
- MedGemma: 24,7 % di errori
- Gemma‑3: 68,3 % di errori
Tipologia di errori
Tra le scelte inaccettabili, l’errore più comune è stato quello di proporre un protocollo anatomicamente corretto ma clinicamente subottimale, rappresentando dal 57,7 % al 70,7 % degli errori a seconda del modello. Altri errori hanno riguardato la selezione della regione anatomica sbagliata o problemi limitati alle sequenze opzionali.
Durata stimata degli esami
GPT‑OSS ha prodotto stime di durata più allineate con le raccomandazioni dei radiologi, mentre Qwen3 tendeva a suggerire protocolli più brevi. Al contrario, Gemma‑3 e MedGemma hanno proposto protocolli con durate significativamente più lunghe.
Considerazioni e limiti
Pur mostrando risultati promettenti, gli autori sottolineano che la variabilità dei risultati e la presenza di scelte inaccettabili evidenziano i rischi di affidarsi a raccomandazioni automatizzate senza supervisione clinica.
Ulteriori studi saranno necessari per validare l’integrazione di questi modelli nei flussi di lavoro radiologici e per definire meccanismi di controllo che garantiscano la sicurezza del paziente.