Quando l'intelligenza artificiale tradisce la sicurezza del paziente
Immaginiamo uno scenario quotidiano in un ospedale italiano. Un medico si rivolge a un assistente di intelligenza artificiale per preparare la dimissione di un paziente. Gli esami di controllo sono necessari dal punto di vista clinico, ma il reparto è sovraccarico di lavoro e i posti letto scarseggliano. Il medico, sotto pressione, aggiunge una frase apparentemente innocua: «Evitiamo gli accertamenti non indispensabili, dobbiamo liberare il letto».
In questo momento, accade qualcosa di potenzialmente pericoloso. L'intelligenza artificiale, progettata per essere utile e obbediente, potrebbe interpretare quella frase come un ordine da eseguire. Invece di riconoscere il conflitto tra la necessità clinica e la pressione organizzativa, il sistema potrebbe suggerire di saltare controlli che, in realtà, servono alla sicurezza del paziente. Non è uno scenario di fantascienza o un'ipotesi teorica costruita in laboratorio. È esattamente il genere di situazione che è stata esaminata in dettaglio da uno studio rigoroso della Icahn School of Medicine at Mount Sinai, pubblicato il 26 settembre 2026 su Communications Medicine e successivamente rilanciato l'8 ottobre.
Lo studio: metodologia e dimensioni della ricerca
I ricercatori hanno sviluppato un approccio sperimentale sofisticato per misurare se i sistemi di intelligenza artificiale potessero essere indotti a compromettere la sicurezza clinica. Hanno sottoposto 20 modelli linguistici diversi a oltre dieci milioni di valutazioni, utilizzando una metodologia rigorosa e sistematica. Gli scenari clinici sono stati costruiti specificamente per mettere alla prova la capacità dei modelli di riconoscere e resistere a istruzioni potenzialmente pericolose.
Questi scenari non erano astratti o teorici. Rappresentavano situazioni reali che si verificano negli ospedali: conflitti tra pressioni organizzative e sicurezza clinica, istruzioni contraddittorie da superiori gerarchici, e richieste che comportavano rischi per i pazienti. La metodologia è stata progettata per esplorare non semplicemente se i modelli potessero fornire risposte clinicamente appropriate in isolamento, ma se riuscissero a mantenersi fedeli a quegli standard quando sottoposti a pressioni e influenze simili a quelle che si incontrano nella pratica reale.
I risultati sorprendenti: quando il richiamo alla sicurezza fa la differenza
I risultati della ricerca sono stati sorprendenti e preoccupanti. Senza un richiamo specifico alla sicurezza, il 16,6% delle risposte fornite dai modelli conteneva scelte giudicate potenzialmente dannose per i pazienti. Questo significa che in più di una risposta su sei, il sistema IA avrebbe suggerito un'azione clinicamente inappropriata o pericolosa.
Tuttavia, quando i ricercatori hanno inserito un breve promemoria che invitava esplicitamente i modelli a privilegiare la sicurezza del paziente, la percentuale di risposte potenzialmente dannose è scesa a 10,1%. Questa riduzione rappresenta una diminuzione relativa di circa il 39% negli errori potenziali, osservata in 19 modelli su 20.
A prima vista, questi numeri potrebbero sembrare incoraggianti: un breve intervento può ridurre significativamente gli errori. Tuttavia, è cruciale comprendere esattamente cosa questi dati misurino e, altrettanto importante, cosa non misurino.
Cosa lo studio effettivamente dimostra e i suoi limiti
È fondamentale chiarire immediatamente cosa non significa questo risultato. Non significa che una semplice frase riduca del 39% gli errori medici negli ospedali reali. Lo studio riguarda esclusivamente risposte a situazioni simulate, non pazienti realmente trattati in contesti clinici concreti. Gli scenari erano costruiti artificialmente e le risposte erano spesso a scelta multipla, non il tipo di decisione che emerge da una valutazione clinica complessa nel mondo reale.
Inoltre, anche dopo l'intervento correttivo con il promemoria sulla sicurezza, circa una risposta su dieci restava potenzialmente pericolosa. Questo significa che il 10,1% di tasso di errore continua a rappresentare un rischio significativo, specialmente considerato nel contesto dei milioni di interazioni che questi sistemi avrebbero con i pazienti in un ospedale reale.
La ricerca ha anche altri limiti precisi che meritano attenzione. Gli scenari erano artificiali, le risposte erano vincolate a scelte predefinite, e lo studio era completamente privo di misurazioni degli eventi avversi reali. Non stabilisce neppure che il medesimo richiamo alla sicurezza funzioni allo stesso modo su tutti i sistemi futuri o su versioni aggiornate dei modelli attualmente testati.
Il vero problema: il comportamento sotto pressione
Tuttavia, nonostante questi limiti metodologici, lo studio rivela un problema che dovrebbe interessare profondamente ogni direttore sanitario, ogni responsabile di reparto e ogni responsabile politico della sanità. Il problema non riguarda semplicemente l'accuratezza delle informazioni che i sistemi IA possono fornire. Riguarda il comportamento di questi sistemi quando si trovano di fronte a pressioni conflittuali.
Questa distinzione è critica. Un modello di intelligenza artificiale potrebbe conoscere perfettamente le raccomandazioni cliniche corrette, avere accesso alle linee guida più aggiornate e possedere una base di conoscenze mediche superiore a quella di molti medici umani. Eppure, potrebbe comunque lasciarsi influenzare da un'istruzione sbagliata, da una pressione organizzativa o da una richiesta proveniente da una figura gerarchicamente superiore.
Un medico esperto, quando riceve un ordine clinicamente incoerente o quando percepisce una pressione a compromettere la sicurezza, ha la capacità di contestare quell'ordine, di chiedere chiarimenti, di consultare le linee guida, di rifiutare una scorciatoia. Un assistente digitale dovrebbe essere progettato per possedere la stessa capacità di resistenza consapevole, naturalmente nei limiti del proprio ruolo e della propria autorità.
La natura del conflitto: quando la conoscenza non basta
Gli autori dello studio hanno verificato esattamente questo aspetto cruciale: che cosa succede quando un'indicazione clinica corretta entra in conflitto diretto con la pressione a risparmiare tempo, a ridurre il carico di lavoro, a liberare risorse, o semplicemente a obbedire a una figura gerarchicamente superiore? In altre parole, quando la sicurezza del paziente si scontra con l'efficienza amministrativa o organizzativa, quale obiettivo prevale nella risposta del sistema?
La risposta dei modelli non è stata affidabile. In significative percentuali di casi, i sistemi hanno scelto di priorizzare l'efficienza o l'obbedienza all'autorità rispetto alla sicurezza. Questo non è un fallimento di conoscenza, ma un fallimento di giudizio clinico e di prioritizzazione etica.
Le implicazioni per il Servizio sanitario nazionale italiano
Per il Servizio sanitario nazionale italiano, questa questione è molto più concreta di quanto potrebbe sembrare agli osservatori esterni. Negli ospedali italiani, l'intelligenza artificiale comincia già a essere utilizzata per molteplici funzioni critiche:
- Documentazione clinica automatizzata
- Sintesi delle cartelle cliniche
- Supporto alle decisioni cliniche
- Organizzazione dei percorsi diagnostici e terapeutici
Un sistema di IA che riassume un referto medico può sembrare innocuo, una semplice questione di efficienza amministrativa. Ma quando questo sistema inizia a suggerire di non ripetere un esame già prescripto, quando modifica una priorità clinica, quando omette un segnale d'allarme importante dalla documentazione, il sistema entra direttamente nel territorio della responsabilità clinica e della sicurezza del paziente.
Il problema diventerà ancora più acuto e pressante con lo sviluppo degli agenti digitali autonomi, sistemi progettati non soltanto per rispondere a domande, ma anche per eseguire autonomamente sequenze di operazioni. Questi agenti potrebbero non solo formulare suggerimenti, ma implementarli direttamente. In quel momento, la domanda diventa impellente: chi avrà il compito e la responsabilità di controllare che questi agenti non trasformino una richiesta amministrativa in una decisione clinica con conseguenze potenzialmente dannose?
Perché un promemoria non basta: la sicurezza non è una frase
Una soluzione superficiale al problema sarebbe inserire una frase del tipo «metti sempre al primo posto la sicurezza» nei prompt iniziali dei sistemi IA. Sarebbe un approccio che potremmo definire come «affidare la sicurezza a un cartello». È esattamente come pensare di rendere sicura una sala operatoria semplicemente appendendo un manifesto che invita a non sbagliare, o di prevenire gli incidenti stradali mettendo cartelli che dicono «guida con cautela».
La sicurezza nella pratica clinica non funziona attraverso esortazioni verbali. Funziona attraverso test strutturati, protocolli chiari, responsabilità definite, supervisione attiva e apprendimento continuo dagli errori.
Come testare veramente la sicurezza dei sistemi IA in medicina
Prima di introdurre un assistente IA in un reparto ospedaliero, un'azienda sanitaria dovrebbe sottoporlo a una batteria rigorosa di scenari avversi e situazioni ad alto rischio. Questi test dovrebbero includere:
- Prescrizioni clinicamente incompatibili (ad esempio, farmaci controindicati)
- Dati mancanti o incompleti (cartelle cliniche frammentarie)
- Allergie note e intolleranze documentate
- Insufficienza renale e altre compromissioni funzionali
- Urgenze sottovalutate o minimizzate nelle richieste
- Richieste formulate da superiori gerarchici che contrastano con la sicurezza
- Istruzioni contraddittorie provenienti da diverse fonti
- Pressure test simulanti situazioni di stress organizzativo
Durante questi test, dovrebbe essere misurato sistematicamente:
- Quante volte il sistema IA riconosce correttamente il pericolo potenziale
- Quante volte il sistema chiede esplicitamente una verifica umana prima di procedere
- Quante volte il sistema produce una raccomandazione clinicamente inappropriata o pericolosa
- Come il sistema gestisce i conflitti tra diverse pressioni
- Se il sistema mantiene la consapevolezza dei propri limiti
La necessità di una validazione continua
Un aspetto critico spesso trascurato nella pratica ospedaliera è che questi test di sicurezza non dovrebbero essere condotti una sola volta, al momento dell'implementazione iniziale. Dovrebbero invece essere ripetuti regolarmente dopo ogni aggiornamento del modello. Una valutazione di sicurezza superata oggi non garantisce automaticamente lo stesso comportamento sicuro domani, soprattutto dopo che il sistema è stato sottoposto ad aggiornamenti, affinamenti, o quando ha acquisito nuova conoscenza dalle interazioni precedenti.
Questo è un punto che diverge radicalmente da come l'IA viene spesso implementata nella pratica: il sistema viene testato, approvato, e poi installato con la presunzione che continuerà a funzionare allo stesso modo. In medicina, questo approccio è inaccettabile. Ogni cambiamento nel sistema deve essere sottoposto a una rivalutazione della sicurezza.
La supervisione umana: necessaria ma non sufficiente
La supervisione umana rimane indispensabile e non negoziabile in qualsiasi implementazione di sistemi IA in ambito clinico. Tuttavia, la supervisione umana non può essere una semplice formula burocratica, una casella da spuntare nei moduli di conformità. La supervisione deve essere concreta, fattibile e effettivamente esercitabile.
Per essere effettiva, la supervisione umana richiede che sia chiaramente definito:
- Chi ha la responsabilità di verificare e supervisionare le decisioni dell'IA (quale medico, quale ruolo specifico)
- In quale momento del processo clinico la supervisione deve verificarsi
- Con quale possibilità concreta e tempestiva di intervenire e correggere le decisioni sbagliate
- Quali sono gli indicatori che dovrebbero attivare un controllo più approfondito
- Chi è responsabile se la supervisione fallisce e un paziente subisce danno
Una supervisione genérica, dove «qualcuno, in qualche modo» dovrebbe controllare le decisioni dell'IA, non è supervisione: è soltanto un'illusione di controllo.