Doximity, Inc. (NYSE: DOCS), la principale piattaforma digitale per professionisti medici statunitensi, ha annunciato oggi di essere stata nominata partner fondatore nel lancio di un nuovo Indice di Intelligenza Specializzata di benchmark AI principali compilato da Fireworks, la piattaforma di addestramento e inferenza AI.
In occasione del lancio, Doximity sta pubblicando un nuovo benchmark open-source per misurare l'AI di livello clinico. Chiamato Bedside Bench, il benchmark è stato costruito per testare la capacità dell'AI di essere un partner fidato per i medici dove conta di più: al letto del paziente.
Bedside Bench è una delle valutazioni specifiche del dominio incluse nel nuovo Indice di Fireworks. Oltre alla medicina clinica, l'Indice include benchmark sviluppati con Harvey per il diritto e Sierra per l'assistenza clienti.
Un Test Più Realistico per l'AI di Livello Clinico
I casi di Bedside Bench enfatizzano le aree che i medici e gli sviluppatori di AI hanno identificato come aventi il maggior impatto nella pratica. Mentre i benchmark tradizionali di AI clinica spesso utilizzano domande a scelta multipla per misurare il richiamo, Bedside Bench utilizza scenari clinici in modo da misurare più da vicino le prestazioni della vita reale. Le aree di test includono:
- Domande sulla sicurezza dei farmaci in cui piccoli errori possono avere conseguenze significative per la salute
- Capacità di applicare correttamente prove specifiche dalle linee guida e dagli studi sui farmaci
- Domande aperte con più risposte ragionevoli ma con differenze importanti completezza e sicurezza
- Prompt contenenti farmaci inventati o studi e trial inesistenti
- Domande progettate per scoprire errori di equità sanitaria e pregiudizi
- La capacità di includere azioni importanti da una lunga lista di opzioni mentre se ne evitano inappropriate
Risultati Eccezionali per Doximity Ask
Quando valutato indipendentemente da Fireworks, Doximity Ask si è classificato primo rispetto ai modelli di frontiera. Questo risultato segue il superamento di tutti gli altri modelli statunitensi da parte di Doximity Ask nello studio indipendente NOHARM di luglio, condotto da ricercatori di Stanford e Harvard. Ciò fornisce un altro segnale che i sistemi AI costruiti specificamente per la medicina superano i principali modelli di frontiera a uso generico sulle clinicamente rilevanti.
Il Dr. Louis-Antoine Mullie, Head of Medical AI di Doximity, ha dichiarato: "I clinici devono sapere se un sistema AI può essere fidato sulle decisioni che sorgono effettivamente nella pratica. Bedside Bench è stato costruito intorno a compiti clinici validati dai medici e del mondo reale e ai rischi che contano di più in medicina, dalla sicurezza dei farmaci alle azioni mancate e all'uso errato delle prove".
Su Doximity
Fondata nel 2010, Doximity è la principale piattaforma digitale per professionisti medici statunitensi. I membri della rete della società includono oltre l'85% dei medici statunitensi. Con capacità di riferimento clinico e ricerca alimentate da AI, Doximity aiuta i medici ad accedere a informazioni e letteratura medica attendibili e revisionate dai pari. La missione di Doximity è aiutare i medici ad essere più produttivi in modo possano fornire cure migliori per i loro pazienti.