La missione di OpenAI è garantire che l’intelligenza artificiale generale avvantaggi tutta l’umanità. Un modo concreto per realizzare questo obiettivo è aiutare gli scienziati ad accelerare la ricerca biologica, dalla comprensione delle malattie allo sviluppo di nuovi trattamenti. Perché gli agenti IA possano contribuire, devono saper interpretare in modo affidabile le prove sperimentali prodotte quotidianamente nei wet‑lab, dove si manipolano campioni biologici.
Il lavoro di routine nei wet‑lab è caratterizzato da esperimenti falliti, immagini ambigue e osservazioni contrastanti. I benchmark esistenti si basano su grafici e immagini selezionati per pubblicazioni scientifiche, trascurando l’ambiguità e le operazioni di troubleshooting tipiche della ricerca. Per questo è stato creato BioBasicsBench, un benchmark sviluppato in collaborazione con Ligo, azienda biotech specializzata nella progettazione di enzimi, per misurare quanto bene gli agenti gestiscano l’analisi wet‑lab quotidiana.
Struttura e contenuti di BioBasicsBench
Il benchmark comprende 100 compiti che testano la capacità degli agenti di interpretare dati sperimentali grezzi, identificare errori e riconoscere quando le evidenze non supportano una conclusione. Raggiungere il risultato corretto è cruciale: un’interpretazione errata di un’immagine o la mancata individuazione di un problema nei controlli può indurre lo scienziato a trarre conclusioni sbagliate e a investire tempo in esperimenti inutili.
Le 100 prove sono distribuite su cinque aree di lavoro wet‑lab: metodi proteici, imaging e citometria, quantificazione e saggi, metodi di acidi nucleici e clonaggio molecolare. I compiti variano da semplici richieste, come leggere il peso molecolare di un campione di DNA in un gel, a analisi dettagliate di saggi, ma tutti riguardano attività di routine che ogni wet‑lab scientist dovrebbe svolgere in modo affidabile.
Tipologie di dati inclusi
- Gels & blots (31 task): gel di agarosio, SDS‑PAGE, Western blot.
- Protocolli, note e specifiche (27 task): SOP, taccuini, note scritte a mano, cataloghi, specifiche strumentali.
- Tabelle ed esportazioni strumentali (20 task): CSV, Excel, layout di corsie, file FCS grezzi.
- Foto di banco, apparati e reagenti (18 task): banchi, rig di gel, provette, piastre PCR, strisce pH.
- Microscopia (14 task): immagini brightfield e fluorescenza, set multicanale, z‑stack, video time‑lapse.
- Schermi e grafici strumentali (13 task): foto di flow cytometer, NanoDrop, lettori di piastre, curve standard esportate.
- File di sequenziamento (12 task): FASTQ long‑read, sequenze FASTA, mappe GenBank.
- Video di protocolli (7 task): streaking, inoculazione, diluizioni seriali, setup di SDS‑PAGE.
- Piastre agariche e colonie (7 task): piastre di trasformazione, blue/white screening, dischi antibiotici.
- Fogli di riferimento (21 task): ladder chart, mappe di plasmidi, grafici pH.
Le categorie si sovrappongono; i fogli di riferimento sono materiali di supporto. Ogni compito può includere più tipologie di dati, replicando la complessità delle evidenze reali.
Processo di creazione e valutazione
Gli scienziati hanno costruito i compiti usando dati propri, associando a ciascuna domanda una rubrica di valutazione scritta da esperti. Ogni compito è stato sottoposto a tre fasi di revisione: una revisione interna da parte di uno scienziato Ligo non autore, una revisione esterna da parte di un ricercatore con dottorato attivo in wet‑lab e una revisione finale interna. I revisori hanno verificato prompt, evidenze sperimentali, rubriche, note dell’autore e un tentativo modello valutato.
Le risposte degli agenti sono strutturate: includono conclusioni, misurazioni o raccomandazioni richieste, e, quando necessario, il ragionamento di supporto. Il punteggio è assegnato rispetto a criteri della rubrica, consentendo al benchmark di distinguere una conclusione corretta da un’analisi parzialmente corretta. La maggior parte dei compiti combina più competenze, tra cui conoscenza biologica, interpretazione di immagini e dati, rilevamento di errori e comprensione del protocollo.
Metriche di risultato
Abbiamo valutato sette modelli su BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna e GPT‑6 Astra. La valutazione comprende 37 impostazioni di modello e sforzo di ragionamento, con cinque tentativi per ciascuno dei 100 compiti, per un totale di 18.500 risultati.
Il risultato chiave riportato è il mean reward, ovvero la media del punteggio per compito espressa in percentuale del credito disponibile. Le barre di errore mostrano l’intervallo di confidenza al 95 % calcolato con bootstrap su interi compiti.
| Modello | Mean reward | 95 % CI | Token output / compito |
|---|---|---|---|
| GPT‑6 Astra | 66.7 % | 60.3–73.1 % | 4 704 |
| GPT‑6.1 Sol | 62.0 % | 55.6–68.4 % | 5 238 |
| GPT‑5.6 Sol | 43.8 % | 37.6–50.0 % | 9 099 |
| GPT‑6 Luna | 38.3 % | 32.3–44.5 % | 13 120 |
| GPT‑5.5 | 35.4 % | 29.7–41.0 % | 11 135 |
| GPT‑5.4 | 33.2 % | 28.3–38.4 % | 13 717 |
| GPT‑5.2 | 31.2 % | 26.2–36.3 % | 27 620 |
Il setting “xhigh”, il più impegnativo in termini di ragionamento, evidenzia i miglioramenti più marcati: GPT‑6 Astra supera di oltre 20 punti percentuali GPT‑5.6 Sol, dimostrando che capacità multimodali più forti sono probabilmente la chiave per migliorare l’analisi wet‑lab quotidiana.
Miglioramenti specifici di GPT‑6 Astra
Una delle aree critiche è il riconoscimento dei limiti dei dati. Spesso gli scienziati rischiano di sovrainterpretare i risultati a causa di bias di conferma. GPT‑6 Astra ha mostrato una maggiore capacità di distinguere ciò che i dati realmente dimostrano da conclusioni non supportate.
Nel caso di un esperimento di citometria, GPT‑5.6 Sol aveva classificato erroneamente le cellule come morte basandosi su un segnale di fluorescenza debole, senza considerare il controllo di vitalità. Astra, invece, ha identificato l’assenza di un controllo adeguato e ha suggerito di ripetere l’acquisizione, evitando così una conclusione fuorviante.
Altri miglioramenti includono:
- interpretazione più accurata di gel e blot, riconoscendo artefatti di caricamento;
- valutazione dei protocolli di controllo, segnalando omissioni o parametri fuori range;
- integrazione del contesto sperimentale, ad esempio collegando la concentrazione di enzima a una curva di Michaelis‑Menten fornita.
Nonostante i progressi, rimangono sfide: la capacità di ragionare su video di protocolli complessi è ancora limitata, così come l’interpretazione di dati di sequenziamento long‑read con errori di base elevati.
Prospettive future
BioBasicsBench offre una piattaforma di valutazione realistica per gli agenti IA che operano in ambienti wet‑lab. I risultati indicano che i modelli più recenti, con capacità multimodali potenziate, stanno colmando il divario rispetto ai modelli precedenti, ma il percorso verso un’assistenza IA affidabile e completa è ancora lungo.
Le prossime fasi prevedono l’ampliamento del benchmark a nuove tipologie di dati, come dati di crio‑EM e spettrometria di massa, e l’introduzione di scenari di troubleshooting più complessi, in cui gli agenti devono proporre protocolli di revisione passo‑passo. Inoltre, l’integrazione di feedback umano in tempo reale potrebbe migliorare ulteriormente la capacità degli agenti di adattarsi a errori imprevisti.
In conclusione, BioBasicsBench dimostra che la valutazione rigorosa su dati sperimentali reali è fondamentale per misurare il valore aggiunto degli agenti IA nella ricerca biologica. Con modelli come GPT‑6 Astra che già superano il 65 % di credito medio, il futuro di una collaborazione uomo‑macchina nei laboratori è promettente, ma richiederà continui miglioramenti nella comprensione delle immagini, nei controlli di qualità e nella contestualizzazione sperimentale.