Introduzione al problema della novità nella ricerca automatizzata

All’Ai2 stiamo sviluppando sistemi di intelligenza artificiale che supportano diverse fasi della scoperta scientifica. DataVoyager aiuta i ricercatori a esplorare e analizzare dati strutturati, AutoDiscovery genera e testa ipotesi, e Theorizer sintetizza evidenze da grandi corpora di letteratura per formulare teorie candidate. Insieme a Asta, questi progetti puntano a creare strumenti capaci di guidare i ricercatori dal comprendere il lavoro pregresso alla proposizione, al test e al perfezionamento di nuove idee.

La generazione di idee di ricerca è solo una parte della sfida. Per automatizzare realmente la scoperta, le idee proposte devono contribuire in modo genuino, cioè introdurre qualcosa di nuovo rispetto allo stato dell’arte. Questo richiede un meccanismo di valutazione capace di distinguere una direzione veramente innovativa da una che si limita a rimodulare lavori esistenti.

I “novelty judge”: LLM al servizio della valutazione della novità

Spesso il compito di giudicare la novità viene affidato a un altro LLM, definito novelty judge. Un novelty judge valuta se un’idea di ricerca è nuova rispetto al lavoro precedente, sia in modo assoluto sia in confronto con un’altra idea. Non esiste uno standard consolidato per costruire tali giudici: i team di ricerca scelgono modello, prompt, formato di valutazione, budget di ragionamento e, talvolta, un sistema di recupero della letteratura. Queste scelte influenzano materialmente il verdetto, ma i giudici sono spesso validati solo su articoli scritti da umani, non su idee generate dall’IA che sono il loro vero target.

Il nostro nuovo benchmark, accompagnato da dati, codice e una pipeline automatizzata per creare nuovi set di valutazione, dimostra che la valutazione della novità è tuttora molto inaffidabile.

Risultati preliminari: sensibilità estrema alle impostazioni

Sei LLM giudici testati: GPT‑5.1, GPT‑5.2, GPT‑5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6.
Modifiche minime al prompt (anche solo poche parole) hanno causato variazioni di accuratezza superiori a 50 punti percentuali nella capacità di identificare quale delle due idee fosse più nuova.
L’uso di recupero della letteratura e ragionamento aggiuntivo non ha migliorato in modo consistente le valutazioni.
Due sistemi di valutazione della novità costruiti appositamente hanno performato peggio di un semplice baseline basato su Claude Opus 4.6.

Costruzione del benchmark: estrazione di casi reali da ICLR 2026

Per testare la capacità dei novelty judge di distinguere idee più o meno innovative, abbiamo prima raccolto esempi in cui esisteva una forte evidenza sull’originalità del contributo scientifico. Abbiamo sviluppato una pipeline automatizzata attorno alle revisioni dei paper presentati a ICLR 2026.

Invece di usare l’accettazione del paper come proxy di novità, abbiamo scavato nelle recensioni per trovare passaggi in cui i revisori discutevano esplicitamente l’originalità. Questa distinzione è cruciale: un paper può essere accettato senza essere particolarmente nuovo, se è forte in altri aspetti; allo stesso modo, un paper respinto può contenere un contributo originale ma fallire per altre ragioni.

Creazione dei pool di alta e bassa novità

Pool alta novità: 154 idee di ricerca umane estratte da paper accettati nella top‑10 % del loro ambito di ICLR, con revisori che hanno identificato positivamente la novità e senza contestazioni contrarie.
Pool bassa novità: 145 idee da paper respinti nella bottom‑10 % con revisori che hanno sollevato dubbi sull’originalità e senza alcuna lode alla novità.
Un controllo di annotazione ha confermato la correttezza del segnale di novità in 47 su 50 casi; nessuna delle discrepanze avrebbe cambiato la classificazione di lode o contestazione.

Questi due pool costituiscono la prima impostazione di valutazione, denominata Human‑Only, che verifica se i novelty judge riescono a distinguere idee umane con evidenza di novità più alta o più bassa.

Estensione al contesto AI‑generated: la configurazione Human+Generated

Poiché i novelty judge sono sempre più impiegati per valutare idee generate dall’IA, abbiamo creato una seconda impostazione, Human+Generated. In questo set, ciascuna delle 154 idee umane validate è stata accoppiata a un’idea prodotta da un generatore LLM semplice.

Abbiamo assunto che le idee generate fossero meno innovative rispetto a quelle umane; tale etichettatura è debole e non verifica ogni singola idea. Il generatore ha ricevuto solo l’area di ricerca e l’istruzione di proporre un’idea “novel”, senza ricerca bibliografica, strumenti, iterazioni o feedback. Questo fornisce un confronto conservativo tra un generatore di base e contributi di paper ICLR top‑10 % con revisori che hanno esplicitamente lodato l’originalità.

Controlli aggiuntivi includono:

Revisione indipendente di 30 coppie Human+Generated da un esperto, pesantemente focalizzata sui casi in cui il nostro judge più forte sbagliava; l’esperto ha preferito l’idea umana in tutti i 30 casi e non ha giudicato alcuna idea generata come nuova.
Riscrittura di idee umane e AI in una struttura comune per verificare se i giudici reagivano semplicemente a differenze di stile di scrittura.

Metodologia di valutazione dei novelty judge

Utilizzando le collezioni di idee umane e AI‑generated, abbiamo testato sei LLM judge (GPT‑5.1, GPT‑5.2, GPT‑5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6) attraverso due modalità:

Valutazione puntuale: rating assoluto di novità per ciascuna idea.
Valutazione a coppie: confronto di due idee per identificare quella più nuova.

Abbiamo variato un fattore alla volta: prompt, budget di ragionamento, disponibilità di paper correlati, formattazione delle idee, numero di giudizi aggregati, e per le idee AI‑generated, il modello che le aveva prodotte.

Impatto del prompt: il fattore più decisivo

Il più grande spostamento di performance è stato osservato cambiando il prompt. Ad esempio, con GPT‑5.4, presentando le stesse coppie Human+Generated a due prompt diversi:

Prompt “informativo”: il modello è informato che i revisori hanno trovato esattamente una delle due idee novel e gli viene chiesto di identificare quale.
Prompt “semplice”: il modello è semplicemente chiesto quale idea è nuova.

Con il prompt informativo, l’accuratezza era del 93,5 %; passando al prompt semplice, è scesa al 40,9 %, al di sotto del caso casuale, e il modello ha cambiato il verdetto in più della metà delle coppie.

Lo stesso cambiamento di prompt ha modificato l’accuratezza di Claude Opus 4.6 sul dataset Human‑Only di soli 7 punti percentuali, suggerendo che la stabilità può apparire maggiore su idee umane, ma svanisce rapidamente con contenuti AI‑generated.

Variabilità anche su dati umani

Nonostante una certa robustezza apparente, anche sui dati umani si osservano variazioni notevoli. Cambiando il prompt, Claude Opus 4.6 ha mostrato una differenza di 21 punti percentuali di accuratezza. L’instabilità è quindi presente su entrambi i fronti, ma più accentuata sui contenuti generati dall’IA.

Inoltre, non esiste un prompt universalmente migliore. Per la valutazione puntuale, rimuovere un’istruzione che avverte i giudici a non considerare contributi triviali o incrementali come nuovi ha migliorato l’accuratezza per alcuni modelli, ma l’ha diminuita per altri. Un prompt efficace per un modello non è garantito per un altro.

Confronti tra generatori AI: l’effetto del prompt sui giudizi

Abbiamo anche testato l’uso comune dei novelty judge: confrontare idee provenienti da due generatori AI. Abbiamo accoppiato idee da Claude Opus 4.5 con quelle da Claude Sonnet 4.5, e GPT‑5.4 con GPT‑5.1. In media, tra i sei giudici, circa un quarto‑un terzo dei verdetti è cambiato a seconda del prompt utilizzato.

Questo risultato è significativo perché non richiede una conoscenza a priori di quale generatore sia più innovativo: basta osservare quanto la scelta del prompt influisce sui giudizi per capire la fragilità del sistema.

Implicazioni e prospettive future

Se l’IA deve assumere un ruolo più ampio nella scoperta scientifica, è fondamentale disporre di metodi più affidabili per verificare la genuina novità delle proposte. Il nostro lavoro fornisce strumenti per studiare questo problema, ma evidenzia quanto resta ancora da risolvere.

Le principali lezioni emerse sono:

Le valutazioni di novità dipendono fortemente da scelte di prompt, budget di ragionamento e accesso a letteratura.
Le variazioni di pochi termini possono invertire il risultato, soprattutto su idee generate dall’IA.
Gli attuali novelty judge non sono ancora pronti a sostituire la valutazione umana, soprattutto in contesti ad alta innovazione.
È necessario sviluppare benchmark più solidi, standardizzare le procedure di valutazione e forse introdurre meccanismi di verifica incrociata tra più giudici.

Solo attraverso un approccio rigoroso e trasparente potremo garantire che le idee proposte dall’IA non siano semplici riformulazioni di conoscenze esistenti, ma reali contributi che spingono avanti i confini della scienza.