Gli agenti di ricerca AI a lungo termine possono raggiungere un plateau nonostante l'aumento del calcolo, secondo uno studio di Microsoft Research. L'accumulo di contesto conversazionale può limitare la loro ricerca, mantenendoli focalizzati su soluzioni simili invece di esplorare approcci migliori.

I ricercatori di Microsoft hanno studiato ciò che chiamano "Autoresearch agents", sistemi AI che propongono ripetutamente soluzioni, le valutano e le raffinano in base ai feedback. Otto esecuzioni indipendenti dello stesso agente sullo stesso compito hanno raggiunto livelli di performance significativamente diversi, con punteggi finali che variavano dal 68,3 al 100,0. Questi divari sono persisti anche con un calcolo sostanzialmente maggiore, secondo il paper.

Gli agenti rimangono bloccati in "idea basins"

I ricercatori hanno tracciato le soluzioni di tutte le esecuzioni su una mappa bidimensionale che colloca soluzioni simili vicine tra loro, poi le hanno confrontate. Le soluzioni di una singola esecuzione sono rimaste quasi sempre all'interno di una piccola regione della mappa. Gli autori chiamano queste regioni "idea basins".

Gli agenti spendono una grande parte del loro budget di calcolo rimanente per raffinare soluzioni all'interno di una regione meno produttiva invece di trovare approcci migliori scoperti da altre esecuzioni. Questo schema persiste anche quando gli agenti comprimono periodicamente le loro cronologie delle conversazioni.

Cancellare la cronologia delle chat permette agli agenti di esplorare nuovi approcci

Il metodo proposto, "Fork-and-Flush", combina due meccanismi. Nel "forking", l'agente si divide in K rami paralleli, ognuno dei quali eredita lo spazio di lavoro precedente e tutti i file generati. Nel "flushing", ogni ramo perde l'intero contesto della chat ma mantiene lo spazio di lavoro, permettendogli di iniziare una conversazione fresca e costruire sul lavoro precedente.

Un ramo che mantiene il contesto della chat del processo genitore tende a tornare allo stesso "idea basin" perché il ragionamento precedente guida i suoi passi successivi. Un contesto fresco ripristina la diversità nella ricerca. La cronologia della conversazione viene persa, ma il codice, i file e i risultati salvati rimangono nello spazio di lavoro.

Un punteggio medio normalizzato del 66% più alto con lo stesso budget di calcolo

I ricercatori hanno testato Fork-and-Flush su 13 compiti a lungo termine, tra cui il packing di polyomino, la pianificazione di job-shop e la crittanalisi. I compiti includevano anche la compressione di un classificatore CIFAR e l'ottimizzazione di un kernel VLIW. Le singole esecuzioni sono durate da alcune ore a oltre 100 ore. Gli agenti hanno utilizzato GPT-5.6-terra e GPT-5.5 tramite l'interfaccia a riga di comando di GitHub Copilot.

Con lo stesso budget di calcolo, Fork-and-Flush ha ottenuto un punteggio medio normalizzato di 0,78, rispetto a 0,47 per le singole esecuzioni e 0,54 per il best-of-4. Il paper riporta guadagni relativi del 66,0 e del 44,4 percento, rispettivamente. Il metodo ha ottenuto il punteggio medio più alto su 12 dei 13 compiti.

Fork-and-Flush ha anche prodotto risultati più consistenti, con la deviazione standard normalizzata che è scesa a 0,16 da 0,26 per le singole esecuzioni. Semplicemente cancellare il contesto della chat senza ramificazione ha migliorato i risultati del 22 percento.

Valutazione

Metodo: 13 compiti
Punteggio medio normalizzato: 0,47
Devirazione standard normalizzata: 0,26
Miglioramento relativo rispetto al baseline delle singole esecuzioni: Baseline

Metodo: 13 compiti
Punteggio medio normalizzato: 0,54
Devirazione standard normalizzata: 0,21
Miglioramento relativo rispetto al baseline delle singole esecuzioni: circa +14,9%

Metodo: 13 compiti
Punteggio medio normalizzato: 0,78
Devirazione standard normalizzata: 0,16
Miglioramento relativo rispetto al baseline delle singole esecuzioni: +66,0%

Metodo: 11 compiti
Punteggio medio normalizzato: 0,45
Devirazione standard normalizzata: —
Miglioramento relativo rispetto al baseline delle singole esecuzioni: Baseline

Metodo: 11 compiti
Punteggio medio normalizzato: 0,55
Devirazione standard normalizzata: —
Miglioramento relativo rispetto al baseline delle singole esecuzioni: circa +22%

Modelli più potenti potrebbero comunque aver bisogno di reset del contesto

I ricercatori hanno anche testato se modelli più capaci evitano gli "idea basins", utilizzando problemi MAX-3-SAT su tre dimensioni di modello, Qwen3.5-4B, 9B e 27B. La varianza tra le esecuzioni ha seguito una curva a U capovolta, raggiungendo il picco sui compiti al limite delle capacità di un modello, circa a metà strada tra la performance di indovinelli casuali e la performance del solver di riferimento.

I risultati variano di più sui compiti al limite delle capacità di un modello, con alcune esecuzioni che hanno successo e altre che falliscono miseramente. I modelli hanno quasi sempre successo sui compiti molto facili e falliscono su quelli molto difficili. Questo schema si mantiene su tutte e tre le dimensioni di modello testate.

Gli autori sostengono che i problemi di ricerca aperti si trovano, per definizione, ai limiti delle capacità dei modelli. Si aspettano che la variazione sfruttata da Fork-and-Flush persista man mano che i modelli migliorano, con il confine che si sposta semplicemente verso problemi più difficili. I risultati suggeriscono che i reset regolari del contesto potrebbero rimanere utili anche per gli agenti di ricerca all'avanguardia.