I team di agenti IA sprecano enormi token per guadagni di qualità appena percettibili, secondo la ricerca

Introduzione

Negli ultimi mesi molte aziende hanno sperimentato sistemi composti da più agenti intelligenti, sperando di ottenere risultati superiori a quelli dei modelli singoli. Una recente indagine condotta da Vals AI, una società specializzata in valutazioni di modelli di intelligenza artificiale, ha messo alla prova questa ipotesi su una serie di benchmark, dimostrando che il valore aggiunto è quasi inesistente rispetto al notevole incremento di costi in token.

Metodo di valutazione: il “Vibe Code Bench”

Vals AI ha utilizzato il benchmark “Vibe Code Bench” per confrontare GPT‑6 Sol e Claude Opus 5.5 in due configurazioni: singolo agente e team di agenti. Ogni configurazione è stata testata a due livelli di sforzo di ragionamento, definibili come ragionamento medio e ragionamento massimo. I team hanno consumato tra 1,8 × e 5,1 × più token rispetto ai singoli agenti, a parità di livello di ragionamento.

Risultati principali

Su quattro confronti tra team e agenti singoli, solo uno ha mostrato un miglioramento statisticamente significativo: il team di GPT‑6 Sol a ragionamento medio ha superato l’agente singolo di 7,3 punti. Nei test a ragionamento massimo, né GPT‑6 Sol né Claude Opus 5.5 hanno ottenuto alcun vantaggio reale. L’immagine pubblicata da Vals AI evidenzia chiaramente come i team costino molto di più pur migliorando poco i punteggi.

Test di Anthropic con Opus 5.5

Anthropic ha condotto proprie sperimentazioni aggiungendo più agenti a Opus 5.5. I risultati mostrano che, sebbene i team più grandi raggiungano un livello di prestazione più rapidamente, il passaggio da dieci a cento agenti porta solo a un leggero aumento dei punteggi dopo 24 ore. Nei test “ProgramBench”, la maggiore velocità è stata accompagnata da un consumo di token significativamente più alto.

Performance per numero di agenti

• Knowledge base: 0,53 (1 agente) → 0,70 (10 agenti) → 0,71 (30 agenti) → 0,74 (100 agenti)
• Lean Theorem Proving: 0,39 (1 agente) → 0,66 (10 agenti) → 0,66 (30 agenti) → 0,68 (100 agenti)

Un altro modello, Fable 5.1, ha mostrato guadagni più evidenti nella prova di Lean Theorem Proving oltre i dieci agenti, ma è rimasto inferiore a Opus 5.5 in tutti i test. Sull’attività di knowledge base, il punteggio di Fable è addirittura sceso leggermente passando da 30 a 100 agenti.

Commenti di OpenAI

Nel podcast di Dwarkesh, il ricercatore di OpenAI Noam Brown ha confermato che i sistemi multi‑agente aumentano soprattutto la velocità, non la qualità. Quattro agenti hanno risolto i compiti il doppio più velocemente, ma il costo in token è raddoppiato. Con sedici agenti il rapporto rimane simile, sebbene l’efficienza marginale diminuisca.

Brown ha sottolineato che l’efficacia dipende dal tipo di compito: attività come la ricerca web e la risoluzione di problemi matematici parallelizzano bene, mentre la scrittura di un romanzo non beneficia dell’aumento di agenti. Ha inoltre ammesso che la sperimentazione su scala molto ampia (ad esempio 10 000 agenti) è ancora limitata a causa dei costi proibitivi.

Avvertimento di un sviluppatore OpenAI

Eric Provencher, sviluppatore senior di OpenAI, ha recentemente lanciato un avvertimento contro l’uso di “swarms” di agenti. Secondo Provencher, la coordinazione tra numerosi agenti genera una “tassa di coordinazione” che erode i potenziali vantaggi e trasforma l’approccio in un vero e proprio spreco di denaro.

Conclusioni

Le evidenze raccolte da Vals AI, Anthropic e OpenAI convergono verso lo stesso punto: i team di agenti IA richiedono un investimento di token molto più elevato rispetto a un singolo modello, ma i guadagni di qualità sono minimi o inesistenti nella maggior parte dei casi. L’unica eccezione riscontrata riguarda scenari di ragionamento medio con GPT‑6 Sol, dove il miglioramento è stato modesto ma statisticamente significativo.

Per le imprese che valutano l’adozione di architetture multi‑agente, la scelta più prudente sembra rimanere quella di ottimizzare l’uso di un singolo modello potente, riservando i team a compiti altamente parallelizzabili e quando la velocità è l’unico obiettivo critico.