Molti agenti IA offrono poco più di uno

Introduzione

Vals, azienda specializzata in benchmark e valutazioni di intelligenza artificiale, ha pubblicato una case study per capire se l’impiego di grandi sciami di agenti IA su un compito specifico sia economicamente vantaggioso. L’analisi si concentra su due modelli di punta, GPT‑6 Sol e Claude Opus 5.5, confrontando le loro prestazioni sia in modalità singola sia in gruppi.

Metodologia della sperimentazione

Gli esperimenti si basano sul benchmark Vibe Code Bench, in cui gli agenti devono, secondo precise specifiche, sviluppare applicazioni web. Sono stati condotti quattro confronti: ciascun modello è stato testato una volta da solo e una volta in squadra, mantenendo costanti i parametri di ragionamento (reasoning) a livello medio o alto. Le metriche valutate includono il punteggio finale, i costi di calcolo e i tempi di esecuzione.

Risultati principali

Nei quattro casi analizzati, solo una situazione ha mostrato un miglioramento significativo del risultato di squadra, e in quel caso GPT‑6 Sol operava a una reasoning di livello medio. Quando i modelli lavorano al massimo livello di ragionamento, l’aumento dei costi è notevole: il lavoro di squadra di GPT‑6 Sol costa 1,8 volte di più, mentre quello di Claude Opus 5.5 costa 5,1 volte di più rispetto all’esecuzione singola.

Le variazioni dei punteggi sono rimaste nell’intervallo non significativo di -0,3 a +3,4 punti. Per GPT‑6 Sol, l’aumento della potenza di calcolo ha migliorato più dell’interazione di squadra, mentre per Claude Opus 5.5 né l’incremento di risorse né la collaborazione hanno prodotto risultati migliori.

Analisi dei tempi di esecuzione

Le squadre hanno mostrato comportamenti differenti. Il team di GPT‑6 Sol ha completato il compito più rapidamente: la durata è passata da 38 a 28 minuti con il massimo utilizzo delle risorse, grazie a una strategia di divisione immediata del lavoro tra sotto‑agenti e test autonomi dei risultati.

Al contrario, il team di Claude Opus 5.5 ha impiegato fino a 2,3 volte più tempo rispetto all’agente singolo. La procedura adottata prevedeva la stesura di un contratto comune per definire l’interfaccia tra le parti dell’applicazione, seguita da una delega sequenziale del lavoro a sviluppatori e tester in onde successive.

Implicazioni economiche

I dati suggeriscono che, quando gli agenti operano al più alto livello di ragionamento, il valore aggiunto della collaborazione è limitato, ma il costo finanziario aumenta in maniera sproporzionata. Questo rende la scelta di impiegare sciami di agenti poco conveniente per progetti dove la precisione e la rapidità sono prioritarie.

In scenari dove la potenza di calcolo è più facilmente scalabile, può risultare più efficace potenziare un singolo agente piuttosto che coordinare più unità, soprattutto se la differenza di punteggio rimane marginale.

Considerazioni finali

La case study di Vals evidenzia che, nonostante l’entusiasmo attorno ai sistemi multi‑agente, la semplice moltiplicazione di unità non garantisce automaticamente migliori risultati. Le strategie di collaborazione devono essere valutate caso per caso, tenendo conto dei costi operativi, dei tempi di sviluppo e delle capacità di ragionamento dei modelli coinvolti.

Parole chiave

• Benchmark
• Intelligenza artificiale
• Agenti IA
• Costi