La start-up Lovelace, specializzata in agenti IA per aziende, ha pubblicato un benchmark su 12 compiti di ricerca finanziaria e aziendale. L’azienda afferma che il suo agente ha conseguito performances simili a quelle di Gemini Deep Research Max di Google per "meno dell’1% del costo".
Per condurre il test, Lovelace ha costruito un agente di ricerca basato sul suo motore di contestualizzazione, YottaGraph, e su Gemini 3.1 Flash Lite, senza nessun altro meccanismo di grounding (processo che trasforma una domanda in un'indagine documentale) al di fuori del motore stesso.
Secondo un comunicato dell’azienda, il benchmark ha valutato una serie di domande complessi, come confronti tra aziende, scenari di acquisizione e analisi d'investimento. I rapporti sono stati giudicati in base all’esattezza delle informazioni, alla precisione analitica, all’uso delle prove ed alla qualità delle citazioni.
Una crisi a venire legata ai costi dell’intelligenza artificiale
Un post sul blog di Lovelace spiega che è possibile ottenere risultati di qualità equivalente a costi estremamente ridotti. Su 12 argomenti legati al settore bancario valutati su una scala da 1 a 10, Lovelace ha ottenuto una media di 9,67 contro un 9,87 di Gemini Deep Research Max, con un costo di circa sei centesimi rispetto agli oltre sette dollari e con un tempo di completamento di poco più di quattro minuti.
Andrew Moore, CEO di Lovelace ed ex responsabile dell'intelligenza artificiale a Google Cloud, quando chiesto delle motivazioni per il benchmark, ha dichiarato: "sappiamo che una crisi si profila a causa del costo dell'IA. I grandi fornitori di modelli fondamentali come Google, OpenAI o Anthropic seguono un ritmo talmente veloce che potrebbero, intenzionalmente o no, spingere i costi di lato, per rimanere in testa alla corsa alle prestazioni".
Moore ritiene che il contesto sia più decisivo della potenza computazionale per definire la prossima generazione di sistemi IA. I grandi modelli linguistici si avvicinano sempre di più al ragionamento umano, ma attualmente si scontrano con un limite strutturale: la gestione della memoria di lavoro.
L’efficienza dimenticata nella corsa all’IA
Carmi Levy, analista indipendente, da tempo esprime preoccupazione per una cultura del "corridoio armi all’IA" che domina il settore. Egli ritiene che i benchmark di Lovelace suggeriscano che l’industria abbia iniziato a concentrarsi su una priorità sbagliata fin dal principio: l’efficienza è rimasta quasi invisibile durante la corsa ai modelli sempre più grandi e potenti.
"Questi grandi modelli vanno virgolettati e vengono cercati per dimostrare di essere superiori", ha detto. "Certo, la dimensione ha un ruolo nella capacità di trattare carichi di lavoro massicci, ma ne abbiamo trascurato troppo la questione del costo di queste capacità e del loro reale valore per usi specifici."
Per illustrare il suo punto di vista, Levy usa un’analogia sul uso improprio degli strumenti: "Nessuno userebbe un martello per stringere un semplice dado. Si userebbe uno strumento più piccolo e efficiente. Lo stesso tipo di logica dovrebbe essere applicato all’IA."
Per Levy, le prime fasi dell’IA hanno visto la ricerca del potere piuttosto che dell’efficienza, senza una corrispondenza reale tra costi e bisogni specifici. "Le aziende che utilizzano strumenti eccessivamente dimensionati spendono probabilmente molto di più di quelle che adattano le soluzioni ai loro bisogni specifici".
Con l’aumentare della fatturazione su base d’uso dell’IA nel settore aziendale, l’efficienza diventa di fondamentale importanza. Sono coinvolti non solo le organizzazioni che cercano di controllare i loro costi computazionali, ma anche i fornitori di infrastrutture e i governi, che devono valutare criticamente l’impatto economico di questa corsa all’espansione.
È il momento di riconsiderare i modelli IA
Sanchit Vir Gogia, analista principale presso Greyhound Research, ha definito il benchmark come “significativo, ma non esattamente come lo interpreterà il mercato”. Egli non ritiene che si tratti di una vittoria netta per i piccoli modelli rispetto ai grandi, ma sottolinea una interpretazione definitiva molto specifica: per ricerche circoscritte e fortemente motivate da prove, un’architettura intorno a un modello può ridurre il costo di due ordini di grandezza per un’ottima prestazione senza degrado della qualità.
Secondo lui, l’industria ha passato tre anni ad agire come se l’intelligenza risiedesse nel modello stesso, andando a cercare modelli sempre più grandi quando la qualità delle risposte non convinceva. Questo riflesso si scontra ora con le realtà economiche delle aziende con la grazia di una ribattona spinta giù da una scala.
Un modello avanzato alimentato da una grounding povera non è che un sistema costoso che non fa altro che indovinare. La finanza aziendale, ha aggiunto Sanchit Vir Gogia, "si basa sui depositi regolatori e su entità che agiscono come un grafo. Si tratta di un problema a struttura di grafico travestito da attività di ricerca. La prima domanda non è più quale modello sia il più performante, ma quale sistema fornisca un risposta affidabile a un costo ragionevole. Nell’azienda, la capacità non è più una proprietà del modello, ma del sistema".
Il CIO e il CTO, ha inoltre aggiunto, “dovrebbero vedere questa affermazione come un invito a riconsiderare il loro modello operativo dell’IA, e non come un ordine di acquisto".
Secondo Gogia, "il valore dell’IA ora dipende da quattro discipline interconnesse: la qualità del contesto fornito, l’orientamento delle attività verso il modello corretto, la governance dei flussi di lavoro e l’osservabilità su quanto costa un sistema e cosa realizza". Ha sottolineato che un agente dotato di un contesto insufficiente non produce solo risposte di bassa qualità, ma compie anche azioni peggiori, con rischi operativi significativi.
I clienti, ha aggiunto, "dovrebbero richiedere il costo di un flusso completo e interrogarsi sulla portabilità dell'architettura, poiché essere bloccati in un contesto è una forma di blocco. Il compito del responsabile IT è progettare il percorso più sicuro tra le prove e i risultati".