Panoramica del test e metodologia
Il benchmark AIM‑Agentic RAG ha coinvolto oltre 70 Large Language Models (LLM) su un totale di 759 quesiti, tutti progettati per richiedere la scelta tra 11 database SQL distinti. Ogni domanda proviene da una versione congelata del dataset BIRD‑SQL, dove le richieste in linguaggio naturale sono associate a query SQL di riferimento.
La difficoltà delle domande è stata determinata con due segnali: un test di similarità che conta quanti dei 20 vicini più prossimi appartengono a database diversi, e una giuria di tre LLM che valuta se la domanda è “confondente” tra i database. Solo le domande che soddisfano entrambi i criteri (almeno cinque vicini cross‑database e un voto della giuria) sono state classificate come hard, per un totale di 184 quesiti.
Il punteggio di routing accuracy è la percentuale di domande per le quali il modello dichiara esplicitamente, nella risposta finale, il nome corretto del database sotto il campo selected_database. Le risposte che indicano solo il database in forma descrittiva, senza la dichiarazione esplicita, non ricevono credito.
Il benchmark non valuta la correttezza della query SQL generata; quella è misurata separatamente in un test di text‑to‑SQL. Qui ci concentriamo esclusivamente sulla capacità di selezione della sorgente.
Risultati di routing: modelli leader
Tra i 184 quesiti hard, Gemini‑4 Argon ha raggiunto il punteggio più alto, con 173 risposte corrette (93,5%). Seguono:
- Claude‑Opus‑5.5: 166 corrette (90,2%)
- Muse Wonder: 159 corrette (86,4%)
- GPT‑6.1 Terra: 154 corrette (83,7%)
- Kimi K3.1 Pro: 156 corrette (84,8%)
- MiniMax M3.1 Flash: 150 corrette (81,5%)
- Muse Spark Open: 149 corrette (81,0%)
- DeepSeek V4.1 Flash 1017: 142 corrette (77,2%)
Su tutti i 759 quesiti, Gemini‑4 Argon ha mantenuto la leadership con 747 risposte corrette (98,4%). Il modello è stato eseguito tramite OpenRouter, e i risultati riflettono sia le capacità intrinseche del modello sia le condizioni operative dell’API.
Analisi dei costi
Il benchmark include anche il costo economico delle richieste riuscite, calcolato in base ai token consumati e alle tariffe API in vigore al 1 ottobre 2026. Alcuni dati salienti:
- DeepSeek V4 Flash 0731: 151 risposte corrette su 184 hard, costo totale $1,37.
- Qwen3.8 Flash: accuratezza 79,3% a costo $2,08.
- MiMo‑V2.6‑Pro: accuratezza 82,6% a costo $4,17.
Le cifre includono solo le risposte conservate nei file di risultato; i tentativi falliti o le ripetizioni di retry non sono conteggiati. La tabella dei costi aggrega 78 totali API misurati e tre stime equivalenti OpenRouter per Opus 5.5, Fable 5.1 e GPT‑6 Astra.
Variabilità e ripetibilità dei risultati
Le misurazioni mostrano che piccoli scarti di punteggio possono scomparire in una seconda esecuzione. Ad esempio, Claude‑Opus‑5 ha ottenuto 156 risposte corrette su 184 nella prima corsa, ma solo 151 (82,1%) nella ripetizione. Qwen3.8‑max è passato da 153 a 150 risposte corrette, con un calo dall’83,2% all’81,5%.
Le ripetizioni hanno mantenuto identici tutti i parametri: domande, anonimizzazione, temperatura, impostazioni del provider e caching. Tuttavia, Qwen3.8‑max ha modificato la risposta in 13 quesiti hard, con miglioramenti su alcuni che hanno compensato gli errori su altri.
Questi risultati suggeriscono che la stabilità del punteggio dipende fortemente da fattori esterni, come la latenza del servizio o le variazioni di cache, rendendo difficile trarre conclusioni definitive da una singola run.
Effetto del caching dei prompt
Il caching dei prompt riduce i costi di input fatturati riutilizzando contenuti già elaborati. Nel caso di Claude‑Opus‑5, il costo totale è stato di $62,78, contro una stima di $105,54 senza caching, pari a un risparmio del 40,5%. Si tratta di un confronto contabile e non di una valutazione di accuratezza separata per una run non‑cached.
Esperimenti aggiuntivi su selezione del database
Per testare la capacità di scelta del modello, è stato condotto un esperimento su 128 domande, mantenendo il database corretto e sostituendo gli altri 10 candidati con:
- un gruppo selezionato di database simili, oppure
- un gruppo scelto casualmente.
Nel sotto‑insieme hard, Claude‑Opus‑4.8 ha ottenuto il 71,3% con candidati simili e il 92,0% con candidati casuali. Gemini‑3.5‑Flash ha registrato il 77,0% e il 96,6% rispettivamente. Entrambe le differenze hanno p‑value < 0.001 in test accoppiati, indicando che la presenza di candidati simili rende la selezione più difficile.
Un ulteriore pilot su 128 domande ha confrontato l’uso di soli nomi di database contro nomi più descrizioni. Claude‑Opus‑4.8 ha raggiunto il 68,8% con solo i nomi e il 67,2% con descrizioni aggiuntive, mentre Gemini‑3.5‑Flash è passato dal 71,1% al 75,0%.
Nel benchmark principale, i nomi dei database sono stati anonimizzati (db01 … db11) e accompagnati da brevi descrizioni di dominio; le risposte degli strumenti mostrano tabelle e colonne disponibili per facilitare la decisione.
Distribuzione dei dati e contesto dei database
Il sotto‑insieme hard è fortemente concentrato sul settore commerciale: quattro dei 11 database forniscono 171 delle 184 domande (92,9%). Cinque database non contribuiscono affatto al set hard, limitando la generalizzabilità dei risultati a scenari con domini simili.
Il test di routing è stato eseguito con una “harness” software che gestisce gli strumenti e registra le risposte. La panel comprende 78 esecuzioni via OpenRouter, due tramite Claude Code e una via Codex CLI. Tra le API, 61 usano la versione v3, 15 una versione precedente e due combinano entrambe. La versione v3 include uno strato di recupero che interpreta formati alternativi di chiamata agli strumenti.
Alcuni modelli (ad esempio llama‑4‑maverick) dipendono quasi esclusivamente da adapter non‑nativi (97,9% di condivisione), il che può influenzare significativamente i risultati. Minimaxi‑M2.7 è stato escluso perché non ha emesso le chiamate allo strumento database richieste.
Conclusioni e prospettive future
Il benchmark AIM‑Agentic RAG evidenzia che la capacità di selezionare correttamente una sorgente SQL varia notevolmente tra i modelli, con differenze che possono superare i 20 punti percentuali su domande difficili. Tuttavia, la variabilità tra esecuzioni e l’influenza di fattori operativi (caching, versioni API, adapter) suggeriscono cautela nell’interpretare piccoli gap di punteggio.
Il costo delle chiamate è un elemento cruciale: modelli più efficienti dal punto di vista dei token possono ridurre drasticamente le spese, soprattutto in scenari di larga scala. Il caching dei prompt emerge come pratica consigliata per contenere i costi senza penalizzare l’accuratezza.
Infine, l’esperimento sui candidati simili dimostra che la difficoltà di routing non è solo una questione di capacità del modello, ma anche della composizione del pool di opzioni. Futuri benchmark dovranno includere una gamma più ampia di domini e valutare l’interazione tra selezione della sorgente e accuratezza della query SQL generata.