Il benchmark AIM‑Text‑to‑SQL ha analizzato le prestazioni di più di 70 LLM (Large Language Models) nella generazione di query SQL corrette, partendo da un sottoinsieme di 759 domande del dataset BIRD‑SQL. Per ogni domanda, i modelli hanno dovuto scegliere uno dei 11 database disponibili e produrre la query corrispondente. La precisione SQL è definita come la percentuale di query valutate che restituiscono il risultato di riferimento, escludendo i casi di routing errato e le referenze segnalate come difettose.

Metodologia e criteri di valutazione

Ogni modello ha un sottoinsieme diverso di domande valutabili, poiché la valutazione dipende dalla corretta selezione del database. Le differenze nei sottoinsiemi e nelle condizioni di esecuzione limitano le comparazioni dirette. La precisione è calcolata solo sulle domande correttamente routate e su quelle per cui la referenza non è stata contrassegnata come fallita.

Esclusioni e costi di esecuzione

Il punteggio esclude le scelte di database sbagliate e le referenze segnalate come difettose. I costi di esecuzione includono sia le risposte di routing che le query SQL conservate, ma non i costi di generazione della sola query SQL. Le sette esecuzioni con meno risposte conservate sono state escluse, così come i test di fumo, i tentativi abortiti e le chiamate del jury.

Risultati di precisione per modello

I tre migliori punteggi di precisione SQL sono stati ottenuti da:

    • claude‑opus‑5.5: 444 risultati corretti su 506 domande (87,8 %).
    • gemini‑4‑argon: 407 su 518 (78,6 %).
    • gemini‑3.8‑flash: 342 su 443 (77,2 %).

Altri modelli notevoli includono:

    • Muse Wonder: 285/505 (56,4 %).
    • GPT‑6.1 Terra: 280/495 (56,6 %).
    • MiniMax M3.1 Flash: 177/485 (36,5 %).
    • Kimi K3.1 Pro: 257/491 (52,3 %).
    • Muse Spark Open: 219/488 (44,9 %).
    • DeepSeek V4.1 Flash 1017: 108/474 (22,8 %).

Questi risultati escludono i casi di routing errato e le referenze difettose. Claude‑Opus‑5.5 ha utilizzato l’interfaccia Claude Code, mentre Gemini‑4 Argon e Gemini‑3.8 Flash hanno operato tramite OpenRouter.

Confronti tra varianti dello stesso modello

Per alcuni modelli sono disponibili versioni “pro” e “standard”. Ad esempio:

    • gpt‑6.1‑sol‑pro: 63,6 % vs gpt‑6.1‑sol: 65,1 %.
    • gpt‑6‑sol‑pro: 53,6 % vs gpt‑6‑sol: 53,8 %.
    • gpt‑6‑luna‑pro: 44,2 % vs gpt‑6‑luna: 45,4 %.

Tutte queste varianti hanno utilizzato OpenRouter. Le differenze sono minime e potrebbero dipendere da fluttuazioni casuali; prove ripetute sarebbero necessarie per confermare la stabilità dei risultati.

Costi di esecuzione associati

I costi variano notevolmente tra i modelli, influenzati sia dal prezzo dell’API sia dal numero di chiamate effettive. Alcuni esempi:

    • gemini‑3‑flash‑preview: 67,7 % di precisione a 7,67 $ per esecuzione.
    • gemini‑3.8‑flash: 77,2 % a 26,48 $.
    • claude‑opus‑5.5: 87,8 % con costo stimato di 188,71 $.
    • gemini‑4‑argon: 78,6 % a 41,41 $.
    • Muse Wonder: 56,4 % a 77,44 $.
    • GPT‑6.1 Terra: 56,6 % a 7,19 $.
    • MiniMax M3.1 Flash: 36,5 % a 2,30 $.
    • Kimi K3.1 Pro: 52,3 % a 27,14 $.
    • Muse Spark Open: 22,03 $.
    • DeepSeek V4.1 Flash 1017: 1,75 $.

Gli 78 modelli API hanno costi misurati. Alcuni, come Opus 5.5, Fable 5.1 e GPT‑6 Astra, presentano stime separate basate su token CLI registrati e prezzi OpenRouter verificati al 1 ottobre 2026, includendo l’uso della cache.

Impatto dei costi sulla precisione

I costi includono l’esplorazione dei database, ma non il solo step di generazione della query. Pertanto, il rapporto costo‑precisione deve essere interpretato con cautela: un modello più costoso può ottenere una precisione più alta grazie a un contesto più ampio o a un migliore routing.

Analisi qualitativa di casi specifici

Una valutazione approfondita di otto modelli che hanno scelto correttamente il database collegecompletion mostra come le differenze di output influenzino il punteggio. La tabella institutiondetails contiene i campi chronname, city e state. Alcuni modelli hanno restituito solo la colonna state (es. Georgia) e sono stati considerati corretti, mentre altri hanno aggiunto colonne extra (nome e città) e sono stati giudicati errati nella valutazione stretta, ma accettati dal jury.

Esempi:

    • GPT‑6.1 Terra, Kimi K3.1 Pro, Gemini 4 Argon e Opus 5.5 hanno restituito solo “Georgia” e hanno superato il test di corrispondenza.
    • Muse Spark Open e DeepSeek V4.1 Flash 1017 hanno aggiunto nome e città, fallendo la valutazione rigorosa ma accettati dal jury.
    • MiniMax M3.1 Flash e GLM 5.3 hanno usato LIKE '%Mercer%', restituendo risultati più ampi (es. Mercer County Community College, NJ) e sono stati marcati come errori.

Questi esempi evidenziano come il filtraggio delle colonne e la presenza di risultati aggiuntivi possano alterare la valutazione, anche quando la risposta è sostanzialmente corretta.

Esperimenti di replica

Il modello gemini‑3‑flash‑preview è stato rieseguito con prove aggiuntive di BIRD. La precisione SQL è passata da 67,5 % a 76,2 % (rigida da 55,0 % a 61,6 %). Si tratta di un miglioramento limitato a un solo modello e non generalizzabile al panel di 81 modelli.

Limitazioni e prospettive future

Le scelte di database determinano il sottoinsieme di domande valutabili per ciascun modello. Ad esempio, claude‑opus‑5 ha un denominatore rigido di 717 domande (156 molto difficili), mentre nova‑lite‑v1 ne ha 285 (solo 22 difficili). Di conseguenza, i percentuali combinano capacità di scrittura SQL e difficoltà dei casi valutati.

Una valutazione controllata, in cui a tutti i modelli viene fornita la stessa base di dati per le stesse domande, consentirebbe un confronto più equo, ma non è stata effettuata. Inoltre, la selezione delle domande influisce notevolmente quando si confrontano benchmark che usano schemi, indici o budget di tool differenti.

Cinque modelli hanno valutato ogni referenza rispetto alla domanda e allo schema, senza vedere le risposte dei concorrenti. Di questi, tre o più hanno segnalato 236 referenze difettose (31,1 % del totale). Dopo l’audit, il proprietario del benchmark ha rivisto i segnalati, ma non sono stati coinvolti annotatori umani indipendenti.

Contributo di referenze equivalenti

Il modello claude‑sonnet‑5 ha ottenuto 211 domande valutate strettamente su 679 (31,1 %). Un jury ha accettato ulteriori 154 risposte come equivalenti alla referenza, aggiungendo 22,7 punti percentuali. Inoltre, 117 risposte hanno ricevuto credito perché il jury ha accettato la query del modello e rifiutato quella di riferimento, contribuendo a 17,2 punti. Il punteggio finale è quindi salito a 71,0 % (incremento di 39,9 punti).

Le risposte equivalenti includono colonne aggiuntive o proiezioni diverse che, pur restituendo le informazioni richieste, vengono scartate dalla valutazione rigorosa ma riconosciute dal giudizio umano.