Benchmark su Claude Sonnet 4.6 e risultati preliminari

Nelle valutazioni precedenti abbiamo condotto benchmark su agenti CLI sia open source sia proprietari, focalizzandoci sulle attività di sviluppo web. Alcuni agenti open source hanno registrato risultati pari a quelli a pagamento, dimostrando che la trasparenza del codice non implica necessariamente una minore capacità.

Il grafico prodotto dal nostro team mostra tutti gli agenti open source testati, eseguiti su Claude Sonnet 4.6. Codex e Gemini CLI hanno raggiunto il modello tramite un proxy; pertanto i loro punteggi rappresentano il livello minimo di prestazione. Gemini CLI è ora riservato agli utenti API enterprise e a pagamento.¹

Tipologie di agenti: IDE vs CLI

Gli IDE agentici sono agenti di coding dotati di interfaccia grafica. Tra i più noti closed source troviamo Cursor (acquisito da SpaceX), Antigravity e Windsurf.

Gli agenti open source stanno colmando il divario con soluzioni desktop. Cline ha lanciato Cline Desktop, che supporta sessioni parallele e attività pianificate, attualmente disponibile per macOS con una versione beta per Windows.² OpenCode propone una versione beta dell’app desktop per macOS, Windows e Linux.³

Strumenti CLI

Gli strumenti CLI agentici operano direttamente nel terminale, senza dipendere da un IDE come VS Code. Claude Code è lo strumento closed source più popolare in questa categoria. Antigravity CLI di Google, che ha sostituito la CLI Gemini open source per gli utenti singoli, è anch’essa closed source, disponibile su tutti i piani, incluso quello gratuito, e condivide la quota con l’IDE Antigravity.

Vantaggi e limiti dell’open source

L’open source rende il codice ispezionabile, ma non garantisce la continuità del progetto o la conservazione dei dati in locale. Gli agenti open source possono essere acquisiti, archiviati o trasferiti a una fondazione con poco preavviso. Gli strumenti archiviati continuano a funzionare, ma non ricevono correzioni di sicurezza né aggiornamenti per le nuove API dei modelli. Per lo stato attuale di ciascuno strumento consultare la pagina di stato dedicata.

Il concetto “local‑first” non implica necessariamente che nulla lasci il tuo computer. Un caso segnalato ha mostrato che OpenResearch di alphaXiv, uno spazio di lavoro di ricerca basato su agenti di coding, ha inviato dati analitici in background tramite una skill di feedback senza informare l’utente; i manutentori hanno successivamente documentato il comportamento.⁴

Modelli di accesso: client vs locale

Gli strumenti open source si dividono in due categorie distinte in base al modo in cui accedono ai modelli linguistici sottostanti.

Client‑based: lo strumento è un client; si sceglie e si paga il modello separatamente presso provider come OpenAI, Anthropic o Google. Questo approccio consente di cambiare provider, confrontare i modelli e ottimizzare il rapporto prezzo‑prestazioni, pur pagando l’utilizzo dell’API.
Esecuzione locale: alcuni strumenti eseguono i modelli in locale tramite Ollama, llama.cpp o runtime simili. I dati restano sul computer, a condizione di evitare i modelli cloud di Ollama e la ricerca web. La modalità solo locale elimina i costi per token, ma richiede hardware adeguato.

Aider è un noto strumento BYOK (bring‑your‑own‑key), ma il suo sviluppo è rallentato.⁵ Le alternative mantenute attivamente includono progetti che sfruttano Ollama.

Esempio di modello locale: Flint

Flint, sviluppato da Recursive, è un modello focalizzato sul coding con 39,8 miliardi di parametri, di cui circa 2,5 miliardi attivi per token. Offre un contesto di 262 K token, è distribuito sotto licenza Apache 2.0 e gira in Ollama.⁶ Sebbene i modelli locali siano attualmente indietro rispetto ai frontier, il divario si sta riducendo rapidamente.

Considerazioni pratiche per la scelta

Quando si sceglie un agente di coding IA open source, è fondamentale valutare:

Il modello di accesso (client vs locale) e i relativi costi operativi.
La disponibilità di una GUI o di un’interfaccia CLI in base al flusso di lavoro.
Il livello di supporto e la frequenza degli aggiornamenti di sicurezza.
Le implicazioni di privacy, soprattutto se il tool invia dati a terzi in modalità “local‑first”.

Per pubblicare i risultati, è consigliabile scegliere il formato più adatto al canale di distribuzione: HTML per blog e newsletter, APA 7ª per articoli accademici, LaTeX per report tecnici. I dati di sintesi dei benchmark (24 punti dati) sono disponibili per il download in un file ZIP contenente tre CSV.