Mistral ha presentato questa settimana il suo nuovo modello Large 4 (ML4) con un trilione di parametri, definendolo un "nuovo punto di riferimento per le prestazioni dei modelli open-weight". Secondo Artificial Analysis (AA), un'azienda indipendente di benchmarking AI, Mistral Large 4 è il modello migliore disponibile al di fuori degli Stati Uniti e della Cina nel loro indice.

Risultati chiave dei benchmark

Mistral Large 4 Preview ha ottenuto un punteggio di 38 nell'Artificial Analysis Intelligence Index, un risultato comparabile a modelli come GPT-6 Luna (max, 38) e DeepSeek V4.1 Flash (max, 39). Questo lo rende il modello più intelligente al di fuori degli Stati Uniti e della Cina, superando paesi come la Corea del Sud e gli Emirati Arabi Uniti.

Nel campo della cybersecurity, Mistral Large 4 Preview ha ottenuto un punteggio di 50 nell'Artificial Analysis Cyber Index, alla pari con GLM-5.3-Flash (50) e dietro MiMo-V2.6-Pro (56). Il suo risultato più forte è stato nel test CyberGym-E2E-AA, dove ha ottenuto l'82%, superando MiMo-V2.6-Pro (79%) e GPT-6 Luna (max, 78%).

Costo e prestazioni

Nonostante le sue capacità, Mistral Large 4 Preview ha un costo superiore rispetto ad altri modelli open-weight di intelligenza simile. Con un prezzo standard di $1.36/$4.18 per 1M di token di input/output, il costo per compito è di $1.13. Per le prime due settimane, Mistral offre uno sconto del 50%, riducendo il costo per compito a $0.57. Tuttavia, rimane più costoso rispetto a modelli come GLM-5.3-Flash ($0.25) e DeepSeek V4.1 Flash (max, $0.27).

Capacità di ragionamento

Mistral Large 4 Preview ha dimostrato forti capacità di ragionamento su documenti e immagini. Ha ottenuto un punteggio del 19% nel test GDP.pdf, alla pari con MiMo-V2.6-Pro (19%) e dietro Kimi K3 (22%). Questo rappresenta un miglioramento di 18 punti rispetto a Mistral Large 3, in parte grazie ai miglioramenti nell'API, che ora accetta 100 immagini per richiesta, rispetto alle 8 dei modelli precedenti.

Dettagli del modello

Finestra di contesto: 512k token
Multimodalità: Input di testo e immagine, output di testo
Pricing: $1.36/$4.18 per 1M di token di input/output ($0.14 per 1M di token di input memorizzati nella cache), con uno sconto del 50% per le prime due settimane ($0.68/$2.09)
Disponibilità: Anteprima pubblica per la ricerca su API di Mistral, con pesi aperti previsti per la fine di ottobre

Confronto con i modelli cinesi

Mistral Large 4 ha ottenuto un punteggio di 38 nell'Artificial Analysis Intelligence Index v4.3.2, rendendolo il "modello più intelligente al di fuori degli Stati Uniti e della Cina". Tuttavia, almeno cinque modelli cinesi open-weight hanno ottenuto punteggi più alti nell'indice: DeepSeek V4.1 Flash (max) a 39, GLM-5.3-Flash a 42, Kimi K3 (max) a 44, GLM-5.3 (max) a 45, e MiMo-V2.6-Pro a 46.

Cybersecurity e applicazioni aziendali

Mistral afferma che Large 4 è "all'avanguardia tra i modelli open" per i carichi di lavoro aziendali come cybersecurity, finanza e diritto. Nel campo del visual grounding, dove entra in gioco il suo vision encoder da 1.6 miliardi di parametri, può arrivare a "superare anche i modelli chiusi di frontiera". Nell'Artificial Analysis Cyber Index, Mistral afferma che Large 4 si posiziona "tra i primi cinque modelli a livello globale" e risolve il 93% di Cybench, un set di 40 sfide tratte da competizioni di sicurezza.

Il CEO Arthur Mensch ha dichiarato che il modello è "superiore ai modelli cinesi in alcuni aspetti, inclusa la cybersecurity". Altri risultati di Mistral includono DeepSWE v1.1 al 61.7%, Coding Agent Index al 49.8%, AutomationBench al 59.9% e Dense 200 al 42%. Secondo il grafico di AA, Large 4 si posiziona al 27% su Terminal-Bench 4.0.

Nonostante il costo elevato, Mistral Large 4 rappresenta un passo significativo nel campo dei modelli linguistici open-weight, offrendo prestazioni competitive in vari settori e aprendo nuove possibilità per le applicazioni aziendali.