Benvenuto Le Chonk: Mistral Large 4 su Hugging Face

Mistral Large 4, noto anche come Le Chonk, è un modello multimodale e multilingue sviluppato da Mistral. Questo modello, basato su una combinazione di esperti (Mixture-of-Experts, MoE), è in grado di elaborare sia testo che immagini come input e generare testo come output. Con circa 1 trilione di parametri totali, 49 miliardi di parametri attivi e una finestra di contesto di 1 milione di token, Mistral Large 4 rappresenta un avanzamento significativo nel campo dei modelli linguistici.

Architettura e Funzionamento

Mistral Large 4 combina un ampio pool di esperti con l'attenzione sparso e un encoder Pixtralvision. Il modello seleziona un piccolo gruppo di esperti per ogni token, mentre l'indice di attenzione seleziona quali posizioni di token precedenti considerare. Queste due forme di sparsità permettono al modello di essere altamente efficiente.

Il decoder di testo del modello ha 72 livelli, una dimensione nascosta di 6.144 e 64 teste di attenzione. I blocchi di attenzione combinano Multi-head Latent Attention (MLA) con un indexer DeepSeek Sparse Attention (DSA). MLA mantiene una rappresentazione compressa KV, mentre DSA seleziona fino a 2.048 posizioni chiave per ogni query.

Per ogni blocco decoder, c'è un pattern 3:1 RoPE a NoPE, ovvero 3 livelli decoder utilizzano RoPE e ogni quarto livello utilizza NoPE. Il modello condivide anche lo stato KV tra i livelli. Il primo livello decoder utilizza una rete feed-forward densa, mentre gli altri 71 livelli utilizzano blocchi MoE, in cui un router softmax seleziona quattro dei 128 esperti per ogni token. Un esperto condiviso viene sempre eseguito insieme agli esperti selezionati, per un totale di 5 esperti attivi per token.

Capacità di Sicurezza Informatica

Mistral Large 4 è particolarmente forte in ambito di sicurezza informatica. Ha ottenuto un punteggio dell'82% nel test Artificial Analysis Cyber Index, che richiede al modello di riprodurre una vulnerabilità in un software open-source e poi correggere il software. Questo è cruciale per i difensori, poiché la correzione di una vulnerabilità richiede spesso la riproduzione della vulnerabilità stessa.

Il modello è anche utile per l'analisi di malware, la prioritizzazione delle vulnerabilità e la scrittura di regole di rilevamento, capacità per le quali non è stato esplicitamente addestrato. Mistral posiziona principalmente il modello per lavori di sicurezza difensiva, poiché la ricerca sulle vulnerabilità e la risposta agli incidenti spesso sembrano attacchi negli input del modello, il che può portare a blocchi da parte di filtri di modelli chiusi.

Applicazioni e Implementazioni

Mistral Large 4 è distribuito sotto la Mistral Ecosystem Open-Weight License, una derivazione della licenza MIT che stabilisce limitazioni per le offerte di modelli come servizio. Questo modello è particolarmente utile per i costruttori di comunità, poiché sblocca una serie di casi d'uso a valle. Ad esempio, è possibile costruire un proprio sistema di sicurezza intorno al codice base, ai log di crash e ai campioni di malware.

Il modello è supportato da diverse piattaforme, tra cui Transformers, vLLM e llama.cpp. Sono disponibili anche quantizzazioni GGUF create da Unsloth e il team llama.cpp. Mistral Large 4 può essere eseguito con diversi livelli di sforzo di ragionamento: basso, medio, alto. Il livello predefinito è alto e il ragionamento non può essere disattivato.

Prestazioni e Benchmark

Mistral Large 4 offre prestazioni solide in vari benchmark. Nel campo della codifica, ha ottenuto il 61,7% su DeepSWE v1.1, il 59,4% su SWE-Atlas-QnA e il 28,3% su Terminal-Bench 4. Il suo punteggio combinato Coding Agent Index del 49,8% lo posiziona davanti a DeepSeek V4 Pro 0813 e Qwen3.8 Max.

Le capacità di codifica del modello si estendono anche al lavoro di conoscenza, con il 59,9% su AutomationBench e 1.393 Elo su AA-Briefcase, che valutano i flussi di lavoro aziendali e i compiti professionali a lungo orizzonte. In ambito di sicurezza informatica, il modello ha dimostrato una resistenza agli attacchi del 93,3% nel benchmark B3 di Lakera, evidenziando la sua robustezza contro gli attacchi di iniezione di prompt.

Fine-Tuning e Implementazione

Mistral Large 4 è disponibile anche su Inference Endpoints, con una ricetta pronta all'uso su 8 GPU NVIDIA H200. La ricetta esegue vLLM con la variante FP8 del modello. Inoltre, il modello supporta il fine-tuning utilizzando TRL, permettendo agli utenti di addestrare il modello su compiti specifici.

Per eseguire il modello, è possibile utilizzare script Python per Transformers, vLLM e llama.cpp. Ad esempio, per vLLM, è possibile avviare il server con il seguente comando:

• python -m vllm.entrypoints.openai.api_server --model mistral-large-4

Una volta avviato il server, è possibile interagire con il modello tramite l'interfaccia web o tramite query API. Il team llama.cpp fornisce diverse quantizzazioni, tra cui IQ2XXS, Q2K, Q4KM, NVFP4, Q8_0 e BF16, che possono essere eseguite su diverse configurazioni hardware.

Conclusione

Mistral Large 4 rappresenta un significativo avanzamento nel campo dei modelli linguistici open-weight. Le sue capacità multimodali, la forte performance in sicurezza informatica e codifica, e la flessibilità di implementazione lo rendono un strumento prezioso per la comunità. Con il supporto per il fine-tuning e l'esecuzione su diverse piattaforme, Mistral Large 4 è pronto per essere utilizzato in una vasta gamma di applicazioni.