Thinking Machines Lab ha annunciato l’emissione di Inkling, il primo modello addestrato da zero della sua serie, con pesi open-source e capacità di personalizzazione. Il laboratorio posiziona il modello come una base versatile per applicazioni specifiche grazie alla sua architettura avanzata.

Che cosa è Inkling?

Inkling è un modello multimodale a base Mixture-of-Experts con un totale di 975 miliardi di parametri e 41 miliardi di parametri attivi. Supporta un contesto di elaborazione fino a un milione di token e ha ricevuto un training su 45 trilioni di token provenienti da testi, immagini, audio e video.

Le entrata del modello accettano testo, immagini e audio, con uscite in formato UTF-8 testuale solo. Accanto a Inkling, il team di ricerca ha anticipato l’introduzione di Inkling-Small, un MoE da 276 miliardi di parametri con 12 miliardi di parametri attivi. Il piccolo modello corrisponde o supera il grande in diversi benchmark, con i pesi disponibili dopo i test.

All'origine dell’architettura

L’architettura di Inkling si basa su un transformer decoder-only con 66 strati, un nucleo feed-forward basato su sparse MoE. Ciascun strato MoE include 256 esperti distribuiti e 2 esperti condivisi. Per ogni token vengono attivati 6 esperti distribuiti e i due condivisi su tutti i token.

La scelta degli esperti si basa su un router a funzione sigma, con un bilanciamento del carico che non richiede l’uso di una perdita ausiliaria. I punteggi dei router e degli esperti condivisi vengono normalizzati insieme e utilizzati per il calcolo dell’output. L’architettura MoE segue in gran parte la progettazione di DeepSeek-V3.

Le attenzioni differiscono dai modelli tradizionali. I livelli di finestra scorrevole e globali si alternano in una proporzione di 5:1 con 8 testine di chiave e valore. Le posizioni utilizzano un embedding posizionale relativo, più efficace del RoPE. Vengono applicati brevi convoluzioni dopo le proiezioni chiave e valore, e sull’output delle ramificazioni residue.

La multimodalità è priva di encoders esterni. Gli input audio vengono convertiti in spettri dMel, mentre le immagini vengono ridotti a patch 40×40 tramite una rete hMLP a quattro strati. Una sottile mappa di embedding gestisce entrambi i tipi di input per essere elaborati assieme ai testi all'interno della rete.

L’addestramento ha utilizzato il framework Muon per gestire matrici di peso e Adam per altri parametri. È stato eseguito su sistemi NVIDIA GB300 NVL72. La fase post-addestramento si è basata su SFT su dati sintetici, tra cui output generati da Kimi K2.5. La maggior parte del calcolo è andata ad ampliare una sperimentazione di RL, superando i 30 milioni di iterazioni, con risultati migliorati in modo logaritmico.

Controllo dello sforzo cognitivo

Durante la fase di RL, il team ha regolato lo sforzo modificando il messaggio di sistema e il costo pro token. Il modello ha imparato a variare le risorse a seconda del compito, e l’opzione di controllo consente di regolare l'”sforzo di ragionamento” da 0.2 a 0.99. Nella libreria transformers, questo controllo si espone come reasoning_effort.

I dati sull’efficienza del modello sono molto specifici: Inkling spende un terzo dei token di Nemotron 3 Ultra per ottenere una parità in Terminal Bench 2.1. Il costo e la latenza possono essere regolati per ogni singola richiesta, non fissi per modello.

Oltre al controllo, il team ha mirato direttamente ai concetti di attendibilità, progettando un meccanismo chiave per il funzionamento stabile dei modelli personalizzati.

Prestazioni

Tutte le valutazioni di Inkling sono state eseguite a effort=0.99 e temperatura 1.0, con un limite del percorso di 256K token per attività di codifica. Alcuni punteggi sono forniti da un'analisi esterna da parte di una testata terza parte. In termini di performance, Inkling compete con i modelli open-weights in modo eccezionale.

Ecco i risultati per alcuni benchmark:

    • HLE (text only): 29.7%
    • AIME 2026: 97.1%
    • GPQA Diamond: 87.2%
    • SWEBench Verified: 77.6%
    • Terminal Bench 2.1: 63.8%
    • MCP Atlas: 74.1%
    • SimpleQA Verified: 43.9%
    • IFBench: 79.8%
    • FORTRESS (Adversarial): 78.0%

Inkling guida il gruppo open-weights per FORTRESS Adversarial con il 78.0%. Rimane però in ritardo rispetto al GLM 5.2 per Terminal Bench 2.1, di circa 18.9 punti. Ottiene il 73.5% su MMMU Pro e il 91.4% su VoiceBench. Su Design Arena, la tabella di classifica per sviluppo web agente segna un 1257, valutato da umani.

Esecuzione e addestramento personalizzato

Vengono forniti due checkpoint. Il modello in BF16 richiede almeno 2TB di memoria VRAM aggregata: 8x NVIDIA B300 o 16x H200. La precisione NVFP4 riduce l’esigenza a 600GB, gestendo W4A4 su 4x B300 o W4A16 su 8x H200. Il modello supporta runtime come SGLang, vLLM, TokenSpeed, Unsloth, e Hugging Face transformers.

Ecco un esempio di codice per utilizzare il modello:



pip install -U transformers (5.14.0 o successivo)


from transformers import AutoModelForMultimodalLM, AutoProcessor



model_id = "thinkingmachines/Inkling"           # BF16, Hopper o Blackwell


model_id = "thinkingmachines/Inkling-NVFP4"   # NVFP4, Blackwell



processor = AutoProcessor.frompretrained(modelid)


model = AutoModelForMultimodalLM.from_pretrained(


modelid, dtype="auto", devicemap="auto",


)



messages = [


{"role": "user", "content": [


{"type": "audio", "audio": "support_call.wav"},   # file WAV a 16kHz


{"type": "text", "text": "Trascrivi e fai un elenco delle lamentele sui conti."},


]},


]



inputs = processor.apply_chat