IBM annuncia oggi la release dell'IBM Granite 3.1, l'ultimo aggiornamento alla serie di modelli linguistici open source, performanti e ottimizzati per uso aziendale. Questo aggiornamento si concentra sull'aumento della capacità di performance, precisione e responsabilità in importanti casi d'uso aziendali come l'utilizzo degli strumenti, la generazione aumentata delle informazioni (RAG) e i flussi di lavoro AI scalabili.
Granite 3.1 8B Instruct: miglioramenti significativi sulle prestazioni
Il modello 8B Instruct di Granite 3.1 mostra un miglioramento significativo rispetto al predecessore, Granite 3.0 8B Instruct. Il punteggio medio negli esami standard di Hugging Face OpenLLM Leaderboard posiziona il modello tra i migliori nella sua classe di dimensione.
Il modello è particolarmente avanzato in casi come IFEval, in cui vengono testate capacità di seguire istruzioni dettagliate, e MuSR, dove vengono misurati i processi di ragionamento e comprensione su testi lunghi.
I progressi nell’efficienza e nella precisione nei casi d'uso aziendali, come il supporto per agenti AI, rafforzano la posizione di Granite 3.1.
Ingrandimento della finestra di contesto
La finestra di contesto per tutti i modelli della serie Granite 3.1 è stata espansa a 128.000 token. Il token è unità di base per rappresentare un elemento di testo, e una finestra di 128K token corrisponde approssimativamente a un libro di 300 pagine.
Le lunghezze del contesto superiore a 100.000 token aprono nuove possibilità complesse, come: risposte a domande su più documenti, comprensione al livello del repository di codice, autoreflexion e agenti autonomi a base di modelli linguistici.
La funzionalità offre possibilità più ampie a livello enterprise, da elaborazioni su codici sorgente, documenti legali completi, a una revisione contemporanea di migliaia di transazioni finanziarie.
Granite Guardian 3.1: rilevazione di errori di generazione
I modelli 8B e 2B di Granite Guardian 3.1 introducono una funzione di rilevamento delle hallucinatione nei processi agent-based (agente orientato), permettendo un controllo maggiore e migliorando la trasparenza per il funzionamento degli agenti e strumenti chiamanti.
Il modello monitora ogni richiesta di funzione, sia a livello sintattico che semantico, riconoscendo informazioni non genuine. Se un agente interroga una fonte esterna, per esempio, Granite Guardian 3.1 eseguirà un controllo sulla plausibilità e origine delle informazioni.
Il supporto include calcoli a metà agente che richiamano informazioni numeriche da un archivio bancario, verificando correttezza di informazione e processo.
Granite Guardian 3.1 sarà disponibile su Hugging Face e attraverso Ollama, e su IBM watsonx.ai entro gennaio 2025.
Modelli di embedding
I modelli di embedding sono fondamentali per i flussi LLM, utilizzati per la rappresentazione matematica di parole, domande e documenti. Essi supportano funzionalità come la ricerca semantica, la ricerca vettoriale e RAG.
I nuovi modelli di embedding della famiglia Granite, disponibili in quattro dimensioni (dai 30M ai 278M parametri), supportano dodici lingue: inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese e cinese.
I modelli migliorano la capacità di comprendere le intenzioni dell'utente e rafforzano la correlazione di informazioni ed esito rispetto ad una determinata richiesta. Questi modelli open source, insieme a diversi strumenti e framework già offerti, aprono opportunità di sviluppo evolute per RAG, agenti AI e flussi di lavoro basati su modelli linguistici.
Disponibilità e Open Source
Tutti i modelli, inclusi Granite 3.1, Granite Guardian 3.1 e Granite Embedding sono open source e rilasciati sotto la licenza Apache 2.0.
I modelli sono disponibili su IBM watsonx.ai e su piattaforme partner come Docker, Hugging Face, LM Studio, Ollama e Replicate.
Che cos'è IBM Docling e Bee?
Oltre ai nuovi modelli, IBM ha recentemente rilasciato Docling, una piattaforma open source per preparare documenti per l'uso con RAG e generative AI, e Bee, un framework model-agnostic open source per agenti AI.
Persone e partner
IBM sta collaborando con vari partner in settori diversi. Samsung intende integrare determinati modelli Granite nella propria piattaforma SDS. Lockheed Martin ha adottato modelli di Granite 3.1 dentro le sue strumentalità AI Factory, utilizzate da oltre 10.000 sviluppatori.
Avanzamenti futuri
I nuovi modelli non rappresentano l’unica iniziativa IBM in campo open source. I contributi IBM per modelli linguistici open source continueranno: sono previsti aggiornamenti al modello in vista del Q1 2025, con nuove funzionalità multimodali per i modelli.
Un lancio recente, in particolare, ha incluso un modello sperimentale dotato di funzionalità visive e comprensione documentale.
Conclusione
IBM conferma il proprio impegno nello sviluppo open source con Granite 3.1, offrendo strumenti all'avanguardia per utilizzo aziendale. Le migliorie di performance, i nuovi embedding, la rilevazione di errori in agenti AI, il contesto esteso e la compatibilità con partner chiave, rappresentano un altro importante passo avanti nella realizzazione di soluzioni AI aziendali affidabili e trasparenti.