I modelli di linguaggio sono un tipo di intelligenza artificiale generativa (GenAI) che utilizza l'elaborazione del linguaggio naturale (NLP) per comprendere e generare il linguaggio umano. I grandi modelli di linguaggio (LLM) ne sono la forma più potente. Gli LLM vengono addestrati su dataset massivi utilizzando algoritmi avanzati di machine learning (ML) per apprendere i modelli e le strutture del linguaggio umano e generare risposte testuali a prompt scritti. Tra gli esempi di LLM si possono citare BERT, Claude, Gemini, Llama e la famiglia di LLM Generative Pretrained Transformer (GPT).

Gli LLM hanno ampiamente superato i loro predecessori in termini di prestazioni e capacità in diverse attività legate al linguaggio. La loro abilità di generare contenuti complessi e sfumati e di automatizzare compiti per ottenere risultati comparabili a quelli umani è alla base di progressi in vari settori. Gli LLM sono ampiamente integrati nel mondo aziendale per avere un impatto in diversi ambienti e casi d'uso, tra cui l'automazione del supporto, la scoperta di insight e la generazione di contenuto personalizzato.

L'Architettura Sottostante dei LLM

Le principali capacità degli LLM in termini di IA e linguaggio sono le seguenti: la maggior parte degli LLM è costruita utilizzando un'architettura di tipo Transformer. Essi funzionano suddividendo il testo di input in token (unità di sotto-parole), integrando questi token in vettori numerici e utilizzando meccanismi di attenzione per comprendere le relazioni nell'insieme dell'input. Prevedono quindi il token successivo in una sequenza al fine di generare output coerenti.

Metodi di Addestramento dei LLM

L'addestramento degli LLM è un processo complesso che può essere suddiviso in diverse fasi, ciascuna con un ruolo cruciale nella determinazione delle capacità e della specializzazione del modello.

Il Pre-addestramento (Pre-training)

Il pre-addestramento di un modello LLM si riferisce al processo di addestramento su un vasto corpus di dati, come testo o codice, senza utilizzare conoscenze pregresse o pesi di un modello esistente. Il risultato di un pre-addestramento completo è un modello di base che può essere utilizzato direttamente o affinato per compiti successivi.

Il pre-addestramento garantisce che le conoscenze fondamentali del modello siano adattate al dominio specifico di interesse. Il risultato è un modello personalizzato che si distingue per i dati unici dell'organizzazione. Tuttavia, il pre-addestramento è generalmente il tipo di addestramento più esteso e costoso, e non è comune per la maggior parte delle organizzazioni, che spesso preferiscono partire da modelli già pre-addestrati.

Il Fine-tuning

Il fine-tuning è un processo volto ad adattare un LLM pre-addestrato utilizzando un dataset relativamente più piccolo e specifico per un dominio o un compito particolare. Durante il processo di fine-tuning, l'addestramento continua per un breve periodo, ad esempio regolando un numero di pesi inferiore rispetto all'intero modello.

Le due forme più comuni di affinamento sono:

Réglage fin par instructions supervisées: questo approccio consiste nel continuare l'addestramento di un LLM pre-addestrato su un dataset di esempi di input-output, generalmente diverse migliaia. In questo modo, il modello impara a rispondere a specifiche richieste o a eseguire compiti precisi in base agli esempi forniti.
Pré-entraînement continu: questo metodo di affinamento non si basa su esempi di input e output, ma utilizza piuttosto testo non strutturato specifico per un dominio per continuare lo stesso processo di pre-addestramento (come la previsione del token successivo e la modellazione del linguaggio mascherato). Questo aiuta il modello a interiorizzare ulteriormente il vocabolario e la semantica di un dominio specifico.

L'affinamento è importante perché consente a un'organizzazione di prendere un LLM di base e di addestrarlo con i propri dati per una maggiore precisione e una migliore personalizzazione per il dominio e i carichi di lavoro dell'azienda. Questo approccio offre anche un controllo maggiore sui dati di addestramento, il che è un vantaggio per l'uso responsabile dell'IA, garantendo che il modello sia allineato con i valori e i requisiti etici dell'organizzazione.

La Tecnologia Alla Base: Deep Learning e Reti Neurali

Gli LLM si basano sul deep learning, una forma di IA in cui un programma viene addestrato utilizzando grandi quantità di dati, sulla base di probabilità. Grazie alla loro esposizione a dataset massivi, gli LLM possono addestrarsi a riconoscere modelli e relazioni linguistiche senza programmazione esplicita, con meccanismi di auto-apprendimento per migliorare continuamente la loro precisione.

Gli LLM si basano su reti neurali artificiali, ispirate alla struttura del cervello umano. Queste reti sono composte da nodi interconnessi organizzati in strati, comprendenti uno strato di input, uno strato di output e uno o più strati intermedi. Ogni nodo elabora e trasmette le informazioni allo strato successivo in base ai modelli appresi.

Gli LLM utilizzano un tipo di rete neurale chiamato modello Transformer. Questi modelli rivoluzionari possono analizzare un'intera frase in una sola volta, a differenza dei modelli più vecchi che elaboravano le parole in sequenza. Questo consente loro di comprendere il linguaggio più rapidamente e in modo più efficiente. I modelli Transformer utilizzano una tecnica matematica chiamata auto-attenzione, che attribuisce un'importanza variabile alle diverse parole di una frase, permettendo al modello di cogliere le sfumature di significato e di comprendere il contesto. La codifica posizionale aiuta il modello a comprendere l'importanza dell'ordine delle parole all'interno di una frase, essenziale per la comprensione del linguaggio. Il modello Transformer consente agli LLM di elaborare grandi quantità di dati, di apprendere informazioni contestualmente pertinenti e di generare contenuto coerente. Questi modelli Transformer sono il fondamento di tutti gli LLM moderni.

Casi d'Uso e Impatto Aziendale dei LLM

Gli LLM possono avere un impatto in molti settori, tutti i comparti inclusi. Ecco alcuni casi d'uso tipici che dimostrano la versatilità e il potere di queste tecnologie:

JetBlue ha implementato «BlueBot», un robot conversazionale che si basa su modelli open source di IA generativa arricchiti con dati aziendali, eseguiti con Databricks. Questo chatbot è a disposizione di tutti i team di JetBlue che possono accedere a dati in base al loro ruolo. Il team «finanza», per esempio, può consultare i dati SAP e le dichiarazioni regolamentari, ma i team operativi vedranno solo le informazioni di manutenzione. Ciò ottimizza la distribuzione delle informazioni e la produttività interna.
Chevron Phillips sfrutta le soluzioni di IA generativa basate su modelli open source come Dolly di Databricks per semplificare l'automazione del trattamento dei documenti. Questi strumenti trasformano i dati non strutturati provenienti da PDF e manuali in insight strutturati, consentendo un'estrazione di dati più rapida e precisa per le Operazioni e la Business Intelligence. Le politiche di governance garantiscono la produttività e la gestione dei rischi, mantenendo al contempo la tracciabilità e la conformità.
Thrivent Financial si avvale dell'IA generativa e di Databricks per accelerare le ricerche, fornire insight più chiari e accessibili e aumentare la produttività del Data Engineering. Raggruppando i dati su un'unica piattaforma con una governance basata sui ruoli, l'azienda crea uno spazio sicuro dove i team possono innovare, esplorare e lavorare in modo più efficiente, promuovendo una cultura dell'innovazione basata sui dati.

Recenti Progressi Tecnologici

Diverse recenti scoperte tecnologiche hanno spinto gli LLM alla ribalta, rendendoli accessibili e potenti come mai prima d'ora.

Modelli Architettonici per la Personalizzazione delle Applicazioni LLM

Quando si cerca di personalizzare un'applicazione LLM con i dati della propria organizzazione, è necessario esaminare quattro modelli di architettura. Queste diverse tecniche, descritte più avanti, non si escludono a vicenda. Al contrario, possono (e devono) essere combinate per sfruttare i rispettive punti di forza.

Indipendentemente dalla tecnica scelta, l'organizzazione dovrà creare la propria soluzione adottando un approccio modulare e rigorosamente strutturato per prepararsi a iterare e adattare il modello nel tempo. È possibile approfondire questo approccio e molto altro in The Big Book of Generative AI.

Prompt Engineering

L'ingegneria del prompt consiste nell'adattare i prompt testuali forniti a un LLM al fine di ottenere risposte più precise o pertinenti. Non tutti gli LLM producono risultati della stessa qualità, poiché l'ingegneria del prompt è specifica per ogni modello. Ecco alcuni consigli generali che funzionano per dive