Che cosa è la retrieval augmented generation (RAG)?

Introduzione alla retrieval augmented generation

La retrieval augmented generation (RAG) rappresenta un'evoluzione significativa nel campo dell'intelligenza artificiale generativa, offrendo un metodo innovativo per migliorare le prestazioni dei modelli linguistici di grandi dimensioni. In un contesto dove le organizzazioni necessitano di soluzioni AI sempre più sofisticate e personalizzate, la RAG emerge come una tecnologia chiave che permette di colmare il divario tra le capacità generiche dei foundation model e le esigenze specifiche dei singoli settori e aziende.

La RAG è un'architettura che ottimizza le prestazioni di un modello di intelligenza artificiale collegandolo a knowledge base esterne. Questo approccio aiuta i modelli linguistici di grandi dimensioni (LLM) a fornire risposte più pertinenti con una qualità superiore rispetto a quanto potrebbero fare utilizzando esclusivamente i dati su cui sono stati addestrati. La soluzione rappresenta una risposta pragmatica a una delle limitazioni fondamentali della AI generativa contemporanea.

Come funziona la RAG: il contesto tecnico

Per comprendere appieno il valore della RAG, è importante considerare il modo in cui funzionano i modelli di AI generativa tradizionali. I modelli di AI generativa sono addestrati su set di dati di grandi dimensioni e fanno riferimento a queste informazioni per generare output. Tuttavia, i set di dati di addestramento non sono infiniti e sono limitati alle informazioni a cui può accedere lo sviluppatore di AI, ovvero opere di pubblico dominio, articoli su Internet, contenuti sui social media e altri dati accessibili al pubblico.

Questa limitazione intrinseca rappresenta un collo di bottiglia significativo per molte applicazioni aziendali. Un'organizzazione che desideri implementare un sistema AI per supportare il servizio clienti, ad esempio, si troverebbe di fronte al fatto che il modello non possiede alcuna conoscenza dei prodotti specifici dell'azienda, delle politiche interne o delle linee guida operative. Tradizionalmente, l'unica soluzione era riaddestrare o mettere a punto il modello su nuovi dati, un processo costoso dal punto di vista computazionale.

La RAG consente ai modelli di AI generativa di accedere a knowledge base esterne aggiuntive, come dati organizzativi interni, riviste accademiche e set di dati specializzati. Integrando informazioni rilevanti nel processo di generazione, i chatbot e altri strumenti di elaborazione del linguaggio naturale (NLP) possono creare contenuti specifici più accurati per un dominio, senza bisogno di ulteriore addestramento. Questo rappresenta un cambio di paradigma significativo nel modo in cui le organizzazioni possono implementare e gestire sistemi di AI generativa.

I principali benefici della RAG

La RAG consente alle organizzazioni di evitare gli elevati costi di riaddestramento necessari per adattare i modelli di AI generativa ai casi d'uso specifici del dominio. Le aziende possono utilizzare la RAG per colmare le lacune nella knowledge base di un modello di machine learning, in modo che possa fornire risposte migliori. I principali benefici della RAG includono:

• Implementazione e scalabilità AI a costi contenuti
• Accesso ai dati attuali specifici del dominio
• Minor rischio di allucinazioni AI
• Maggiore fiducia degli utenti
• Casi d'uso ampliati
• Controllo degli sviluppatori e manutenzione dei modelli migliorati
• Maggiore sicurezza dei dati

Implementazione e scalabilità dell'AI efficienti in termini di costi

Durante l'implementazione dell'AI, la maggior parte delle organizzazioni seleziona innanzitutto un foundation model, ovvero i modelli di deep learning che fungono da base per lo sviluppo di versioni più avanzate. I foundation model dispongono di knowledge base generalizzate, popolate da dati di addestramento disponibili al pubblico, come i contenuti Internet disponibili al momento dell'addestramento.

Riaddestrare o mettere a punto un foundation model, ovvero addestrarlo ulteriormente su nuovi dati in un set di dati più piccolo e specifico del dominio, è costoso dal punto di vista computazionale e richiede molte risorse. Il modello regola alcuni o tutti i suoi parametri per adattare le sue prestazioni ai nuovi dati specializzati. Questo processo richiede infrastrutture hardware sofisticate, data scientist esperti e tempo significativo di elaborazione.

Con la RAG, le aziende possono utilizzare fonti di dati interne autorevoli e ottenere aumenti simili delle prestazioni del modello senza doverlo riaddestrare. Le aziende possono scalare l'implementazione delle applicazioni di AI in base alle necessità, mitigando gli aumenti dei costi e delle risorse. Questo permette anche alle organizzazioni di dimensioni più piccole di accedere alla potenza della AI generativa senza dover investire in costose infrastrutture di formazione.

Accesso ai dati attuali e ai dati specifici del dominio

I modelli di AI generativa hanno un limite di conoscenza, ovvero il momento in cui i loro dati di addestramento sono stati aggiornati l'ultima volta. Via via che un modello invecchia oltre il limite di conoscenza, perde rilevanza nel tempo. Questo rappresenta una sfida particolare per settori come la finanza, la medicina o il giornalismo, dove le informazioni cambiano rapidamente e l'accuratezza è critica.

I sistemi RAG collegano i modelli con dati esterni supplementari in tempo reale e incorporano informazioni aggiornate nelle risposte generate. Le aziende utilizzano la RAG per dotare i modelli di informazioni specifiche, come i dati proprietari dei clienti, le ricerche autorevoli e altri documenti pertinenti. Un modello RAG può essere aggiornato istantaneamente semplicemente alimentando il sistema con nuovi dati, senza necessità di riaddestramento.

I modelli RAG possono anche connettersi a Internet con le application programming interface (API) e accedere in tempo reale ai feed dei social media e alle recensioni per una migliore comprensione del sentiment del mercato. Nel frattempo, l'accesso alle ultime notizie e ai motori di ricerca può portare a risposte più accurate, poiché i modelli incorporano le informazioni recuperate nel processo di generazione del testo. Un analista di mercato potrebbe quindi ricevere informazioni completamente aggiornate su trends e competitor in tempo reale.

Minore rischio di allucinazioni AI

Una delle sfide più significative nell'uso della AI generativa contemporanea è il fenomeno delle allucinazioni. I modelli di AI generativa come GPT di OpenAI funzionano rilevando i pattern nei loro dati, quindi utilizzandoli per prevedere i risultati più probabili in base agli input degli utenti. A volte i modelli rilevano pattern che non esistono. Un'allucinazione o confabulazione si verifica quando i modelli presentano informazioni errate o inventate come se fossero reali.

Questo problema è particolarmente critico in settori dove l'accuratezza è fondamentale, come la medicina, il diritto o la finanza. Un chatbot che genera informazioni errate su un medicinale o una procedura medica potrebbe causare danni reali agli utenti. La RAG lega gli LLM a conoscenze specifiche supportate da dati fattuali, autorevoli e aggiornati. Rispetto a un modello generativo che opera solo sui dati di addestramento, i modelli RAG tendono a fornire risposte più accurate nel contesto dei loro dati esterni.

Sebbene la RAG possa ridurre significativamente il rischio di allucinazioni ancorandosi a fonti di informazioni concrete e verificabili, è importante notare che non può rendere un modello a prova di errore. Il sistema potrebbe ancora selezionare informazioni rilevanti ma non completamente accurate, o potrebbe interpretare male le query dell'utente. Tuttavia, il miglioramento è sostanziale e misurabile, particolarmente quando il sistema RAG è collegato a database verificati e aggiornati regolarmente.

Maggiore fiducia degli utenti

I chatbot, un'implementazione comune dell'AI generativa, rispondono alle domande poste dagli utenti umani. Affinché un chatbot come ChatGPT abbia successo, gli utenti devono considerare il suo output come affidabile. Una delle sfide principali nel convincere gli utenti a fidarsi dei sistemi AI è la mancanza di trasparenza sulla provenienza delle informazioni.

I modelli RAG possono includere citazioni alle fonti di informazioni nei loro dati esterni quale parte delle loro risposte. Quando i modelli RAG citano le loro fonti, gli utenti umani possono verificare quegli output per confermare l'accuratezza mentre consultano le opere citate per ulteriori chiarimenti e informazioni aggiuntive. Questo meccanismo di citazione trasforma il chatbot da una "scatola nera" a un sistema più trasparente e tracciabile.

Il data storage aziendale è spesso un labirinto complesso e basato su silos di dati. Le risposte RAG con citazioni indirizzano gli utenti direttamente verso i materiali di cui necessitano, risolvendo un problema pratico comune nelle grandi organizzazioni. Un dipendente che cerchi una specifica politica aziendale, ad esempio, potrebbe non solo ottenere una risposta, ma anche un collegamento preciso alla fonte ufficiale della documentazione.

Casi d'uso estesi

L'accesso a più dati significa che un modello può gestire una gamma più ampia di prompt. Le aziende possono ottimizzare i modelli e trarne più valore ampliando le proprie knowledge base, espandendo a loro volta i contesti in cui tali modelli generano risultati affidabili. Un sistema RAG ben implementato diventa progressivamente più potente man mano che vengono aggiunti più dati alle sue fonti esterne.

Combinando l'AI generativa con i sistemi di recupero, i modelli RAG possono recuperare e integrare informazioni da più fonti di dati in risposta a query complesse. Un sistema potrebbe, ad esempio, combinare dati interni su clienti, informazioni di mercato esterne e analisi competitive per fornire una visione olistica della situazione competitiva di un'azienda. Questa capacità di sintetizzare informazioni da molteplici fonti rappresenta un valore significativo per i decision-maker aziendali.

Controllo degli sviluppatori e manutenzione dei modelli migliorati

Le organizzazioni moderne elaborano costantemente enormi quantità di dati, dagli input degli ordini alle proiezioni di mercato, fino al turnover dei dipendenti e molto altro. La creazione di una pipeline di dati efficace e il data storage sono fondamentali per una solida implementazione RAG. La RAG trasforma il problema della gestione dei dati da una sfida tecnica nel livello del modello a una sfida di gestione dei dati più tradizionale.

Allo stesso tempo, gli sviluppatori e i data scientist possono modificare in qualsiasi momento le fonti di dati a cui i modelli hanno accesso. Riposizionare un modello da un'attività all'altra diventa un compito di adeguamento delle sue fonti di informazioni esterne, anziché di perfezionamento o riaddestramento. Se è necessaria una messa a punto, gli sviluppatori possono dare priorità a questo lavoro anziché gestire le fonti dei dati del modello. Questa flessibilità permette alle organizzazioni di adattarsi rapidamente ai cambiamenti dei requisiti aziendali.

Maggiore sicurezza dei dati

Un vantaggio spesso trascurato della RAG è il suo profilo di sicurezza migliorato rispetto all'addestramento tradizionale. Poiché la RAG collega un modello a fonti di informazioni esterne anziché incorporare tali informazioni nei dati di addestramento del modello, mantiene un divario tra il modello e le informazioni esterne. Le aziende possono utilizzare la RAG per conservare i dati di prima parte e contemporaneamente concedere ai modelli l'accesso a essi; tale accesso può essere revocato in qualsiasi momento.

Se un'azienda decide di smettere di utilizzare un modello RAG, può semplicemente disconnetterlo dalle sue knowledge base esterne senza preoccuparsi che i dati sensibili rimangano incorporati nei parametri del modello. Questo è un vantaggio significativo per le organizzazioni che operano in settori altamente regolamentati come il settore finanziario o quello sanitario.

Tuttavia, le aziende devono essere vigili per mantenere la sicurezza degli stessi database esterni. La RAG utilizza i database vettoriali, che a loro volta utilizzano gli embedding per convertire i punti dati in rappresentazioni numeriche. Se questi database vengono violati, gli aggressori possono invertire il processo di embedding del vettore e accedere ai dati originali, soprattutto se il database vettoriale non è crittografato. Pertanto, la sicurezza della RAG dipende sia dalla sicurezza del modello che dalla sicurezza dei database esterni ad esso collegati.

Casi d'uso della RAG nel mondo reale

I sistemi RAG consentono essenzialmente agli utenti di interrogare i database utilizzando un linguaggio colloquiale. Le capacità di risposta alle domande basate sui dati dei sistemi RAG sono state applicate in una serie di casi d'uso, trasformando il modo in cui le organizzazioni gestiscono l'informazione e supportano i loro utenti. Di seguito sono descritti i principali casi d'uso della RAG:

• Chatbot specializzati e assistenti virtuali
• Ricerca
• Generazione di contenuti
• Analisi di mercato e sviluppo di prodotti
• Knowledge engine
• Servizi di raccomandazione

Chatbot specializzati e assistenti virtuali

Le aziende che desiderano automatizzare il supporto