Il momento d'oro dell'AI generativa sta iniziando ad essere più sfidante. Dopo due anni di esperimenti, prototipi rapidi e pressione da parte delle massime autorità aziendali per introdurre progetti di AI realmente impattanti, i dirigenti oggi si trovano davanti a una complessa scena dove l'implementazione di strumenti significativi sembra piena di ostacoli.
Dal semplice chatbot alla complessità dell'agente
Chiunque ormai può costruire una forma di chatbot, e in effetti ormai quasi ogni funzione HR e vendite lo ha già fatto. Ken Exner, Chief Product Officer di Elastic, ha scherzato a riguardo dicendo che ogni divisione ha il proprio “Clippy”, riferendosi all'iconico assistente digitale di Microsoft.
Tuttavia, con il miglioramento delle funzionalità del modello e la sua integrazione con gli strumenti disponibili, si impone ora la costruzione di architetture di agenti AI ben supportate e incentrate su un contesto aziendale molto specifico. Questo non si limita a migliorare i workflow basati su RAG (Retrieval Augmented Generation), ma coinvolge una visione più ampia dell’ingegneria del contesto.
Che Cos'è l'Ingegneria del Contesto?
L'ingegneria del contesto è una disciplina emergente che si occupa di ottimizzare l’accesso alle informazioni rilevanti in modo mirato affinché i modelli AI siano forniti con le giuste informazioni nel formato corretto per poter produrre risultati di valore. Sebbene il “prompt engineering” si concentrasse su come interagire con un modello, l'ingegneria del contesto punta su come ricerchiamo e prepariamo dati rilevanti.
Ken Exner chiarisce che non basta sommergere un modello con una marea di dati per ottenere risultati migliori. Anche con la possibilità di processare grandi quantità di dati (context window), l'eccesso di informazioni può causare “drift” del contesto, ovvero distorsione.
“L'idea giusta è fornire all’LLM la quantità minima di informazione rilevante”, dice il CPO. Questo si traduce in velocità, accuratezza e una gestione migliore della privacy.
Dal RAG al MCP: La nuova frontiera Tecnologica
Lavorare con l'AI significa anche affrontare cambiamenti tecnologici. Il passaggio da RAG al MCP (Model Context Protocol) introduce nuovi strumenti per gli agenti, che possono ora interagire con specifiche API e logiche aziendali.
Con molteplici strumenti a disposizione, il reale dilemma per il modello è decidere quale usare. Secondo Exner e Michael Ni di Constellation Research, la risposta sta tornando al cuore del problema: il search (ricerca informativa), una tecnologia di fondamento.
Il challenge per le aziende è quindi smantellare le frode del dati, standardizzarne il trattamento e migliorarne la qualità, in modo che gli agenti siano in grado di individuare i dati rilevanti in pochi secondi.
La complessità dei silos e dei significati
I dati bloccati all’interno di singoli silos aziendali hanno effetti a catena negli output dell’AI. Senza il contesto giusto, gli LLM restituiscono risposte non complete o errate.
Per comprendere meglio, immagina di chiedere a un LLM un calcolo del fatturato annuale del reparto vendite. Gli servirà il tuo dato specifico come data di fine anno fiscale e come si misurano le fonti di entrate. Non potrà produrre una risposta riconoscibile senza questo contesto.
La domanda non si limita al calcolo, ma include anche il destinatario del risultato. Ad esempio, mentre il CFO vorrebbe avere una suddivisione per comparti, il CMO potrebbe richiedere dettagli sulle fonti di marketing.
La sfida dell’ingegneria complessa
Il lavoro degli ingegneri non si limita a scegliere i modelli giusti, ma richiede un insieme articolato di tecniche: connessioni, frammentazione dei dati, modelli di embedding, processi di vettorizzazione e servizi di inferenza.
Elastic, per esempio, ha messo a punto strumenti per rendere semplice questa gestione. Exner racconta che l’azienda ha imparato molto sul fatto di combinare diversi approcci, tipo l’utilizzo di traversamento grafi insieme alla ricerca geospaziale e alla ricerca di vettori per ottenere risultati più precisi.
Queste combinazioni si dimostrano vantaggiose: l’uso di tecnologie come la reranking (la riordinazione dei documenti recuperati in base al loro livello di rilevanza) aumenta di molto l’accuratezza. Tuttavia, non si tratta di uno schema semplice da attuare.
I due sottolineano che gli sviluppatori si troveranno presto ad affrontare una gestione complicata, e che solo le aziende che sanno combinare lezioni apprese durante i prime applicazioni potranno ottenere il valore effettivo delle loro iniziative AI.
Il ruolo di Elastic e del futuro
Ken Exner ribadisce l’importanza di una gestione strutturata. Elastic non si limita a fornire modelli avanzati, ma offre esperienze semplici da usare con le funzioni di ranking, inference e encoding a livello professionale.
Inoltre, l’azienda punta a supportare sia aziende in espansione che ingegneri esperti, fornendo strumenti configurabili a diversi livelli di complessità.
Secondo lui, il 2026 segnerà il grande passo: “Mentre nel 2025 si parlava di agenti e architetture agitive”, conclude, “nel 2026 saranno i benefici dell'ingegneria del contesto a diventare protagonisti di questa rivoluzione tecnologica.”