Nel dinamico panorama dell'intelligenza artificiale, dove i Large Language Models (LLM) stanno rivoluzionando il modo in cui interagiamo con la tecnologia e l'informazione, la creazione di applicazioni robuste e scalabili basate su queste architetture richiede strumenti potenti e flessibili. È in questo contesto che emerge Haystack, un framework open source progettato specificamente per la costruzione di pipeline di Generazione Aumentata dal Recupero (RAG) e di altre applicazioni complesse basate su LLM.

La redazione di Computerwoche ha sottoposto Haystack a un test approfondito per valutarne l'efficacia e determinare se un investimento di tempo per la sua adozione sia giustificato. Il framework, implementato esclusivamente in Python, si propone come una soluzione versatile per le aziende che desiderano sviluppare sistemi intelligenti, come motori di ricerca avanzati per vaste collezioni di documenti.

L'integrazione è uno dei punti di forza di Haystack. Il framework offre un'ampia compatibilità, permettendo l'incorporazione di modelli provenienti da piattaforme leader del settore come Hugging Face, Open AI e Cohere. A questi si aggiungono le integrazioni con servizi cloud di grandi fornitori quali Amazon Sagemaker, Microsoft Azure e Google Vertex AI. Non solo modelli, ma anche la gestione dei dati è fondamentale: Haystack si integra perfettamente con popolari document store e database vettoriali come Elasticsearch, OpenSearch, Pinecone e Qdrant. La vasta e attiva community del progetto ha ulteriormente arricchito il framework con integrazioni aggiuntive, che spaziano dalla valutazione dei modelli al monitoraggio e all'ingestione dei dati, rendendolo uno strumento olistico per il ciclo di vita delle applicazioni LLM.

Casi d'uso e funzionalità di Haystack

La versatilità di Haystack si manifesta nei numerosi casi d'uso che supporta, rendendolo una scelta ideale per diverse esigenze aziendali. Tra i più rilevanti, troviamo:

  • Implementare la Generazione Aumentata dal Recupero (RAG) per migliorare la pertinenza e l'accuratezza delle risposte generate dagli LLM, attingendo a fonti di conoscenza esterne.
  • Realizzare agenti (copiloti) intelligenti capaci di assistere gli utenti in compiti complessi, automatizzando processi e fornendo informazioni pertinenti.
  • Rispondere a domande multimodali, gestendo input che combinano testo, immagini e altri formati.
  • Estrarre informazioni specifiche e strutturate da collezioni di documenti non strutturati, trasformando dati grezzi in insight utilizzabili.

Oltre a questi specifici scenari applicativi, il framework offre un'ampia gamma di funzionalità che coprono l'intero spettro dei progetti LLM. Dalla capacità di integrare diverse fonti di dati alla pulizia e pre-elaborazione degli stessi, Haystack fornisce gli strumenti necessari per preparare i dati in modo ottimale per i modelli di linguaggio.

Confronto con la concorrenza

Nel panorama dei framework open source per LLM, Haystack si confronta con alcune alternative ben note. I suoi principali concorrenti includono:

  • LlamaIndex: focalizzato sull'indicizzazione e l'interrogazione di dati esterni per LLM.
  • LangChain: un framework molto popolare per la creazione di catene di componenti LLM e agenti.
  • Semantic Kernel: il framework di Microsoft per l'integrazione di LLM con le applicazioni tradizionali.

Durante il nostro test, abbiamo analizzato attentamente Haystack per capire i suoi punti di forza e come si posiziona rispetto a questi leader del mercato. Questo confronto è cruciale per le aziende che devono scegliere lo strumento più adatto alle loro esigenze specifiche.

Cosa distingue Haystack

Un aspetto che caratterizza Haystack è la sua posizione rispetto alle integrazioni di prima parte. Sebbene possa non vantare lo stesso numero di integrazioni dirette di framework come LangChain, si distingue per la completa e robusta implementazione delle 34 integrazioni attualmente esistenti. A queste si aggiungono ben 28 ulteriori possibilità di integrazione create dalla community, che consentono di connettere il framework open source anche con archivi di dati e documenti, modelli, strumenti e API meno diffusi.

Haystack pone un forte accento sull'essere esplicito piuttosto che implicito. Ciò significa che, sebbene la creazione iniziale di una nuova pipeline possa richiedere una quantità maggiore di codice, questo approccio si traduce in una notevole semplificazione delle fasi successive di debug, aggiornamento e manutenzione della pipeline. Questa trasparenza è un vantaggio significativo per gli sviluppatori che desiderano avere un controllo granulare sul comportamento del loro sistema.

I quattro obiettivi fondamentali che il progetto open source Haystack si prefigge di raggiungere sono chiaramente delineati nel file README del suo repository GitHub:

  • Tecnologicamente indipendente: gli utenti devono avere la flessibilità di scegliere il fornitore e la tecnologia che preferiscono, potendo sostituire ogni componente con un'alternativa.
  • Esplicito: Haystack mira a rendere trasparente il modo in cui le sue diverse parti mobili comunicano tra loro, facilitando agli utenti l'adattamento del proprio stack tecnologico e caso d'uso.
  • Flessibile: il framework open source offre tutti gli strumenti in un unico luogo, dall'accesso ai database alla conversione di file, dalla pulizia dei dati all'addestramento o alla valutazione dei modelli. Inoltre, consente la creazione semplice di componenti personalizzati secondo necessità.
  • Espandibile: Haystack si impegna a fornire un percorso uniforme e semplice per la community e terze parti per creare i propri componenti, promuovendo un ecosistema aperto e collaborativo.

Oltre alle funzionalità principali, le applicazioni Haystack possono utilizzare sia modelli standard che modelli personalizzati e finemente ottimizzati. Nel contesto dei modelli di intelligenza artificiale multimodali, il framework open source può essere impiegato per generare, ad esempio, immagini, sottotitoli o trascrizioni audio, dimostrando la sua capacità di gestire e produrre contenuti in vari formati.

L'architettura di Haystack

Al suo cuore, Haystack offre la possibilità di costruire pipeline RAG personalizzate che integrano Large Language Models e store vettoriali. L'architettura della soluzione open source è modulare e si articola in quattro componenti principali:

  • Componenti delle pipeline
  • Document store
  • Classi di dati
  • Pipeline

Esaminiamo più da vicino ciascuna di queste aree.

Componenti delle pipeline

I componenti delle pipeline in Haystack sono classi Python con metodi che possono essere richiamati direttamente. Implementano una vasta gamma di funzionalità, essenziali per il flusso di lavoro delle applicazioni LLM. Utilizzando la Haystack Component API, è possibile aggiungere nuove classi di componenti personalizzate alla propria applicazione, estendendone le capacità. Questa interfaccia facilita anche la connessione ad API o database di terze parti, garantendo che Haystack possa integrarsi in ecosistemi esistenti. È importante sottolineare che Haystack esegue la validazione delle connessioni tra i componenti prima che la pipeline venga messa in funzione, assicurando stabilità e correttezza.

Per la generazione di risposte testuali, Haystack impiega i "Generators", che vengono inizializzati con un "Prompt". Questi sono specifici per gli LLM che richiamano e sono disponibili in due varianti distinte: Chat e Non-Chat. I primi sono progettati per le conversazioni e si aspettano una lista di messaggi come contesto, consentendo interazioni dinamiche e contestualizzate. I secondi sono più adatti per compiti testuali semplici come riassunti o traduzioni, offrendo efficienza per operazioni mirate.

I "Retriever" in Haystack hanno il compito cruciale di estrarre documenti da un document store che potrebbero essere rilevanti per una richiesta dell'utente. Essi passano poi questo contesto alla componente successiva della pipeline – nel caso più semplice, un Generator – per informare la generazione della risposta. I Retriever sono specifici per il document store che utilizzano, garantendo un'interazione ottimizzata con la fonte di dati.

Document store

I Document Stores sono oggetti Haystack che immagazzinano documenti per un successivo recupero. Sono specifici per i database vettoriali, con l'eccezione di InMemoryDocumentStore. Quest'ultima implementa la memorizzazione dei documenti, l'embedding vettoriale e il recupero in modo autonomo. Sebbene sia estremamente utile per lo sviluppo e il testing, l'InMemoryDocumentStore non è progettato per scalare in ambienti di produzione e dovrebbe essere utilizzato solo per scopi di prototipazione.

Le componenti dei Document Store supportano metodi essenziali come write_documents() per inserire nuovi documenti e bm25_retrieval() per il recupero basato sulla rilevanza. È anche possibile utilizzare una componente DocumentWriter per inserire una lista di documenti in un document store a scelta, un processo tipicamente impiegato in una pipeline di indicizzazione per popolare il database di conoscenza.

Classi di dati

Le classi di dati sono il mezzo attraverso il quale le componenti di Haystack comunicano tra loro, permettendo ai dati di fluire senza soluzione di continuità attraverso le pipeline. Tra le classi di dati più importanti di Haystack troviamo:

  • ByteStream: per gestire flussi di byte.
  • Answer: e le sue sottoclassi ExtractedAnswer (risposte estratte direttamente dal testo), ExtractedTableAnswer (risposte da tabelle) e GeneratedAnswer (risposte generate dagli LLM).
  • ChatMessage: per rappresentare i messaggi all'interno di una conversazione.
  • Document: una classe fondamentale per la rappresentazione dei documenti.
  • StreamingChunk: per gestire risposte LLM parzialmente trasmesse in streaming.

In particolare, la classe Document è ricca di funzionalità e può contenere testo, dataframe, blob binari, metadati, un punteggio di rilevanza e un vettore di embedding, fornendo una rappresentazione completa del contenuto. StreamingChunk, d'altra parte, è cruciale per la gestione delle risposte LLM in tempo reale, rappresentando una parte di una risposta trasmessa in streaming.

Pipelines

Le Pipelines in Haystack sono il cuore dell'architettura, combinando componenti, document store e integrazioni per formare sistemi personalizzati e complessi. Queste possono manifestarsi in diverse forme, da una semplice pipeline RAG che interroga un database vettoriale per dati rilevanti, a un grafo (multi-)arbitrariamente complesso. Quest'ultimo può includere flussi di dati simultanei, componenti standalone e cicli, offrendo una flessibilità ineguagliabile per la progettazione di sistemi avanzati di intelligenza artificiale. La capacità di orchestrare questi elementi in modo coerente è ciò che rende Haystack particolarmente potente per la creazione di applicazioni LLM su misura.

deepset Cloud e Studio

Haystack è mantenuto e sviluppato da deepset, un fornitore berlinese di software aziendale. deepset ha costruito attorno al framework open source anche due prodotti commerciali complementari, che estendono le capacità di Haystack per scenari aziendali:

  • deepset Cloud
  • deepset Studio (attualmente in fase beta)

deepset Cloud

deepset Cloud è una piattaforma SaaS (Software as a Service) progettata per la creazione e la gestione di applicazioni basate su LLM lungo il loro intero ciclo di vita, dal prototipazione alla produzione. Si potrebbe descrivere come Haystack nel cloud, arricchito da un'interfaccia grafica più intuitiva (un "GUI più bello") e funzionalità per sviluppare e testare una REST-API per la produzione.

La soluzione SaaS offre agli utenti la possibilità di:

  • Pre-elaborare i dati e prepararli per la ricerca, garantendo che siano nel formato ottimale per gli LLM.
  • Progettare e valutare le pipeline in un ambiente collaborativo, con strumenti per il testing e l'ottimizzazione.
  • Condurre esperimenti per raccogliere metriche di performance, permettendo un'analisi approfondita e iterativa delle prestazioni del sistema.

Le pipeline possono anche essere condivise per scopi dimostrativi e di test, create da template predefiniti, specificate in formato YAML per la configurazione, o codificate in Python tramite l'API, offrendo molteplici modalità di interazione. Alla soluzione SaaS appartiene, tra l'altro, il "Prompt Studio", un ambiente dedicato alla creazione e gestione dei prompt.

In conclusione, Haystack si presenta come uno strumento robusto e flessibile per lo sviluppo di applicazioni LLM, con una solida architettura open source e un ecosistema in continua crescita. Le sue capacità di integrazione, l'enfasi sull'esplicitezza e gli obiettivi ben definiti lo rendono un candidato serio per le aziende che desiderano investire in soluzioni di intelligenza artificiale avanzate.