L'architettura di riferimento per agenti AI sovrani
deepset, la società di Berlino nota per il framework open source Haystack, ha presentato insieme a NVIDIA un'architettura di riferimento aperta per agenti AI capaci di migliorarsi autonomamente. Questa soluzione è progettata per funzionare su infrastrutture locali e completamente isolate dalla rete (air-gapped), con un focus iniziale sulla sicurezza informatica.
L'architettura combina tre elementi chiave: i modelli aperti NVIDIA Nemotron, serviti tramite microservizi NIM, l'ambiente NeMo Gym per l'ottimizzazione e i blueprint aperti NemoClaw. Questi ultimi eseguono l'agente all'interno di OpenShell, un runtime protetto che limita le azioni dell'agente. Inoltre, è disponibile un repository su GitHub con codice di esempio per facilitare l'adozione e l'adattamento dell'architettura ai sistemi esistenti.
Il meccanismo di auto-miglioramento
Il processo di auto-miglioramento è descritto in un articolo tecnico del team Haystack, che illustra come un agente analizza i log su NVIDIA DGX Spark. Il ciclo inizia con una pipeline di riferimento, esamina le tracce registrate e propone nuove configurazioni. Ad esempio, in un caso d'uso di un assistente per servizi ai cittadini, l'agente iniziale citava le prove necessarie solo nel 19% delle domande. La prima modifica candidata ha aumentato il parametro top_k da 1 a 7, migliorando significativamente le prestazioni.
Un punto cruciale è che tutte le tracce e i dati rimangono locali, garantendo che informazioni sensibili non escano dall'azienda. Questo è particolarmente rilevante per settori come la sicurezza informatica, dove la protezione dei dati è fondamentale.
Sovranità sull'AI e applicazioni future
L'annuncio si inserisce nel contesto della domanda europea di sovranità sull'AI. Milos Rusic, CEO e cofondatore di deepset, ha sottolineato che i modelli aperti sono solo la base e che è necessario costruire un sistema completo attorno a essi. L'architettura è progettata per mantenere il controllo su modelli, dati e infrastruttura lungo tutta la catena, rispondendo ai requisiti di governance dei settori regolamentati.
deepset è già attiva in questo campo, partecipando alla piattaforma AI@EC della Commissione europea e collaborando con secunet e Red Hat per offrire soluzioni a enti con informazioni classificate.
Espansione di Haystack Enterprise Platform
L'annuncio al GTC Berlin include anche l'espansione di Haystack Enterprise Platform, che integra sviluppo degli agenti, esecuzione in produzione, osservabilità e ottimizzazione dei costi. La piattaforma utilizza NVIDIA Triton Inference Server per embedding e reranking condivisi su GPU, mentre i servizi di modelli personalizzati valutano e adattano i Nemotron ai compiti specifici dei clienti in ambito governativo, difesa e industria.
Per le amministrazioni e le aziende europee, questa soluzione significa poter sperimentare agenti che si correggono senza inviare dati a un cloud esterno. Se l'architettura si dimostrerà efficace al di fuori della sicurezza informatica, potrebbe essere estesa a settori come la sanità, la giustizia amministrativa e i servizi pubblici.
La vera sfida sarà vedere quante organizzazioni adotteranno realmente questa tecnologia, oltre alle dimostrazioni iniziali.