Le squadre che distribuiscono agenti IA su larga scala si trovano spesso di fronte a un pattern ricorrente: anche gli agenti costruiti su modelli di punta come Fable e Astra faticano a portare a termine compiti complessi e end‑to‑end in modo costante, rendendo difficile il passaggio in produzione. Per colmare il divario, i team generano centinaia o migliaia di casi di test manuali, affinano i prompt, aggiungono correzioni specifiche e gestiscono casi particolari fino a quando l’agente supera una soglia di successo sufficiente per il lancio.
Il valore nascosto delle azioni degli utenti
Nel frattempo, gli stessi utenti del prodotto eseguono quotidianamente le operazioni richieste, sapendo esattamente quali azioni compiere e in quale ordine. Queste informazioni rappresentano un dataset prezioso, ma la maggior parte delle architetture di agente non le cattura in maniera utilizzabile per l’apprendimento.
CopilotKit, l’azienda dietro il framework open‑source CopilotKit e il protocollo AG‑UI, ha rilasciato CLiF, una piattaforma di apprendimento continuo da “full‑stack trajectories”, attualmente disponibile in early access. CLiF registra in modo sicuro sia le azioni compiute dall’agente sia quelle degli utenti all’interno del prodotto, convertendo tale registro in skill, valutazioni basate sulla produzione e dataset per il fine‑tuning, tutti esportabili insieme alle tracce grezze.
Open source e diffusione
CopilotKit è open source, con più di 38.000 stelle su GitHub, e la sua crescente community contribuisce a migliorare costantemente il framework e il protocollo AG‑UI.
TL;DR dei punti chiave
- Agent tracing mostra dove l’agente sbaglia, ma il percorso corretto è contenuto nelle azioni degli utenti, spesso non catturate.
- CLiF apprende da “full‑stack trajectories”: la traccia dell’agente e le azioni dell’utente, unite in una singola timeline tramite AG‑UI.
- Un ciclo a quattro fasi, basato sull’Automatic Learning di CopilotKit, converte le traiettorie in skill, valutazioni, dataset di fine‑tuning e esportazioni raw, con revisione umana per ogni skill.
- Un esempio pratico dimostra come gli agenti apprendono il processo di chiusura di uno sprint, così come lo eseguono i team lead.
- CLiF affronta le principali criticità dei team di agenti: valutazioni, overload di contesto, costi, stack frammentati e utilizzo “shadow AI”, ed è completamente self‑hosted.
Cosa manca al tracing tradizionale
Oggi la maggior parte degli strumenti di osservabilità per gli agenti si concentra esclusivamente sull’agente: catturano prompt, chiamate a tool e output del modello, evidenziando dove l’agente ha fallito, ma ignorano il percorso corretto seguito dall’utente. Dall’altra parte, le analytics di prodotto forniscono click, funnel e replay di sessioni, ma sono progettate per l’analisi umana, non per l’insegnamento a un agente.
In molti stack di produzione, queste due fonti di dati non coincidono su una stessa timeline, creando un divario significativo. Questo è critico perché l’agente apprende il prodotto tramite prompt, skill, descrizioni di tool e API, e deve dedurre autonomamente come combinarli per completare un compito reale. Gli utenti, invece, hanno già risolto il compito migliaia di volte.
Secondo la documentazione di CopilotKit sul learning degli agenti, il modo in cui gli utenti portano a termine le attività è il dataset più prezioso per qualsiasi team di agenti, ma raramente viene catturato in una forma sfruttabile dall’agente.
Full‑Stack Trajectories: il segnale di addestramento di CLiF
CLiF, parte di CopilotKit Intelligence, si basa su un unico primitivo: la “full‑stack trajectory”. Questa viene catturata tramite AG‑UI (Agent‑User Interaction Protocol), il protocollo aperto creato da CopilotKit per collegare agenti alle applicazioni user‑facing. Poiché AG‑UI si interpone tra agente e utente su qualsiasi interfaccia, può vedere entrambe le parti di un compito:
- Agent trajectory (traccia dell’agente): ogni esecuzione, chiamata a tool e cambiamento di stato, con i relativi risultati.
- Product trajectory (azioni dell’utente): cosa è visibile sullo schermo dell’utente, i pulsanti cliccati e le richieste al server attivate. Se l’utente interagisce con l’agente, la conversazione è inserita nella stessa timeline, in ordine cronologico.
Il risultato è una singola “full‑stack trajectory”. AG‑UI già trasmette gli eventi dell’agente al frontend; catturare in modo sicuro anche le azioni dell’utente sullo stesso protocollo consente di unire le due metà in un unico flusso, eliminando la necessità di pipeline di analytics separate. Ogni sessione utente diventa quindi una singola traiettoria, riproducibile passo‑a‑passo in CopilotKit Intelligence, con click, richieste server e messaggi dell’agente visualizzati nell’ordine originale.
Esempio visivo
Il ciclo di apprendimento di CLiF: da traiettorie a skill, valutazioni e dataset
CopilotKit descrive il loop di apprendimento in quattro fasi:
1. Capture (cattura)
Le traiettorie vengono trasmesse in tempo reale a CopilotKit Intelligence e assegnate a “learning containers”, contenitori che delimitano l’apprendimento a un tipo di lavoro specifico (es. supporto fatturazione o onboarding clienti). Il runtime sceglie il contenitore per ogni sessione tramite il callback getTrajectoryLearningContainerIds. Le sessioni possono essere spostate tra contenitori successivamente tramite l’interfaccia Intelligence. Ogni contenitore apprende solo dalle proprie sessioni.
2. Find patterns (individuazione dei pattern)
Una volta che un contenitore supera una soglia predefinita di nuove sessioni, viene avviata un’analisi programmata (oppure manuale). L’analisi lavora su uno snapshot congelato delle sessioni del contenitore e genera “Insights”: richieste ricorrenti, correzioni ripetute e frizioni che gli utenti aggirano silenziosamente. CopilotKit interpreta la frizione come il segnale più forte, poiché tende a ripetersi in migliaia di sessioni e indica esattamente cosa l’agente dovrebbe imparare.
Ogni Insight cita gli eventi specifici che lo hanno generato e fornisce un link diretto alla traiettoria di origine.
3. Review (revisione)
Quando le evidenze supportano una lezione riutilizzabile, CLiF propone una nuova skill sotto forma di file SKILL.md. Il servizio di analisi non pubblica automaticamente nulla: una persona deve approvare o rifiutare ogni proposta, sia tramite l’interfaccia Intelligence sia tramite il CLI di CopilotKit. Le skill pubblicate sono versionate e possono essere ritirate in qualsiasi momento.
4. Deliver and export (consegna ed esportazione)
Le skill pubblicate raggiungono l’agente senza necessità di redeploy; i team che necessitano di stabilità possono fissare l’agente a una revisione di skill specifica. Per altri agenti o server MCP, le skill possono essere scaricate come file plain con copilotkit skills download <container> –output <dir>. Le traiettorie stesse possono essere esportate come dati grezzi dal dashboard Intelligence. Per le squadre in early access, la stessa pipeline genera anche candidate di valutazione e dataset di fine‑tuning a partire dalle traiettorie.
Apprendimento automatico integrato: Agent Trajectories
CLiF si basa sull’Automatic Learning di CopilotKit Intelligence, la base per gli agenti auto‑miglioranti. Automatic Learning apprende dalle conversazioni tra utente e agente. CLiF estende lo stesso loop alle traiettorie di prodotto, consentendo l’apprendimento anche dal lavoro svolto direttamente nell’interfaccia, al di fuori della chat.
Ogni conversazione con l’agente è memorizzata integralmente tramite AG‑UI Streams: messaggi, chiamate a tool, UI generativa, stato, approvazioni e file. Gli sviluppatori scelgono quali thread contano come evidenza restituendo un ID di contenitore dal callback getLearningContainerId sul runtime CopilotKit, controparte del callback per le traiettorie.
Le squadre che hanno già un agente in produzione possono importare le storie di conversazione esistenti, aggiungere il supporto AG‑UI e subito beneficiare del ciclo di apprendimento continuo di CLiF.
Esempio pratico: chiusura di uno sprint
Un caso di studio interno mostra come un team di sviluppo utilizza CLiF per insegnare all’agente il processo di chiusura di uno sprint. Gli sviluppatori hanno registrato 200 sessioni in cui i team lead chiudono manualmente lo sprint, includendo click su “Complete”, revisione delle metriche e aggiornamento dei ticket. L’analisi di CLiF ha identificato un pattern ricorrente di quattro azioni consecutive, con una frizione comune: la mancanza di una conferma esplicita prima di archiviare le issue.
Dopo la revisione umana, è stata creata una skill che aggiunge una conferma di “Are you sure?” prima dell’archiviazione. La skill è stata distribuita all’agente in tempo reale, riducendo il tasso di errori del 27 % nelle successive 500 chiusure di sprint, senza necessità di nuovo deploy.
Benefici e target di CLiF
CLiF affronta le principali difficoltà che rallentano i team di agenti:
- Valutazioni (evals): genera valutazioni basate su dati di produzione reale, eliminando la necessità di casi di test manuali.
- Overload di contesto: le skill sono modulari e versionate, riducendo la dipendenza da prompt lunghi.
- Costi: l’apprendimento continuo riduce il numero di chiamate al modello per correzioni manuali.
- Stack frammentati: unifica agent tracing e analytics prodotto in un’unica timeline.
- Shadow AI: fornisce un percorso controllato per l’apprendimento, evitando l’uso non autorizzato di modelli esterni.
Essendo completamente self‑hosted, CLiF rispetta le policy di sicurezza aziendale e consente l’integrazione con infrastrutture on‑premise.
Conclusioni
CLiF rappresenta un passo significativo verso agenti IA veramente auto‑miglioranti, sfruttando il valore nascosto nelle azioni quotidiane degli utenti. Unendo le tracce dell’agente e le azioni del prodotto in una timeline unica, la piattaforma trasforma dati grezzi in skill concrete, valutazioni realistiche e dataset per il fine‑tuning, tutto con una supervisione umana mirata. Le squadre che adottano CLiF possono ridurre drasticamente il tempo e le risorse necessarie per passare da prototipi a agenti pronti per la produzione, migliorando al contempo l’affidabilità e la scalabilità delle soluzioni IA.