I tuoi agenti hanno bisogno di runbook, non di finestre di contesto più grandi
Perché i tuoi agenti AI hanno bisogno di memoria operativa, non solo conversazionale
Ora che gli agenti AI sono usciti dal laboratorio e si stanno integrando nel mondo reale, ci si renderà conto che la “memoria” non è universale. La maggior parte delle persone pensa alla memoria dell’agente come a quella di uno stagista personale. Ricorda le tue preferenze, i tuoi piani di viaggio e l'email che hai scritto la settimana scorsa. È perfetto per un co-pilota di ricerca o un personaggio che abbia un obiettivo a lungo termine.
Ma se stai utilizzando agenti per gestire operazioni di back-office, come risolvere i pipeline dei dati o gestire gli API, non ti serve una personalità. Ti serve affidabilità. Ho iniziato a indagare in questo ambito dopo aver visto squadre che si scontravano per far funzionare gli agenti in ambienti ad alto rischio e ripetitivi. In questi casi, l’obiettivo non è l’abilità conversazionale; invece, è garantire che l’agente non debba riscoprire la ruota ogni volta che svolge un compito.
Separando il modo in cui un agente "pensa" da come agisce, possiamo finalmente scalare l’automatizzazione senza i costi elevati e l'incertezza che di solito accompagnano questa pratica.
Se hai letto questo articolo finora, supporta il nostro lavoro diventando un abbonato a pagamento.
Limiti del contesto infinito e dei modelli Transformer moderni
In un ambiente produttivo, la strategia "aggiungi solo più contesto" si scontra rapidamente con un muro. Anche se le finestre di contesto si sono ampiamente espanso, la matematica dietro a esse rimane costosissima.
- Il lavoro computazionale cresce in modo quadratico in base alla lunghezza di input.
- Più informazioni si gettano in un prompt, più lento diventa l’agente.
- Un compito che dovrebbe impiegare un secondo può espandersi fino a trenta solo perché il contesto è troppo ampio.
C'è anche da preoccuparsi dell'effetto “perduto nel mezzo”. Quando i prompt sono troppo lunghi, gli agenti spesso perdono traccia delle informazioni nascoste al centro. La ricerca dimostra che fornire a un agente brevissimi frammenti mirati è spesso il doppio di preciso rispetto a farlo leggere un documento gigantesco.
Oltre ai costi tecnici, esiste un problema strutturale su come gli agenti gestiscono l'infrastruttura aziendale. Se hai centinaia di strumenti interni e API, descrivere tutti loro può esaurire il budget di token del tuo prompt prima ancora che l’agente inizi a lavorare. Il punto più importante, però, è che oggi le architetture non consentono l'apprendimento organizzativo. Ogni volta che un agente esegue una task, la tratta come un rompicapo nuovo, pagando il costo pieno della pianificazione e della ricerca in ogni esecuzione. Senza un modo per salvare e riutilizzare correttamente un flusso di lavoro, il sistema non diventa mai più veloce o economico. Rimane bloccato in un loop dove la 1000-esima esecuzione è altrettanto ardua della prima.
La radice di questo problema è che tratto la finestra di contesto dell’agente come la memoria RAM: uno spazio volatile che si cancella appena finisce il compito. In una pila di calcolo tradizionale, non si ricaricherebbe il proprio sistema operativo ogni volta che si volesse aprire un documento di testo. Ma nell’attuale paradigma degli agenti, si obbliga il modello a “riavviare” la sua comprensione di tutta l’infrastruttura con ogni singola richiesta. Questo genera un grosso costo di contesto che si ripete — ovvero, un sovrapprezzo dovuto al tempo e ai token necessari per ricostruire informazioni che l’agente avrebbe già dovuto conoscere.
I workaround per finestre di attenzione: architetture attuali di memoria e contesto
Le soluzioni attuali per la gestione della memoria degli agenti si concentrano maggiormente su come reperire informazioni, non su come riutilizzare azioni di successo. Prendiamo ad esempio la "Generazione Assiste da Recupero Informazioni" (RAG, per gli anglosassoni). Questa eccelle nel recuperare fatti utili per aiutare l’agente a rispondere a una domanda. Aiuta a evitare il problema “perduto nel mezzo”. Ma la RAG è pensata principalmente per recuperare documenti, non per ricordare come effettivamente si è completato un compito. Riesce a trovare un manuale tecnico, ma non ricorda che una precisa sequenza di cinque passaggi di richiesta API abbia risolto un problema sul database settimana scorsa. Ogni volta che si avvia un workflow, l’agente deve leggere la documentazione e pianificare il processo ogni volta da zero.
Frammenti di workflow più avanzati cercano di risolvere il problema del “catalogo inadatto”, caricando le definizioni degli strumenti soltanto all’occorrenza. Questo risparmia dollari in token, ma l’infrastruttura non apprende comunque. Alcuni sistemi si concentrano sulla “continuità di stato”, in modo che l’agente ricordi chi sei tu o cosa ti piace per mesi. È perfetto per un assistente personale, ma non aiuta nei task operativi. Se un API è rotto o una descrizione è confusa, l’agente continuerà a commettere gli stessi errori ad ogni esecuzione. Siamo anche assistiti da agenti che generano codice in tempo reale, ma questo spesso genera disordine nell’ambiente di lavoro, finendo con centinaia di script fatti a tempo per task specifici mai verificati né tracciati.
Alla fine, i metodi moderni di memoria costringono gli agenti a rimanere perennemente improvvisatori. Poiché non c'è modo di “ricondividere” una soluzione riuscita in un processo riusabile, l'azienda non sviluppa mai una curva di apprendimento istituzionale. Per veramente scalare un'azienda, gli agenti devono smettere di gestire solo il contesto immediato e iniziare a costruire una libreria permanente di procedure testate. Questo trasforma successi singoli in asset aziendali affidabili e ripetibili.
Il sistema file di contesto: gestione operativa di come si gestiscono gli affari
Per risolvere questi ostacoli strutturali, vediamo emergere il Context File System (CFS), definito anche Operational Skill Store. Questa architettura separa la parte costosa delle riflessioni dell'intelligenza artificiale dal vero deposito delle conoscenze operative. Si ispira al modello di una squadra di ingegneria matura. Gli esperti risolvono un problema una volta sola, quindi documentano la soluzione in un runbook, rendendo la task routinaria. Gli agenti riveduti con i successi reali trasformano questi agenti da strumenti improvvisatori in infrastrutture aziendali affidabili.
Quest’architettura modifica la funzione della finestra di contesto da uno spazio volatile a un livello di storage persistente. Al contrario di sovraccaricare i