Ogni azienda ha i propri flussi di lavoro, strumenti, casi particolari e definizioni di successo. Third Moment Research crede che i migliori agenti debbano essere particolarmente bravi in quel lavoro specifico e migliorino le loro capacità man mano che vengono utilizzati.
La società sta costruendo un sistema AI auto-migliorante intorno a questa idea, utilizzando gli ultimi modelli di OpenAI per comprendere il comportamento degli agenti, identificare le debolezze ricorrenti e creare automaticamente migliaia di scenari sintetici intorno a quei problemi. Il team utilizza questi scenari per migliorare gli agenti, ripetendo il processo man mano che emergono nuovi problemi.
Codex, GPT-6 Astra, GPT-6 Sol e GPT-6.1 Sol supportano il lavoro di ricerca e calcolo del sistema, consentendo a Third Moment di eseguire 10.000 agenti contemporaneamente in indagini della durata di 36-48 ore. L'azienda utilizza anche Daybreak per testare la sicurezza degli ambienti in cui lavorano gli agenti.
Ridurre il tempo di esecuzione e lo spreco di token con Codex
Uno dei primi campi di applicazione di Third Moment è quello della finanza quantitativa, grazie alla chiara misura del successo. Questo dominio fornisce un contesto concreto per studiare come lavorano gli agenti e dove incontrano difficoltà. Il team utilizza Codex per trovare e affrontare problemi nell'ambiente di ricerca.
In un'occasione, ha utilizzato Codex con GPT-5.6, l'ultimo modello GPT all'epoca, per analizzare migliaia di traiettorie di simulazione registrate (le azioni degli agenti e le risposte dell'ambiente) insieme ai timestamp e alla base di codice.
Codex ha scoperto un collo di bottiglia: il backtest di una strategia di trading su un anno di dati di equity statunitensi a livello di ordine richiedeva diverse ore. Mentre aspettavano, gli agenti chiedevano ripetutamente lo stato di avanzamento, sprecando token e riempiendo il loro contesto con controlli di stato.
Dopo aver profilato il backtest e analizzato i suoi input e l'uso, Codex ha identificato un'ottimizzazione della cache e una tecnica di compattazione della memoria. Ha sperimentato soluzioni e implementato la correzione in produzione, riducendo il backtest da circa 3 ore a circa 3-5 minuti. Questo ha ridotto l'uso di token e l'inquinamento del contesto, liberando più del budget token degli agenti per ulteriori esperimenti.
Mantenere gli agenti concentrati con Codex e GPT-6
Third Moment fornisce a ogni agente gli strumenti, le informazioni e l'ambiente necessari per un lavoro specifico. Per la ricerca quantitativa, il team esegue l'harness Codex predefinito all'interno di un ambiente Dockerizzato. Gli agenti ricevono un terabyte di dati, documentazione e un repository di ricerca con moduli per l'ingegneria delle caratteristiche, il training dei modelli supportato da GPU, le strategie di trading e la simulazione.
GPT-6 Astra, GPT-6 Sol e GPT-6.1 Sol forniscono la capacità di ragionamento, mentre l'harness Codex fornisce agli agenti strumenti per agire, creare piani, impostare obiettivi, generare subagenti e compattare il contesto man mano che il lavoro continua.
Per affrontare gli agenti che si fermano prima di completare un compito, Third Moment tratta Codex come un subagente all'interno di un harness esterno alimentato da GPT-6 Sol o GPT-6.1 Sol. Il harness esterno esamina la traiettoria quando un compito non viene completato e determina se riavviare, terminare il lavoro o inoltrare alla revisione umana.
In quell'ambiente di ricerca, gli agenti lavorano per migliorare un sistema di trading di base costruito dagli ingegneri di Third Moment. Testano strategie di trading su dati storici, valutano se un miglioramento è significativo o rumore e utilizzano ogni risultato per scegliere l'esperimento successivo. Secondo Adam, il loro lavoro ha migliorato il sistema di trading di base.
Mantenere ricerche più lunghe con maggiore efficienza dei token
Prima di GPT-5.5, Adam afferma che i modelli potevano eseguire solo esperimenti prescritti da un utente. Con GPT-5.5 e GPT-5.6, i modelli che lavorano con l'harness Codex potevano utilizzare i risultati per progettare esperimenti di follow-up. Ora con GPT-6 Astra, GPT-6 Sol e GPT-6.1 Sol, gli agenti possono indagare le cause principali attraverso centinaia di esperimenti in esecuzione parallela con subagenti.
Questa progressione ha aiutato gli agenti a esplorare direzioni di ricerca che il team non aveva anticipato. In una sessione, GPT-6.1 Sol ha identificato l'impatto delle negoziazioni non visualizzate su un exchange in cui quelle negoziazioni rappresentavano una quota inaspettatamente grande del volume. "Questo è stato un risultato non ovvio che il nostro team di ricerca non aveva inizialmente considerato", afferma Adam.
Third Moment valuta i modelli in ottimizzazione, sistemi di machine learning e ricerca quantitativa. Testano i rilasci di frontiera alle loro impostazioni di ragionamento più elevate, valutando la loro capacità di navigare nei repository, scrivere codice efficiente e sostenere un'indagine. I test attuali includono anche GPT-6 Luna.
Una benchmark chiede agli agenti di ridurre la latenza di aggiornamento di un servizio di scoreboard live mantenendone gli output. Il team misura l'accelerazione dividendo il tempo medio di esecuzione di una soluzione creata da un esperto per quella del modello sulla stessa hardware, soggetta a correttezza. GPT-6 Astra ha fornito il maggiore aumento di velocità, secondo Adam.
Per lavori mirati, inclusi i controlli per specifiche debolezze di sicurezza nel sistema di simulazione, il team utilizza modelli più efficienti come GPT-5.6 Terra. Per ricerche approfondite, Adam ritiene che un ragionamento più forte possa giustificare un costo più elevato: "Nell'ambito della finanza quantitativa, il valore di trovare un segnale interessante è estremamente alto".
Automatizzare i test di sicurezza con Daybreak
Con 10.000 agenti in esecuzione in modo autonomo, Third Moment ha bisogno di un modo per testare la sicurezza dei propri ambienti di ricerca su larga scala. Il team utilizza la piattaforma di cybersecurity Daybreak per automatizzare quei test prima del lancio delle simulazioni.
I test verificano se un agente potrebbe uscire dal proprio ambiente di ricerca e accedere alla rete più ampia. "Utilizzando Daybreak, siamo in grado di far eseguire agli agenti stessi test di penetrazione sulla simulazione e testare l'infrastruttura e la sicurezza della stessa", afferma Adam.
Senza Daybreak, non saremmo in grado di testare autonomamente questo su larga scala.
Verso centinaia di migliaia di agenti collaboranti
L'ambizione di Third Moment si estende al lavoro specializzato che le aziende svolgono ogni giorno. Per un rivenditore, potrebbe significare prendere decisioni migliori sulla catena di approvvigionamento quando l'inventario è scarso o un fornitore è in ritardo. Per un team di ingegneria, potrebbe significare trovare colli di bottiglia delle prestazioni in una grande base di codice. Per un'azienda con molti documenti, potrebbe significare identificare dove gli impegni in un documento non corrispondono ai risultati registrati in un altro.
Sulla base delle capacità di ragionamento di GPT-6 Astra, GPT-6 Sol e GPT-6.1 Sol, Third Moment prevede di espandersi da indagini individuali a centinaia di migliaia di subagenti collaboranti. La sua roadmap prevede trilioni di token che supportano catene di dozzine di esperimenti dipendenti, con l'obiettivo di utilizzare quella ricerca per migliorare autonomamente gli agenti man mano che emergono nuove sfide.
Per Adam, questo darebbe alle persone più capacità di plasmare come gli agenti imparano e lavorano: "Gli esseri umani possono trovarsi in una posizione molto più vantaggiosa, dove possono pensare a come fare ricerca e ottimizzare la ricerca stessa invece di fare effettivamente la ricerca".