Infini‑AI‑Lab ha rilasciato Hermit, un framework open‑source pensato per addestrare “harness adapter” esterni a agenti IA, mantenendo congelati sia il modello dell’agente sia l’harness di base. La prima versione, v0.1.0, è stata pubblicata il 25 ottobre 2026 e annunciata dal post‑doc della Carnegie Mellon University Haizhong Zheng su X due giorni dopo. L’obiettivo è semplice per gli sviluppatori: adattare agenti come Codex o Claude Code a nuovi compiti senza dover effettuare il fine‑tuning del modello o modificare l’harness.
Che cos’è un harness adapter?
Un harness adapter è un componente esterno addestrabile che funge da plugin per un agente preesistente. Analogamente a un modello‑adapter (ad esempio LoRA) che modifica il modello, l’harness adapter modifica il comportamento dell’agente mantenendo inalterati modello e harness. Può contenere istruzioni, competenze, memoria, strumenti, codice eseguibile e logica di coordinamento; può persino essere un intero repository. La sua specifica definisce quali parti sono apprendibili e come vengono verificate le modifiche.
Il team di Infini‑AI‑Lab individua tre motivi per questa scelta: molti harness sono chiusi, modificare quelli aperti rischia di rompere interazioni finemente sintonizzate, e un adapter appreso può trasferirsi tra modelli e harness compatibili.
Come addestra Hermit un adapter?
Hermit utilizza un ciclo di addestramento in stile reinforcement learning. Un Trainer esegue un batch di task tramite l’agente con l’adapter corrente, un giudice valuta le uscite e un Evolver legge le traiettorie e il feedback, proponendo un nuovo adapter. Il Trainer verifica la proposta rispetto al modello di riferimento e la registra come nuova versione.
Ogni versione dell’adapter è conservata in un albero git, consentendo ispezione, rollback o distribuzione. I programmi di apprendimento possono girare in sandbox, richiedendo Linux con bubblewrap.
Attualmente Hermit include cinque metodi di evoluzione: GEPA, SkillOpt, MetaWorld Model (MWM), Harness² e Continual Harness. Sono in arrivo anche ACE e ReHarness, e gli utenti possono sviluppare Evolver personalizzati.
Risultati sui benchmark
Tutti i test usano GLM 5.3 Flash come modello attivo; i numeri provengono dai README degli esempi e sono auto‑riportati.
OfficeQA
Il benchmark OfficeQA propone 172 domande sui Treasury Bulletins degli USA, valutate con corrispondenza esatta. I risultati sono:
- No adapter: 0,541
- Initial skill: 0,576
- GEPA: 0,580
- SkillOpt: 0,600
- Continual Harness: 0,634
- Harness²: 0,651
GEPA e SkillOpt apprendono su 50 domande e sono testati congelati; Continual Harness e Harness² apprendono in streaming sul set di test. Il team segnala un miglioramento di +7,6 punti per Harness² rispetto al run di riferimento, con intervallo al 95 % tra +1,7 e +13,4.
CL‑Bench
CL‑Bench valuta ambienti stateful dal paper “Continual Learning Bench”. Nella prova di esplorazione di un database, MWM raggiunge un’accuratezza di 0,795, contro 0,580 del baseline in‑context. Nel gioco di poker sfruttabile, MWM ottiene 3,08 big blind per mano, contro 2,51 per l’apprendimento in‑context.
ServeLearnBench
ServeLearnBench trasmette 624 richieste di supporto al retail sotto una politica nascosta e mutevole. MWM ottiene 45,3 sui test a politica nascosta; il metodo migliore della classifica, Continual Harness (CH), segna 28,7. Un oracolo che conosce la politica raggiunge 89,2.
Confronto con altri ottimizzatori di agenti
| Feature | Hermit | GEPA | ACE | Agent Lightning |
|---|---|---|---|---|
| Cosa addestra | External harness adapter | Any text parameter (prompts, code) | Context playbook | Prompts and model weights |
| Cambia pesi modello | No | No | Not disclosed | Yes (RL or SFT) |
| Metodi | 5 built‑in, custom Evolvers | Reflective evolution, Pareto selection | Generator, Reflector, Curator | RL, prompt optimization, SFT |
| Target di deploy | Codex, Claude Code, Pi; plugin export | DSPy (dspy.GEPA) | Not disclosed | LangChain, OpenAI Agents SDK, AutoGen, CrewAI, … |
| Licenza | Apache‑2.0 | MIT | Apache‑2.0 | MIT |
| Risultato chiave | 0,795 su CL‑Bench database (self‑reported) | AIME 2025: 46,6 % → 56,6 % (GPT‑4.1 Mini) | +10,6 % su AppWorld | Not disclosed |
Installazione e distribuzione
L’installazione avviene da PyPI con pip install hermit-harness oppure clonando il repository. La CLI supporta i comandi check, train, eval, deploy e convert. I modelli si indicano come <backend>/<model id> e i backend supportati includono Fireworks, OpenAI, Anthropic, DeepSeek, vLLM, SGLang e Ollama.
Il comando hermit deploy crea un workspace per Codex, Claude Code o Pi, mentre hermit convert esporta l’adapter addestrato come plugin nativo per le stesse piattaforme o per Hermes. Un esempio avanzato è l’adapter di collaborazione Lean, che coordina cinque agenti Codex per dimostrare insieme un teorema.
Considerazioni finali
- Hermit addestra un adapter esterno; modello e harness restano fermi.
- Supporta cinque metodi di evoluzione: GEPA, SkillOpt, MWM, Harness², Continual Harness.
- MWM raggiunge 0,795 su CL‑Bench database contro 0,580 del baseline in‑context.
- Gli adapter possono essere distribuiti su Codex, Claude Code e Pi o esportati come plugin.
- I risultati sono auto‑riportati, prevalentemente da singole esecuzioni, usando GLM 5.3 Flash.
Per ulteriori dettagli, visita il repository GitHub, la pagina del progetto e la documentazione. Seguici su X, Reddit, Telegram e iscriviti alla newsletter per rimanere aggiornato sulle future release.