Agenti di IA: più codice, senza acelerare le consegne
Un'analisi preliminare sull'attività di squadre di ingegneria ha rivelato che l'adozione di agenti di codifica con intelligenza artificiale si è associata a un aumento del volume di codice, di commit e di richieste di modifica, ma non a un incremento statisticamente significativo nella risoluzione delle task. L'indagine ha registrato revisioni più lunghe e più correzioni, anche se i risultati non permettono di attribuire tutti questi cambiamenti esclusivamente all'IA.
Dopo l'introduzione degli agenti di codifica, le aziende hanno registrato in media il 30% in più di linee di codice, il 20% in più di commit e il 23% in più di richieste di modifica. Il tempo medio tra l'invio di una richiesta di modifica e la sua integrazione è aumentato del 49%, mentre la risoluzione delle task non è cambiata in modo statisticamente significativo. I ricercatori non hanno trovato cambiamenti significativi nel livello di occupazione e hanno osservato che gli umani continuavano a concentrare la maggior parte delle revisioni.
Gli agenti di codifica con intelligenza artificiale possono produrre grandi volumi di codice, ma quell'aumento non necessariamente si traduce in più software completato. Uno studio preliminare su centinaia di aziende ha trovato che, dopo aver incorporato queste strumenti, sono aumentate le linee di codice e le richieste di modifica, mentre la risoluzione delle task registrata dai team non ha presentato una variazione statisticamente significativa.
La differenza, secondo l'analisi, emerge nella fase successiva alla scrittura: revisionare e correggere i contributi automatizzati può consumare parte del tempo guadagnato durante la programmazione. I ricercatori hanno notato che il processo di revisione si è allungato e che le richieste hanno richiesto più modifiche e commenti. Il risultato solleva dubbi su quanto la produttività totale migliori quando i team adottano agenti di IA, anche se non dimostra che gli strumenti siano l'unica causa di questi cambiamenti.
Maggiore codice, senza un miglioramento chiaro nelle task completate
Lo studio è stato condotto da Fiona Chen e James Stratton, ricercatori dell'Università di Harvard, con dati aggregati da Jellyfish, una piattaforma che misura l'attività dei team di ingegneria. La ricerca, che gli autori hanno condiviso in una versione preliminare, ha analizzato dati di 100.000 ingegneri in 500 aziende, secondo Jellyfish.
I dati coprono il periodo dal 2021 al marzo 2026. Per determinare quando sono state introdotte le strumenti di IA, gli autori hanno combinato misurazioni dirette dell'uso con l'analisi dell'attività su GitHub e hanno distinto tra assistenti di codifica, che supportano principalmente la scrittura umana, e agenti in grado di produrre e inviare codice in modo più autonomo a partire dalle istruzioni.
I ricercatori hanno confrontato indicatori prima e dopo l'adozione, considerando che diverse organizzazioni hanno iniziato a utilizzare questi strumenti in momenti diversi. Hanno applicato un'analisi delle differenze nelle differenze per stimare i cambiamenti associati al loro arrivo, una strategia che cerca di separare l'effetto dell'adozione da altri movimenti che potrebbero anche influenzare l'attività di ingegneria. Tuttavia, i risultati devono essere interpretati come associazioni osservate nei dati, non come prova che l'IA spieghi da sola ogni variazione.
Nelle metriche di produzione di codice, gli aumenti sono stati notevoli: le aziende hanno registrato in media il 30% in più di linee generate, il 20% in più di commit e il 23% in più di richieste di modifica dopo l'introduzione degli agenti di codifica. Quei indicatori riflettono una maggiore attività di programmazione, ma da soli non dimostrano che i team abbiano consegnato più funzionalità o risolto più esigenze dei loro utenti.
Per misurare quel altro risultato, Chen e Stratton hanno osservato la risoluzione di issues ed epics registrati in strumenti come Jira. Il tasso di chiusura di quelle task non è cambiato in modo statisticamente significativo dopo l'introduzione dell'IA, e l'analisi non ha identificato un cambiamento nella dimensione o nella complessità degli argomenti registrati che potesse spiegare l'assenza di un miglioramento visibile.
La revisione umana assorbe parte dell'impulso
Il principale contrasto è apparso nel tempo che trascorre tra l'invio di una richiesta di modifica e la sua integrazione nel codice base. Quel periodo, che gli autori utilizzano come misura del processo di revisione, è aumentato del 49% in media dopo l'introduzione degli agenti di IA. Il dato suggerisce che una maggiore generazione di codice può traslare pressione su chi deve esaminarlo prima di incorporarlo, ma non prova che l'adozione sia l'unica spiegazione dell'aumento.
Altri indicatori hanno puntato nella stessa direzione: la proporzione di richieste che hanno ricevuto richieste di modifica quasi si è raddoppiata e i commenti per richiesta sono aumentati del 35%. Non significa che ogni contributo di un agente sia difettoso né che tutto il tempo aggiuntivo sia dovuto a errori, ma mostra che le contribuzioni automatizzate sono coincise con più lavoro di revisione nelle aziende osservate.
La partecipazione dei lavoratori alle task di revisione è cresciuta anche. Gli autori hanno trovato un aumento del 14% nella proporzione di dipendenti che revisionavano il codice dopo l'adozione degli agenti, uno spostamento coerente con la necessità di verificare più contributi. Tuttavia, i dati non permettono di concludere che quell'attività spieghi da sola tutto il tempo aggiuntivo registrato.
L'automazione della revisione non compensava ancora ampiamente quel carico all'interno del periodo studiato. A marzo 2026, l'80% delle aziende analizzate utilizzava qualche forma di revisione del codice assistita da IA, ma gli agenti generavano solo il 23,3% dei commenti di revisione e partecipavano all'8,1% delle richieste; la maggior parte di quel lavoro restava in mano umana.
Risultati centrali e adozione ampia
Il risultato centrale non è che gli agenti siano privi di utilità, ma che misurare le loro prestazioni esclusivamente per il volume di codice può offrire un'immagine incompleta. Se la fase di revisione si allunga, l'aumento della produzione iniziale non necessariamente si traduce in una consegna più rapida, specialmente quando i team devono valutare le modifiche e rispondere a osservazioni aggiuntive prima di integrare il lavoro.
Lo studio non ha nemmeno trovato cambiamenti significativi nell'occupazione attribuibili all'IA. Per valutare quell'aspetto, i ricercatori hanno revisionato il numero di lavoratori attivi nei registri di Jellyfish e lo hanno confrontato con informazioni da LinkedIn delle aziende incluse; con quei dati, non sono riusciti a stabilire che l'adozione degli agenti avesse aumentato o ridotto in modo significativo la quantità dei dipendenti.
I risultati descrivono un periodo di transizione, non necessariamente il rendimento definitivo di questi strumenti. Gli agenti erano ancora relativamente nuovi nel lavoro di programmazione e, secondo le informazioni della ricerca, le loro capacità avevano ricevuto aggiornamenti anche dopo la chiusura dei dati a marzo 2026. Per questo, i risultati non devono essere interpretati come una valutazione di ogni versione disponibile successivamente.
L'adozione, inoltre, continuava ad estendersi: al momento a cui si riferisce l'articolo di Ars Technica, il 95% delle aziende dello studio aveva implementato agenti di codifica con IA. Quella espansione non implica che tutte le organizzazioni li usassero allo stesso modo né che avessero finito di imparare su quali task conviene delegar loro il lavoro e quali controlli umani sono necessari.
Con l'esperienza, i team potrebbero adattare come assegnano le task agli agenti, ma l'analisi suggerisce che in questo momento il vantaggio netto di velocità nella consegna di software rimane incerto a causa dell'importante lavoro di revisione umana ancora richiesto.