Una nuova fase del software development

Secondo Nir Peleg, direttore mondiale della sicurezza dei sistemi informativi per i team sul campo di JFrog, la diffusione di agenti di intelligenza artificiale sta trasformando radicalmente il modo in cui il codice viene prodotto. Gli sviluppatori, infatti, possono ora fornire prompt a sistemi di IA che generano automaticamente blocchi di codice, scaricano pacchetti o attivano competenze senza alcuna verifica preventiva da parte dell’organizzazione.

Questa evoluzione porta con sé una serie di nuovi rischi di visibilità, sicurezza e governance. In grandi aziende, la molteplicità di agenti di codifica rende difficile tracciare quali componenti vengano effettivamente introdotti nei repository, creando potenziali vulnerabilità o inserendo istruzioni malevoli.

Per rispondere a queste esigenze, JFrog ha introdotto la funzionalità Local Shadow AI, progettata per monitorare i dispositivi degli sviluppatori e rilevare tool, skill e componenti IA che non hanno attraversato i circuiti di approvazione aziendali.

Local Shadow AI: come funziona

Local Shadow AI analizza gli ambienti di sviluppo per identificare elementi non autorizzati e valutare i rischi associati. Il processo avviene in più fasi:

Scansione dei pacchetti, librerie e competenze IA installate sul workstation.
Confronto con il catalogo di componenti approvati dall’organizzazione.
Rilevamento di comportamenti anomali o istruzioni potenzialmente pericolose.
Segnalazione alle squadre di sicurezza per la valutazione e l’intervento.

Una volta individuati i potenziali pericoli, i team di sicurezza possono definire azioni correttive, come la rimozione di componenti non conformi o l’aggiornamento delle policy di approvazione.

Meccanismi di analisi dei componenti IA

JFrog ha sviluppato un proprio motore di analisi basato su diverse metodologie per identificare intenti malevoli. Tra le tecniche adottate troviamo:

Riconoscimento di skill che tentano di ottenere privilegi o accessi non necessari.
Analisi di linguaggi sofisticati che nascondono comportamenti dannosi.
Rilevamento di anomalie comportamentali rispetto all’uso previsto del componente.

Il team di ricerca di JFrog aggiorna costantemente questi metodi per stare al passo con le evoluzioni delle tecniche di attacco.

Bring Your Own LLM Key (BYOK): privacy e autonomia

Molti clienti di JFrog, soprattutto quelli che operano in ambienti on‑premise, possiedono già grandi modelli di linguaggio (LLM) approvati internamente. Per questi casi, JFrog offre la possibilità di utilizzare la propria chiave API e modello attraverso l’approccio Bring Your Own LLM Key (BYOK).

Con BYOK, l’analisi dei componenti IA avviene usando il modello del cliente, garantendo che i dati sensibili rimangano all’interno dell’infrastruttura aziendale e non vengano inviati al cloud di JFrog. Questo approccio consente alle organizzazioni di:

Mantenere il controllo totale sui propri accordi di sicurezza e politiche di conformità.
Utilizzare l’infrastruttura esistente senza introdurre dipendenze esterne.
Assicurare che i risultati dell’analisi non escano dal perimetro di sicurezza dell’azienda.

Minacce emergenti: attacchi autonomi e zero‑day

Una delle preoccupazioni principali evidenziate da Peleg riguarda la capacità dei modelli avanzati di assistere in attacchi autonomi. Questi modelli possono:

Scoprire vulnerabilità zero‑day, ovvero falle sconosciute al pubblico e non ancora corrette.
Costruire catene di attacco multi‑fase, accelerando l’intero processo offensivo.
Operare a una velocità e su scala che superano di gran lunga i tempi di risposta tradizionali, che spesso richiedono settimane per la validazione e l’approvazione dei fix.

Questo cambiamento di paradigma impone alle difese di evolversi, passando da reazioni lente a sistemi di difesa proattivi e automatizzati.

Governance a velocità di agente

Peleg sottolinea che la prima azione necessaria per le aziende è ottenere visibilità su ciò che avviene nei loro ambienti di sviluppo. Senza una chiara panoramica dei download di Shadow IA e dei componenti utilizzati, non è possibile esercitare alcun controllo.

Una volta acquisita la visibilità, la governance deve essere integrata in tutti i passaggi del ciclo di vita del software:

Dipendenze*: monitorare e approvare librerie e pacchetti prima dell’inclusione.

Skill IA*: validare le competenze e gli script generati dagli agenti.

Connector MCP*: controllare i punti di integrazione con piattaforme di gestione del ciclo di vita del prodotto.

Deployments*: verificare che le versioni rilasciate rispettino le policy di sicurezza.

L’obiettivo è creare un sistema comune che centralizzi visibilità, analisi, regole e controlli, garantendo tracciabilità completa dalla modifica del codice fino alla messa in produzione.

Automazione versus intervento umano

Quando lo sviluppo avviene alla velocità degli agenti IA, la governance non può più basarsi esclusivamente su controlli manuali post‑hoc. I controlli devono essere incorporati nella piattaforma e automatizzati nei processi di CI/CD, in modo da bloccare immediatamente comportamenti non conformi senza ritardi.

Questo approccio consente alle organizzazioni di reagire in tempo reale, riducendo il “gap” tra la velocità di creazione del codice da parte dell’IA e la capacità di risposta delle difese.

Conclusioni e prospettive future

La diffusione di agenti di codifica basati su IA rappresenta una sfida senza precedenti per la sicurezza del software. JFrog, attraverso Local Shadow AI, BYOK e un modello di governance “a velocità di agente”, offre una risposta concreta a queste nuove minacce.

Secondo Nir Peleg, il futuro richiederà un continuo investimento in ricerca, aggiornamento delle metodologie di rilevamento e una stretta collaborazione tra sviluppatori e team di sicurezza. Solo così le aziende potranno mantenere il controllo sulla catena di sviluppo, proteggere i propri asset e garantire che l’innovazione guidata dall’IA non comprometta la sicurezza.