I modelli open-weight sono ampiamente utilizzati nello sviluppo di software, poiché forniscono l'accesso ai parametri già allenati, noti come pesi, del network neurale. Ciò consente agli utenti di comprendere l'architettura del modello e di verificare la presenza di rischi per la sicurezza.
Tuttavia, un team di ricercatori guidato da Andis Draguns del Contramont Research di San Francisco e dell'Università di Oxford ha scoperto che questa trasparenza può essere ingannevole. I ricercatori hanno sviluppato un metodo per nascondere funzioni all'interno dei modelli open-weight, utilizzando un concetto noto come "Digital Lockers", che consiste nel cifrare i dati.
La Tecnica Dei Digital Lockers
I ricercatori hanno utilizzato la funzione di hash Keccak, che è alla base dello standard di crittografia SHA-3, per cifrare un sottorete eseguibile e incorporarlo in un modello più grande. Ciò ha reso possibile nascondere funzioni complete all'interno del modello senza essere rilevati.
La tecnica dei Digital Lockers funziona come una sorta di "cassetta di sicurezza" matematica, che può essere aperta solo con una chiave specifica. Fino a quando la chiave non viene inserita, la funzione nascosta rimane inattiva e il modello si comporta normalmente.
Il Fallimento Dei Metodi Di Sicurezza Attuali
I ricercatori hanno dimostrato che i metodi di sicurezza attuali, come l'analisi dei parametri del modello e la ricerca di funzioni nascoste, non sono in grado di rilevare le funzioni nascoste utilizzando la tecnica dei Digital Lockers.
Ciò solleva preoccupazioni sulla sicurezza dei modelli open-weight e sulla necessità di nuove metodologie di analisi per rilevare tali funzioni nascoste. I ricercatori hanno inoltre dimostrato che anche l'accesso completo al codice del modello non è sufficiente per rilevare le funzioni nascoste.
La Dimostrazione Pratica
Per dimostrare la loro tesi, i ricercatori hanno creato un modello di rete neurale che classifica le reazioni chimiche come possibili o impossibili. Hanno poi nascosto una funzione all'interno del modello utilizzando la tecnica dei Digital Lockers.
Il modello è stato quindi testato con metodi di sicurezza attuali, ma non ha rivelato alcuna funzione nascosta. Solo quando la chiave specifica è stata inserita, la funzione nascosta è stata attivata e il modello ha iniziato a classificare le reazioni chimiche in modo diverso.
Le Implicazioni Per La Sicurezza
La scoperta dei ricercatori solleva preoccupazioni sulla sicurezza dei modelli open-weight e sulla necessità di nuove metodologie di analisi per rilevare funzioni nascoste. Ciò potrebbe avere implicazioni significative per l'industria della sicurezza informatica e per lo sviluppo di software.
I ricercatori hanno inoltre notato che la tecnica dei Digital Lockers potrebbe essere utilizzata per nascondere funzioni malicious all'interno dei modelli, il che potrebbe avere conseguenze gravi per la sicurezza.
La Necessità Di Nuove Metodologie Di Analisi
La scoperta dei ricercatori sottolinea la necessità di nuove metodologie di analisi per rilevare funzioni nascoste all'interno dei modelli open-weight. Ciò potrebbe richiedere lo sviluppo di nuovi strumenti e tecniche di analisi.
I ricercatori hanno inoltre notato che la collaborazione tra ricercatori e sviluppatori di software è fondamentale per lo sviluppo di soluzioni sicure e affidabili.
Conclusioni
La scoperta dei ricercatori solleva preoccupazioni sulla sicurezza dei modelli open-weight e sulla necessità di nuove metodologie di analisi per rilevare funzioni nascoste. Ciò potrebbe avere implicazioni significative per l'industria della sicurezza informatica e per lo sviluppo di software.
È fondamentale che i ricercatori e gli sviluppatori di software collaborino per lo sviluppo di soluzioni sicure e affidabili, e che si sviluppino nuove metodologie di analisi per rilevare funzioni nascoste all'interno dei modelli open-weight.