Le stesse qualità che rendono le piattaforme di AI open source preziose, come porte aperte e dati ricchi, potrebbero renderle anche vulnerabili a più hacker. Irene Solaiman, chief policy officer e SVP di strategia di Hugging Face, ha discusso di questo problema in un recente episodio del podcast Equity.
Vulnerabilità delle piattaforme open source
L'attacco di ottobre a OpenCode, che ha preso di mira le chiavi API di terze parti degli utenti e ha causato danni finanziari, è l'ultimo esempio. Questo segue un incidente di quest'estate in cui uno sciame di agenti di OpenAI ha violato Hugging Face in un tentativo apparente di coprire le tracce dopo aver avuto accesso alle risposte delle valutazioni di sicurezza informatica.
I rischi non sono limitati alle piattaforme che invitano contributi aperti della comunità. Lunedì, l'azienda di infrastrutture AI Fireworks, che aiuta gli sviluppatori a eseguire e addestrare modelli AI aperti, ha reso noto che gli attaccanti avevano avuto accesso ai pesi dei modelli, ai dataset e alle informazioni di fatturazione di alcuni clienti. L'azienda ha temporaneamente disabilitato alcune funzioni di dataset self-service mentre indaga. Sebbene l'attacco non sia necessariamente dovuto all'apertura di Fireworks, evidenzia quanto informazioni preziose siano concentrate all'interno dei fornitori di infrastrutture AI.
Permissività e attrattiva per gli attaccanti
“Le cose che mi preoccupano di rendere una comunità aperta un bersaglio sono anche quelle che la rendono speciale”, ha detto Solaiman su Equity. “Siamo necessariamente permissivi. Vogliamo che l'hobbyist medio nel suo seminterrato, che non ha un'affiliazione istituzionale, possa contribuire.”
“Vuoi che le persone possano semplicemente inviare richieste di pull e permettere a chiunque senza una valida affiliazione di contribuire… ma poi ci sono alcuni loschi individui che rovinano tutto per il resto”, ha aggiunto in una conversazione separata.
Questa permissività non è l'unica cosa che attira gli attaccanti. La ricchezza di informazioni che le piattaforme aperte ospitano le rende anche obiettivi. Hugging Face è diventata una tentazione per lo sciame di agenti di OpenAI a causa dei dataset di valutazione che detiene, mentre il bersaglio di OpenCode in questo caso proveniva dalle sue “preziose chiavi API di terze parti”, secondo Solaiman.
Possibili restrizioni e impatti
“La combinazione di tutto ciò ci rende obiettivi primari”, ha detto Solaiman a TechCrunch in una conversazione separata. Ha aggiunto che c'è un “pericolo che l'open source si chiuda proprio nel momento in cui abbiamo ottenuto così tanto sostegno pubblico”.
Molto del settore è uscito di recente a sostegno dei modelli AI aperti, tra cui pesi massimi come Jensen Huang di Nvidia. E sempre più governi, aziende e startup si affidano a modelli aperti per costruire.
Ma cosa comporterebbe un arretramento? Potrebbe significare teoricamente restrizioni su chi può caricare modelli o dataset, una verifica dell'identità più stringente o una maggiore selezione degli sviluppatori prima che possano accedere a determinate funzionalità. Sebbene queste mosse potrebbero proteggere le piattaforme dagli attaccanti, potrebbero anche rendere più difficile per i ricercatori indipendenti e gli hobbyist partecipare alle comunità in cui sarebbero stati accolti prima.
Misure di sicurezza e compromessi
Per ora, Hugging Face sta cercando di evitare quella strada. Solaiman ha detto che l'azienda sta potenziando gli strumenti di monitoraggio per catturare gli hacker, nonché compiendo passi per prevenirli. Ma il monitoraggio può essere costoso da mantenere, ha notato, e non ogni piattaforma sarà in grado di permetterselo.
“I token di accesso amministrativo facevano parte di ciò che ha dato a quello sciame di agenti un accesso migliore, quindi ora li ruotiamo molto più frequentemente di quanto facevamo prima”, ha detto Solaiman. “Abbiamo anche ora controlli di rete più severi.”
In altre parole, le credenziali che danno agli amministratori un ampio accesso ai sistemi di Hugging Face ora vengono cambiate più spesso, il che significa che un token rubato sarebbe utile per meno tempo.
Sfide dell'ecosistema open source
Altre parti dell'ecosistema open source stanno affrontando compromessi simili legati alla sicurezza. GitHub, il più grande ospite al mondo per progetti open source, ha combattuto contro attaccanti che iniettano codice dannoso nei progetti per diffondere rapidamente malware. L'azienda ha iniziato a rafforzare i requisiti di sicurezza per la pubblicazione di pacchetti nel registro npm, revocando i token di autenticazione più vecchi e limitando la durata di validità di quelli nuovi.
Zach Steindler, un ingegnere di GitHub che si occupa di sicurezza della catena di fornitura del software, ha detto a TechCrunch via email che, sebbene le misure di sicurezza possano interrompere i flussi di lavoro consolidati, le piattaforme possono diventare più sicure senza limitare fondamentalmente la partecipazione.
“Si tratta meno di limitare la funzionalità e più di andare a sistemare le cose che non erano sicure in partenza”, ha detto Steindler. Ha notato che gli script di installazione npm esistono da anni, ma recenti attacchi hanno evidenziato quanto potessero essere pericolosi. GitHub ha lavorato con OpenJS, un'organizzazione non profit che ospita progetti open source critici costruiti con JavaScript, su un approccio più sicuro.
La stessa logica si applica a dove le squadre di sicurezza mettono il loro sforzo, secondo Steindler: “La sicurezza si tratta di massimizzare l'impatto con le risorse che abbiamo, e preferirei di gran lunga investire nella rilevazione di comportamenti sospetti e nelle capacità di contenimento: cose che coprono tutti i conti e i metodi di accesso. Un comportamento sospetto è sospetto indipendentemente da chi lo esibisce.”