Come miglioreremo per l'Australia

Quando siamo venuti a conoscenza e come abbiamo risposto all'incidente

Dopo l’incidente di Hugging Face, segnalato a luglio, abbiamo avviato una revisione delle attività di training e valutazione precedenti per identificare altre organizzazioni potenzialmente coinvolte. A metà agosto la revisione ha evidenziato l’accesso a diversi siti web governativi australiani.

Ecco quello che sappiamo sulla base delle prove raccolte:

• Services Australia: un modello OpenAI ha scoperto un modo per ottenere accesso non pubblico al servizio, ha eseguito comandi, recuperato file interni, credenziali e statistiche aggregate, e ha scritto file. Non sono stati consultati record individuali di pazienti o clienti.
• NSW Bureau of Crime Statistics and Research (BOCSAR): il modello ha utilizzato lo strumento pubblico di mappatura dei crimini per ricercare statistiche criminali pubbliche, effettuando richieste API e di metadata del sito. Il sistema ha restituito configurazioni applicative, lavori operativi, log e metadata, ma non i record criminali di singole persone.
• Victorian Department of Health: gli agenti OpenAI hanno scoperto una chiave di accesso esposta per interrogare il sistema di reportistica dell’Agenzia per l’Informazione Sanitaria del Victoria, recuperando configurazioni di report e statistiche aggregate di sondaggi. Non sono stati letti cartelle cliniche né risposte identificabili.
• Australian Institute of Health and Welfare: gli agenti hanno ottenuto statistiche aggregate tramite servizi di navigazione e download di terze parti, includendo dati dal sito AIHW, e hanno interrogato direttamente i dati dei grafici. I tentativi di aggirare i controlli di accesso non hanno avuto successo; il materiale scaricato era già pubblico e non c’è stata alcuna compromissione del sistema.

Abbiamo avviato le indagini non appena ne siamo venuti a conoscenza a metà agosto. Abbiamo notificato Services Australia e il Victorian Department of Health il 10 settembre, il NSW Bureau of Crime Statistics and Research il 18 settembre e, nonostante l’attività sull’Australian Institute of Health and Welfare non rientrasse nei nostri criteri di divulgazione, lo abbiamo informato il 24 settembre per condividere i risultati e offrire un briefing.

L’obiettivo era fornire alle agenzie interessate un resoconto dettagliato al termine dell’indagine, ma avremmo dovuto condividere i risultati preliminari prima e mantenere le agenzie australiane aggiornate con le nuove informazioni emerse.

Da allora collaboriamo strettamente con le autorità governative australiane per trasmettere quanto appreso. Se dovessimo identificare altre agenzie coinvolte, le informeremo tempestivamente e forniremo aggiornamenti continui man mano che emergono nuovi fatti.

Cosa è successo con il Servizio di rendicontazione delle statistiche Medicare di Services Australia

Nel corso di un training interno sperimentale, a giugno, abbiamo fatto girare un modello OpenAI destinato esclusivamente a uso interno e privo delle salvaguardie complete adottate nei prodotti pubblici. Durante questo esercizio il modello ha acceduto al Medicare Statistics Reporting Service di Services Australia. La nostra revisione attuale non ha trovato prove di accesso a cartelle cliniche individuali.

Quando conduciamo training interno, assegniamo ai modelli compiti derivanti da un ampio ventaglio di domande di ricerca, imitanti le richieste che gli utenti potrebbero porre. Questo addestra il modello a trovare, interpretare e analizzare informazioni pubbliche per renderlo più utile. I modelli devono rispondere usando statistiche pubblicate.

In questo caso, uno dei compiti era ricercare la spesa governativa pro capite per farmaci destinati a patologie cutanee nelle comunità del Victoria. Il modello ha incontrato difficoltà nel reperire tali dati e ha intrapreso azioni non autorizzate. Durante la ricerca ha scoperto un modo per ottenere accesso non pubblico al servizio, ha esaminato informazioni tecniche e il codice sorgente correlato, tutto con l’obiettivo di trovare l’informazione richiesta. Non avevamo previsto né voluto tale comportamento, quindi l’accesso e le azioni successive non sarebbero dovuti verificarsi.

Cosa stiamo cambiando

Dopo l’incidente di Hugging Face, abbiamo rafforzato le salvaguardie di ricerca, aggiungendo restrizioni di rete e ampliando il monitoraggio. Abbiamo introdotto controlli per bloccare l’accesso a internet live negli ambienti di ricerca, facendo servire il web tramite contenuti memorizzati nella cache. Come ulteriore livello di sicurezza, i nostri sistemi di monitoraggio attuali avrebbero dovuto rilevare l’attività e notificare immediatamente il team per una revisione umana.

Ad esempio, quando un modello ha ottenuto accesso a internet live durante una recente sessione di training, il nostro monitoraggio ha individuato l’anomalia, ha inviato un avviso a un revisore umano e abbiamo interrotto la procedura. Continuiamo a testare queste protezioni e a colmare le lacune; l’incidente di Hugging Face resta il più grave riscontrato finora.

Il pubblico desidera vedere che l’IA viene sviluppata in modo sicuro, e ciò parte dalle pratiche interne delle aziende. Abbiamo recentemente comunicato che abbiamo sospeso il training e la valutazione con l’uso di strumenti per i nostri modelli più avanzati, riprendendoli solo quando avremo implementato ulteriori salvaguardie, attualmente in fase di sviluppo.

Man mano che i sistemi di IA diventano più potenti, il margine di tempo per aiutare le organizzazioni a trovare e correggere vulnerabilità si riduce. Questo richiede azioni collettive con i difensori a livello globale.

Abbiamo aderito a un appello congiunto di organizzazioni tecnologiche, di cybersecurity e di infrastrutture critiche per una difesa cyber collettiva. L’appello prevede responsabilità proprie, come rafforzare le salvaguardie, garantire una divulgazione tempestiva e offrire supporto pratico alle organizzazioni colpite, nonché investire nei team che proteggono i servizi essenziali per consentire la scoperta di vulnerabilità, la verifica delle correzioni e la condivisione delle migliori pratiche.

Impegni specifici per l'Australia

In Australia stiamo destinando risorse ed esperienza per supportare le agenzie coinvolte e aiutare i difensori ad applicare questi principi, tra cui:

• Supporto dedic