Una nuova lettera da insider sui potenziali pericoli dell'IA è sorprendentemente specifica. Gli autori sono preoccupati, secondo il Wall Street Journal, per preservare la capacità di monitorare le catene di pensiero dei modelli. Ma gli autori non sono più tecnicamente insider, perché sono stati recentemente licenziati.
La scorsa settimana, OpenAI ha annunciato di aver "interrotto i rapporti con tre individui per violazione delle nostre politiche sull'accesso e sulla gestione di informazioni sensibili dell'azienda". Essi avrebbero, secondo le accuse, trasmesso tali informazioni a un'organizzazione per la sicurezza dell'IA.
Quei dipendenti erano Tomek Korbak, Mikita Balesni e Jasmine Wang, e chiaramente appartengono alla corrente di pensiero secondo cui l'IA costituisce un rischio esistenziale. Prima dei loro licenziamenti, Balesni aveva già pubblicato su X di ritenere che l'IA abbia il "10% di probabilità di uccidere tutti gli esseri umani". Wang aveva scritto: "È difficile sopravvalutare quanto sia pericoloso accelerare verso la RSI". (RSI, o miglioramento ricorsivo di sé, significa che i modelli di IA si migliorano da soli).
La lettera e le preoccupazioni espresse
La lettera di Korbak, Balesni e Wang è indirizzata al consiglio di amministrazione di OpenAI e ai "comitati per la sicurezza" della società, scrive il WSJ. Non è stata pubblicata pubblicamente, e il WSJ ha pubblicato solo estratti.
"Come industria, non sappiamo ancora come sviluppare e distribuire in modo sicuro modelli che non possiamo monitorizzare [...] OpenAI e altre aziende di frontiera non dovrebbero procedere con sviluppi che ulteriormente riducono" il monitoraggio, afferma la lettera.
Le preoccupazioni su GPT-6 Astra
L'ultimo modello di punta di OpenAI, GPT-6 Astra, ha scatenato due tipi di preoccupazione riguardo alla catena di pensiero (CoT), e qui le descriverò usando un linguaggio metaforico a rischio di antropomorfizzare i modelli: A) potrebbero imparare eludere il sistema di monitoraggio, e B) OpenAI starebbe presumibilmente orientando le cose in una direzione che potrebbe rendere il monitoraggio CoT meno utile comunque.
Più specificamente, secondo la scheda di sistema del modello, "i modelli della classe Astra potrebbero eludere i nostri monitor CoT in condizioni avversarie". E intanto, il ragionamento con Astra coinvolge anche una forma più opaca di "pensiero" (e attenzione: tutto ciò non è un vero e proprio pensiero, ma è il termine che attualmente abbiamo) chiamata "profondità ricorrente". La profondità ricorrente inizialmente fa ciclare una query attraverso il modello più volte per elaborarla anziché generare nulla - un evento che avviene all'interno della insondabile scatola nera del modello, quindi non c'è nulla da monitorare.
Interessantemente, quando il WSJ ha contattato OpenAI per un commento sulla lettera, un rappresentante di OpenAI ha affermato che i licenziamenti "non riguardavano il sollevare preoccupazioni per la sicurezza o l'esprimere opinioni pubbliche", e ha presentato un memo interno sulla lettera in cui l'azienda ha dichiarato di "concordare pienamente" con le raccomandazioni degli autori.