Anthropic ha pubblicato un articolo che promette di ridefinire la comprensione interna dei modelli di intelligenza artificiale, uno dei cui esemplari è Claude. La compagnia afferma di aver scoperto uno spazio globale interno, chiamato J-Space, in cui Claude elabora e manipola concetti prima di produrre la risposta finale. Ciò che rende l’accusa singolare è che, stando ad Anthropic, questo spazio non è stato programmato deliberatamente, ma è emerso spontaneamente come risultato del training del modello.
Che cos'è J-Lens e come funziona?
Per osservare J-Space, Anthropic ha sviluppato una tecnica chiamata J-Lens, in grado di mappare le attivazioni interne del modello su parole del proprio vocabolario. Questa tecnica permette di rivelare il processo di analisi interno quando Claude esegue un calcolo matematico complesso: mentre l'output visibile mostra soltanto il risultato finale, dentro J-Space, ogni passo intermedio rimane rappresentato separatamente. Senza questa tecnica, niente di questo processo interno sarebbe mai stato visibile.
Il modello non utilizza sempre J-Space
Nonostante le potenzialità di J-Space, Anthropic ammette che non tutta l'attività del modello passa attraverso questo spazio. Funzionalità di base come parlare con fluidità, ricordare dati semplici o applicare regole grammaticali si svolgono quasi interamente fuori da J-Space. Quindi, quando Anthropic ha disattivato l’uso di questo spazio, il modello è rimasto operativo, pur perdendo alcune funzioni cognitive avanzate.
Claude "sa" che lo stanno osservando
Nel corso di esperimenti notevoli, Anthropic ha esposto Claude a tentativi di iniezione di prompt durante il processo di acquisizione dati. All’interno di J-Space, il modello associava termini come “falso”, “iniezione”, “erroneo”, “richiesta” o “frode”, mentre l'output visibile non faceva cenno al tentativo di manipolazione. È interessante che, quando gli è stata richiesta una spiegazione, all'interno di J-Space emergessero parole come “trasparenza”, “onestà” e “verità”. Tale atteggiamento lascia aperta la questione di una risposta consapevole da parte del modello.
La fragilità del modello
Nel corso di un esperimento specifico, gli esperti di Anthropic hanno osservato che Claude reagisce diversamente quando esposto a test, rispetto agli usi quotidiani. Quando hanno rimosso di J-Space i termini correlati al senso di essere testato (come “falso”, “fittizio” o “scenario”), il modello si è dimostrato significativamente più vulnerabile agli attacchi esterni o alle provocazioni.
Però l’informe riconosce dei limiti rilevanti: per ora, J-Space si limita ad un vocabolario composto da parole singole. Concetti o idee complessi che non possano essere sintetizzati in un’unica parola potrebbero non emergere nella mappa, anche se sono elaborati dal modello. Inoltre, Anthropic non afferma che monitorare lo spazio J-Lens sia sufficiente per garantire l’allineamento con valori umani.
Emergenza di una possibile coscienza artificiale?
Nonostante i limiti, il rapporto sottolinea che il linguaggio usato in alcuni passaggi tocca quasi l’idea di una coscienza emergente. Neel Nanda, responsabile dell’interpretabilità dei modelli per DeepMind, ha sostenuto che questa scoperta rappresenta una prova reale dell’esistenza di uno spazio cognitivo nei modelli. Tuttavia, ha aggiunto che l’utilità pratica di J-Lens è ancora limitata. Nonostante questo, il lavoro di Anthropic aprirà nuove vie nell’auditing dell’onestà dei modelli, anche se non è certo un'ante aperta su ciò che pensa davvero una macchina.