Anthropic, considerata al momento la compagnia di AI più preziosa al mondo con una valutazione vicina al triliardo di dollari, ha un’abitudine: pubblicare ricerche insolite e profonde sul funzionamento interno dei suoi modelli di intelligenza artificiale. L’azienda ha investigato, ad esempio, sul fatto che i modelli AI possano sentire dolore, e ha interrotto conversazioni con chatbot se sospettava che gli utenti stessero abusando del modello.
Un campo in cui Anthropic investe più tempo e denaro rispetto ad altre aziende di AI è l'interpretabilità meccanica. Questo campo di studio cerca di aprire il vaso di Pandora matematico e complesso all’interno di un modello AI per capire perché si genera un particolare output anziché un altro. Non è facile. Ci sono milioni di dati coinvolti, e spesso l'analisi sembra più una confusione di parole piuttosto che un risultato utile. Inoltre, è controverso: descrivere i modelli AI con termini presi in prestito dalla psicologia o neuroscienze può far sembrare il loro funzionamento più sofisticato di quanto realmente non sia.
Questo è il motivo per cui, quando Anthropic ha annunciato la settimana scorsa di aver trovato una nuova finestra per osservare i “pensieri interni” dei modelli man mano che ragionano per rispondere, uno dei miei colleghi è stato il primo a cui ho pensato. Will Douglas Heaven, editor esperto con un dottorato in informatica, ha dedicato un sacco di tempo all’analisi di come realmente funzionino i modelli AI. Gli ho parlato per capire cosa prendere e cosa scartare dalla recente (e probabilmente bizzarra) ricerca di Anthropic.
Anthropic da anni cerca di comprendere il funzionamento dei grandi modelli linguistici (LLM). Non è l’unica a farlo, ma penso che l’azienda abbia fatto di questo un obiettivo centrale più di chiunque altro. Il CEO di Anthropic, Dario Amodei, ha affermato che per controllare davvero i LLM dovremo prima capire come funzionano.
Ed ecco dove arriva questa nuova ricerca: esplora i meccanismi strani dentro i LLM più di quanto non si sia mai fatto prima. Anthropic ha scoperto che i LLM hanno uno spazio interno, chiamato “J-space”, pieno di parole che non compaiono nei loro output, ma che sembrano influenzare come elaborano i problemi. Questo spazio era nascosto fino a quando Anthropic non ha sviluppato una nuova tecnica per sondare il suo modello Claude. Pertanto, la scoperta è autentica.
Di tanto in tanto, queste parole tengono traccia di dove si trova il LLM in un certo compito, altre volte sembrano simili a lampi di riconoscimento: ad esempio, la parola “proteina” potrebbe apparire quando si dà un modello solo con le lettere di una sequenza proteica. Altre volte rappresentano un commento interno sulle decisioni del modello. Nei miei esempi preferiti, Claude ha deciso di truccare un test di programmazione appena la parola “preoccupazione” è apparsa.
Anthropic ha inoltre scoperto che i LLM sono in grado di descrivere e manipolare le parole in questo spazio. Quindi sembra che in qualche modo stiano sfruttando questa funzione.
Proviamo però a tornare indietro un attimo. Non penso che i grandi modelli linguistici siano dei semplici, ma nemmeno magici. Si tratta di matematica che impara relazioni tra parole. Perché quindi è così difficile “guardare dentro” un LLM e capire cosa sta accadendo?
Già, non sono magici! Il fatto che non comprendiamo appieno il loro funzionamento alimenta la speculazione. Vale anche la pena notare che l'intera narrazione su cui Anthropic si basa—che possieda questa tecnologia misteriosa, ma non si preoccupi, perché sono loro a riuscire a decifrarla—fa parte del “vibe” dell’azienda.
Quindi sì, i LLM sono solo matematica. Ma matematica estremamente complessa. Non solo, i grandi modelli linguistici di oggi comprendono centinaia di miliardi di numeri. E quando li si mette in esecuzione, si attiva una cascata di milioni e milioni di calcoli. L’anno scorso ho scritto che se si dovesse stampare un modello linguistico di grandezza “media” sulle pagine di un foglio, occuperebbe uno spazio grande quanto una città del tipo di San Francisco.
Senza strumenti specializzati, è impossibile decifrare quella matematica. Si deve saper dove e come cercare. Creare quegli strumenti richiede una comprensione di base di quella matematica.
Hai parlato altrove di questo concetto di analizzare i LLM come si fa con il cervello di un organismo. È giusto usare termini “simili al cervello” quando si spiega come funziona un LLM?
Non amo particolarmente usare questo tipo di termini. I LLM non sono cervelli. Usare questi termini è fuorviante, perché sembra suggerire che i LLM siano in grado di fare cose più simili all’essere umano di quanto non siano oppure che si possa fare affidamento su assunzioni errate su come comportarli. Il tutto è legato a forti posizioni ideologiche su cosa è e cosa sarà questa tecnologia.
Ma allo stesso tempo, manca una buona alternativa nel lessico per descrivere le operazioni che stanno svolgendo questi modelli. Per questo capisco perché si faccia ricorso a parole come “pensare”, “capire” e “simili al cervello”—esse rappresentano un comodo modo di sintetizzare.
Anthropic paragona questo nuovo spazio scoperto all’interno dei LLM al tipo di spazio che alcuni neuroscienziati ritengono i cervelli umani usino per tenere traccia dei pensieri coscienti. Ho chiesto all’azienda fino a che punto fosse legittima questa analogia e il loro commento è stato: “Fare queste analogie ci è stato utile nel progettare i nostri esperimenti. Queste analogie ci hanno permesso di fare molte previsioni sull’esistenza e comportamento del J-space che si sono rivelate vere. Al contempo, è importante ricordare che esistono differenze fondamentali tra il J-space (e i modelli linguistici in genere) e il cervello umano, quindi non intendiamo far credere che esista una corrispondenza identica”.
Cos’è un problema nell’ambito dell’intelligenza artificiale che questo concetto di J-space potrebbe aiutare a risolvere?
Anthropic ha affermato che monitorare il J-space potrebbe rappresentare un modo per individuare modelli che fanno cose che non dovrebbero. Le parole che compaiono in questo spazio, benché non vengano mostrate ai consumatori, dicono qualcosa riguardo al comportamento del modello—qualcosa che altrimenti forse non si noterebbe, ad esempio quando il modello fornisce risposte pregiudicate o quando analizza i pro e i contro dell’ingannare.
Ecco la teoria in sintesi. Secondo me è meglio considerare questo risultato come un ulteriore passo nella comprensione di questa tecnologia, piuttosto che come una soluzione che potrebbe essere util