Prima che i modelli linguistici di grandi dimensioni (LLM) possano elaborare il testo, lo suddividono in frammenti come parole o parti di parole. Il LLM dietro ChatGPT, ad esempio, suddivide "LMU Monaco" nei tre frammenti "LM", "U" e "Monaco", quindi non vede mai direttamente le singole lettere in "Monaco". Questo passaggio, noto come tokenizzazione subparola, rende gli LLM efficienti ma causa una serie di problemi, come una comprensione a livello di carattere limitata. I modelli che leggono invece testo byte per byte (le unità di base in cui i computer memorizzano il testo, circa una per lettera) evitano questi problemi. In pratica, tuttavia, non sono ancora diventati un'alternativa praticabile agli LLM basati sulla tokenizzazione subparola.
In un nuovo studio pubblicato sulla rivista Nature, ricercatori da LMU, l'Allen Institute for AI, l'Università di Cambridge, l'Università di Washington e l'Imperial College London hanno sviluppato un metodo che converte gli LLM esistenti in modelli a livello di byte senza ritrinarli dall'inizio. Questa "byteificazione" richiede meno dell'uno percento della formazione tipicamente necessaria per un tale modello e preserva in gran parte le prestazioni dell'LLM originale aggiungendo i vantaggi dell'elaborazione a livello di byte. I modelli risultanti superano tutti gli LLM a livello di byte pubblicati in precedenza di dimensioni comparabili.
"Siamo convinti che la byteificazione e gli LLM a livello di byte in generale abbiano il potenziale per superare alcuni difetti di lunga data degli LLM", afferma Valentin Hofmann, Junior Professor per l'Elaborazione delle Informazioni e del Linguaggio con Metodi AI presso LMU Monaco e ultimo autore dello studio. "Gli LLM tradizionali faticano con i compiti che richiedono capacità a livello di carattere, come invertire l'ordine delle lettere di una parola. I nostri modelli byteificati sono sostanzialmente migliori in questo". Queste capacità sono più di una curiosità accademica: "Una buona rappresentazione della struttura di basso livello del testo è critica in molte aree scientifiche, ad esempio quando si lavora con il codice o le sequenze biologiche", spiega Hofmann.
Il Metodo di Byteificazione
Il processo di byteificazione rappresenta un avanzamento significativo nel campo dell'intelligenza artificiale applicata al linguaggio. A differenza degli approcci precedenti che richiedevano la completa ritraining dei modelli, questo nuovo metodo permette di trasformare modelli esistenti con un investimento di risorse minimo. La ricerca dimostra che è possibile mantenere la maggior parte delle capacità apprese dall'LLM originale mentre si aggiungono le nuove funzionalità di elaborazione a livello di carattere.
Vantaggi Pratici
Questi modelli migliorati offrono vantaggi concreti in diverse applicazioni. Possono gestire meglio le lingue con complesse strutture ortografiche, analizzare codice sorgente con maggiore precisione e comprendere sequenze biologiche dove la singola lettera può avere significato critico. La capacità di lavorare direttamente con i byte permette anche una migliore gestione di testo in formati non standard o corrotto, aprendo nuove possibilità per l'elaborazione del linguaggio naturale in contesti reali.
Implicazioni per la Ricerca Futura
Gli autori sperano che la byteificazione renda i modelli a livello di byte un'alternativa pratica agli LLM di oggi e apra nuove direzioni di ricerca. La disponibilità pubblica dei modelli, del codice e dei dati di formazione rappresenta un passo importante verso la democratizzazione di queste tecnologie avanzate. Questo approccio potrebbe accelerare lo sviluppo di sistemi AI più robusti e versatili, capaci di comprendere il testo in modo più sofisticato e simile a quello umano.
Disponibilità dei Risorse
Tutti i materiali relativi allo studio sono stati resi pubblicamente accessibili, permettendo a ricercatori e sviluppatori di tutto il mondo di sperimentare con questa nuova tecnologia. Questa trasparenza promuove la collaborazione scientifica e potrebbe accelerare ulteriori innovazioni nel campo dei modelli linguistici. La comunità accademica e industriale ha già iniziato a esplorare le potenzialità di questi modelli byteificati in vari campi applicativi.