Le complessità delle valutazioni dei modelli AI
I laboratori di intelligenza artificiale hanno puntato le loro reputazioni sui benchmark dei modelli — il sistema di valutazioni suppostamente neutrale e accurato progettato per misurare se un prodotto AI è migliore di un altro.
Tuttavia, i metodi dietro queste valutazioni sono complessi e ancora in fase di maturazione, ha detto Irene Solaiman, chief policy officer di Hugging Face, durante una discussione a TechCrunch Disrupt la scorsa settimana. I test devono convergere in una scienza più coerente affinché l'industria possa fare affidamento su di essi in futuro.
Con questo in mente, possiamo fidarci dei test attualmente rilasciati?
“Fiducia è un termine così pesante”, ha detto Solaiman. “In termini di fiducia nei risultati, una parte importante è se puoi riprodurre i risultati di una valutazione. Hai il livello di accesso necessario al modello stesso — è qui che entrano in gioco i pesi aperti in modo significativo”, ha aggiunto.
La sfida della riproducibilità
La riproducibilità nelle valutazioni dei modelli è da tempo uno degli aspetti più complessi del benchmarking — e rimane un argomento di significativo dibattito nell'industria.
Oltre alla validità di un singolo test, c'è anche la domanda su come quel test si confronta con altre valutazioni.
“Sono una scienza in evoluzione — dove non sappiamo come confrontarli in modo significativo tra loro”, ha detto Solaiman.
“Iniziano a diventare inefficaci relativamente in fretta, e non abbiamo un ecosistema così fiorente come quello di cui abbiamo bisogno. C'è questa fame per un ecosistema di valutatori integrati ora, ma le qualifiche che determinano chi è un valutatore efficace in quali compiti necessitano di molta più standardizzazione”, ha aggiunto.
L'idea dei valutatori integrati
L'idea dei valutatori integrati — in cui osservatori terzi suppostamente “neutrali” vengono inseriti all'interno delle organizzazioni AI — è stata resa popolare negli ultimi mesi, mentre i laboratori di AI affrontano una serie di incidenti di sicurezza che hanno suscitato preoccupazioni sui potenziali danni della loro tecnologia. Hugging Face è stato famoso bersaglio di uno di questi incidenti.
Invece di una regolamentazione governativa attiva per identificare e mitigare le preoccupazioni sulla sicurezza dei modelli, i laboratori hanno spinto per la soluzione di terze parti. Tuttavia, permangono dubbi su quanto neutrali ed efficaci saranno effettivamente questi valutatori. La decisione di Anthropic di assumere Accenture come primo valutatore ha suscitato una buona dose di critiche, con alcuni critici che hanno deriso l'idea che la società di consulenza fosse qualificata per il compito.
La valutazione del sistema completo
Le valutazioni stanno ora passando da un semplice test del modello stesso a un test dell'intero sistema intorno al modello — inclusi il harness e l'agente. Il harness — o lo strumento che l'utente utilizza per accedere al modello — ha molto a che fare con le prestazioni di un modello, e un modello più debole con un harness migliore potrebbe facilmente superare un modello di frontiera, ha condiviso Solaiman.
“Le valutazioni agentiche sono davvero difficili e davvero costose”, ha detto Solaiman. “Abbiamo solo più valutazioni per i modelli. ... Non abbiamo così tante valutazioni per i harness, e stiamo sviluppando valutazioni migliori per l'agente olistico — perché è da lì che molte persone traggono valore”, ha aggiunto.
In altre parole, lo spazio delle valutazioni è un po' un free-for-all al momento, e se il benchmarking deve continuare a essere visto come uno strumento utile per i leader dell'industria, un approccio più uniforme e su scala industriale — dove tutti sono sulla stessa lunghezza d'onda — potrebbe essere necessario.