Gli ingegneri di Amazon stanno distillando i modelli di Anthropic per creare versioni più piccole, economiche e utilizzabili internamente. Secondo un rapporto di The Information, questo approccio mira a risparmiare costi prima del rilascio del nuovo sistema di tariffazione basato sui token, che si prevede farà aumentare i costi in modo consistente.
Che cosa significa distillare un modello?
La distillazione di un modello consiste nel trasferire il “sapere” di un modello grande ad uno più piccolo. Questo processo consente di ottenere un modello compatto che conserva comunque una buona parte delle capacità del modello originale, ma richiede una parte minore di risorse di elaborazione.
Amazon, che ha determinati diritti per utilizzare i modelli di Anthropic a questa fine, sta seguendo una strategia simile a quella adottata in passato da Apple con il Google Gemini. Inoltre, Amazon offre già un servizio di distillazione nel proprio Bedrock platform, benché i modelli Claude di Anthropic non siano ancora inclusi. In questo momento, infatti, si supportano solo i modelli propri (Amazon Nova) e quelli di Meta (Llama).
I cambiamenti di tariffazione e le reazioni
Secondo The Information, l’iniziativa risponde a una ri-negoziazione del rapporto tra Amazon e Anthropic. A partire dal prossimo anno, Amazon pagherà i modelli di Anthropic in base al numero di token elaborati, anziché in base alle ore di elaborazione. Questo modello di tariffazione potrebbe comportare un aumento dei costi. Tuttavia, un portavoce di Amazon ha rifiutato di confermare che le modifiche al partenariato porteranno ad un aumento nei costi del servizio. Anthropic ha ribadito che i prezzi dei propri modelli sono già tra i più competitivi in rapporto alla loro performance.
Le opzioni alternative che Amazon sta valutando
Oltre alla distillazione dei modelli di Claude, Amazon sta esaminando opzioni di terzi, tra cui quelle offerte da OpenAI. Inoltre, la società sta investendo attivamente nel proprio portfolio di modelli, tra cui i modelli Novi. L’investimento nei modelli propri risponde anche a una strategia volta a ridurre la dipendenza da fornitori esterni.
Finanziariamente, Amazon sta incrementando le sue spese in tecnologie AI: ha investito fino a 25 miliardi di dollari in Anthropic e fino a 50 miliardi in OpenAI nel 2026. Questi sono numeri impressionanti e riflettono una rivalità intensa tra i giganti tecnologici, tutti impegnati nell’ambizione di dominare il mercato dell’intelligenza artificiale generativa.
Perché la distillazione potrebbe essere la volta buona?
- Ottimizzazioni energetiche: Distillare i modelli riduce il consumo di risorse, che a sua volta riduce i costi energetici.
- Scalabilità: I modelli distillati, essendo più grandi, permettono una gestione più flessibile del carico di lavoro e un accesso a una base più ampia di clienti a prezzi competitivi.
- Versatilità: Possono essere adattati per funzionare su dispositivi edge e cloud con limiti operativi diversi rispetto ai modelli full-size.
- Controllo interno: Riduce la dipendenza da modelli esterni e aumenta la capacità di customizzare soluzioni in base alla richiesta interna.
Un’industria in accelerazione
Il mercato dell’AI sta diventando sempre più competitivo. Molti player non solo investono in modelli propri ma cercano di ottimizzare il più possibile l’utilizzo di modelli esterni. La distillazione diventa quindi una pratica strategica per aziende giganti come Amazon, che mirano a bilanciare le potenziali onerose spese future.