Gemma 4 non è un singolo modello, ma una famiglia di modelli di pesi aperti di DeepMind. La linea attuale comprende cinque modelli distinti: Gemma 4 E2B, Gemma 4 E4B, Gemma 4 12B, Gemma 4 26B A4B e Gemma 4 31B. Questi modelli variano in architettura e dimensioni della finestra di contesto, il che può rendere difficile la scelta del modello giusto.
La famiglia Gemma 4 include modelli preaddestrati e modelli con istruzioni aggiustate, questi ultimi con il suffisso -it. I modelli utilizzano una combinazione di progettazione densa e di miscelazione di esperti, con cinque dimensioni e un insieme condiviso di decisioni architettoniche. Queste includono l'attenzione ibrida, che alterna l'attenzione locale a finestra scorrevole con l'attenzione globale completa, e un vocabolario di 262.000 token.
Uno degli aspetti più importanti per molti utenti è la licenza. Tutti i modelli della famiglia Gemma 4 sono distribuiti sotto la licenza Apache 2.0, un cambiamento rispetto ai modelli precedenti che utilizzavano i Termini di Uso personalizzati di Gemma. Questo è un punto cruciale per chiunque abbia dovuto ragionare sui Termini di Uso di Gemma in passato.
Un altro aspetto importante è che i modelli Gemma 4 non sono semplicemente copie scalate l'una dell'altra. Ad esempio, Gemma 4 E2B e E4B utilizzano un trucco chiamato Per-Layer Embeddings, in cui ogni strato del decodificatore riceve la propria piccola tabella di embeddings per token. Il modello Gemma 4 12B è un'eccezione in termini di architettura, poiché non ha un codificatore e proietta direttamente patch di immagini e forme d'onda audio nel transformer.
La mappa delle dimensioni
Gemma 4 E2B
Gemma 4 E2B è il membro più piccolo della famiglia, con 2,3 miliardi di parametri effettivi e 5,1 miliardi di parametri inclusi gli embeddings. Ha 35 strati, una finestra scorrevole di 512 token e un contesto di 128K. È progettato per telefoni e dispositivi IoT e gestisce testo, immagini e audio.
Gemma 4 E4B
Gemma 4 E4B è un modello simile a E2B ma con dimensioni maggiori. Ha 4,5 miliardi di parametri effettivi e 8 miliardi di parametri inclusi gli embeddings. Ha 42 strati, una finestra scorrevole di 512 token e un contesto di 128K. Come E2B, gestisce testo, immagini e audio.
Gemma 4 12B
Gemma 4 12B è il punto medio della famiglia, con 11,95 miliardi di parametri e 48 strati. Ha una finestra scorrevole di 1.024 token e un contesto di 256K. È il primo modello Gemma di dimensioni medie a incorporare l'audio nativo insieme a testo e immagini. Il provider consiglia un deployment locale con 16 GB di VRAM o memoria unificata.
Gemma 4 26B A4B
Gemma 4 26B A4B è il modello disperso della famiglia, con 25,2 miliardi di parametri totali e 30 strati. Ha una finestra scorrevole di 1024 token e un contesto di 256K. Gestisce solo testo e immagini, senza audio, e ha 8 esperti attivi di 128 più un esperto condiviso.
Gemma 4 31B
Gemma 4 31B è un modello denso convenzionale, con 31 miliardi di parametri. Ha 30 strati, una finestra scorrevole di 1024 token e un contesto di 256K. Gestisce testo, immagini e audio, rendendolo uno dei modelli più versatili della famiglia.
In conclusione, la famiglia Gemma 4 offre una vasta gamma di modelli con diverse capacità e architetture. La scelta del modello giusto dipende dalle esigenze specifiche dell'utente, come la dimensione del contesto, la capacità di gestire diversi tipi di dati e le risorse di calcolo disponibili. Con la licenza Apache 2.0, questi modelli sono accessibili e pronti per essere utilizzati in una varietà di applicazioni.