Cos'è Ollama e come iniziare: guida 2026 per LLM locali

Introduzione: il fenomeno Ollama nel 2026

Centosettantaduemila e cinquecentosettantadue. Sono le stelle che il repository GitHub di ollama/ollama ha collezionato dal giugno 2023 a oggi, con sedicimila fork attivi e un ritmo di rilascio settimanale che ha trasformato un piccolo runtime scritto in Go in quello che la community definisce, ormai senza ironia, il "Docker dei modelli linguistici". Ollama rappresenta un cambiamento paradigmatico nel modo in cui sviluppatori e professionisti approcciano i modelli linguistici di grandi dimensioni, passando da una dipendenza totale dai servizi cloud a un'autonomia computazionale completa direttamente sul proprio hardware.

La velocità di adozione di Ollama riflette un cambio profondo nelle priorità dell'industria tech: privacy, costi controllabili, affidabilità operativa e personalizzazione stanno diventando criteri decisionali almeno quanto le prestazioni assolute. Questo documento fornisce una guida pratica completa per comprendere cosa sia Ollama, come iniziare da zero e come integrarlo nei propri flussi di lavoro nel contesto del 2026.

Cos'è Ollama: definizione e filosofia di base

Ollama è una piattaforma open source, distribuita con licenza MIT, che permette di scaricare, eseguire e interrogare modelli LLM (Large Language Model, ovvero le stesse architetture che alimentano ChatGPT, Claude e Gemini) direttamente sul proprio computer. A differenza dei servizi cloud, Ollama non richiede pagamento di API esterne, non comporta la condivisione di prompt o documenti con server di terze parti e non richiede nemmeno una connessione internet attiva una volta scaricato il modello.

La filosofia sottostante Ollama copia in modo esplicito quella di Docker: invece di lottare con dipendenze Python, librerie CUDA, file di pesi in formato GGUF da caricare manualmente e prompt template diversi per ogni famiglia di modello, basta un singolo comando del tipo ollama run llama3.1 e in pochi secondi ci si trova dentro una chat interattiva sul terminale, con un modello da otto miliardi di parametri che risponde in italiano, inglese, codice Python o JSON strutturato.

Il progetto è scritto interamente in Go, una scelta che garantisce portabilità e velocità di esecuzione. È mantenuto da un team commerciale (Ollama Inc.) che monetizza attraverso un piano Pro a 20 dollari al mese e un piano Max a 100 dollari al mese per accesso a modelli ospitati su infrastruttura propria. Tuttavia, il binario locale rimane gratuito per uso personale e commerciale, senza chiavi API, senza telemetria attiva per default e senza limiti di token al di fuori di quelli imposti dall'hardware fisico disponibile.

Come funziona Ollama: i tre compiti fondamentali

Sotto il cofano, Ollama esegue tre operazioni che fino a un paio di anni fa richiedevano competenze da MLOps senior. La comprensione di questi tre livelli è essenziale per apprezzare il valore della piattaforma.

Primo compito: rilevamento e configurazione dell'hardware. Ollama rileva automaticamente l'hardware disponibile sulla macchina, identificando la presenza di GPU NVIDIA con CUDA, schede AMD con ROCm, chip Apple Silicon con backend Metal/MLX, oppure semplicemente CPU x86 o ARM, e configura il backend di inferenza più adatto senza richiedere interventi manuali dell'utente. Questo processo di auto-configurazione elimina una delle principali fonti di frustrazione nell'uso di modelli locali: la necessità di compilare manualmente dipendenze CUDA o configurare librerie BLAS specializzate.

Secondo compito: gestione della libreria locale di modelli. Ollama gestisce una libreria locale dei modelli scaricandoli da un registry pubblico simile a Docker Hub, montandoli in VRAM quando servono e scaricandoli quando l'utente passa a un altro modello per liberare memoria. Questo sistema di gestione intelligente della memoria consente di eseguire modelli anche su hardware con VRAM limitata, sfruttando efficientemente lo spazio disponibile e ottimizzando i tempi di caricamento.

Terzo compito: esposizione di un'API HTTP compatibile con OpenAI. Ollama espone un demone HTTP in ascolto di default sulla porta 11434 che parla il dialetto della Chat Completions API di OpenAI. Questo significa che qualunque libreria già scritta per OpenAI—da LangChain a LlamaIndex a Vercel AI SDK—funziona puntando a Ollama cambiando semplicemente un singolo URL. Questa compatibilità elimina il costo di migrazione delle applicazioni esistenti e accelera significativamente l'adozione.

Perché eseguire LLM in locale ha senso nel 2026

La domanda più frequente, soprattutto da chi è abituato a ChatGPT Plus o a Claude Pro, è perché complicarsi la vita quando il cloud offre modelli più grandi e veloci. La risposta non è ideologica, bensì economica e operativa, e poggia su quattro pilastri concreti.

Primo pilastro: la privacy assoluta

Se un modello gira sulla tua macchina e non hai abilitato funzioni di telemetria opzionali, nessun byte dei tuoi prompt, delle tue risposte e dei documenti che carichi esce dal perimetro locale. Per chi lavora con dati sanitari, segreti aziendali, contratti riservati o codice proprietario, questo non è un dettaglio secondario, bensì spesso un vincolo contrattuale o normativo diretto.

Il GDPR europeo, l'AI Act europeo e le policy aziendali interne riconoscono l'inferenza on-device come uno dei pochi setup che azzera, per costruzione, il problema del trasferimento dati verso fornitori cloud extra UE. Le organizzazioni che operano in settori regolamentati come healthcare, finance e government possono utilizzare Ollama per soddisfare requisiti di compliance che sarebbero altrimenti impossibili da raggiungere con servizi cloud centralizzati.

Secondo pilastro: il costo operativo

Un'API a pagamento come quella di OpenAI o Anthropic ha un prezzo per milione di token che, su carichi seri, esplode rapidamente. A titolo di esempio, con prezzi del 2026, l'inferenza su GPT-4o costa circa 15 dollari per milione di token di input e 60 dollari per milione di token di output. Un modello come Llama 3.1 8B o Qwen 3 14B, scaricato una volta sola sul tuo computer, può rispondere a milioni di query a costo marginale zero, escluse le bollette elettriche.

La stessa economia vale se si collega Ollama a un agente personale: una volta che l'hardware è stato ammortizzato nel primo mese di utilizzo, ogni interrogazione successiva costa soltanto la frazione di kilowatt-ora necessaria per eseguire l'inferenza. Per chi sviluppa prototipi, plugin, agenti, automazioni n8n o RAG (Retrieval Augmented Generation, la tecnica che affianca al modello una ricerca documentale mirata), il salto da "pago a token" a "pago una volta l'hardware" è spesso il punto di svolta che permette di portare il progetto in produzione senza far esplodere il budget.

Terzo pilastro: la disponibilità garantita

Le API cloud cadono, vengono rate-limitate, cambiano modelli da un giorno all'altro deprecando endpoint che la tua app usava in produzione, oppure introducono filtri di sicurezza che bloccano richieste perfettamente legittime ma percepite come ambigue dai sistemi di content filtering centralizzati. Un modello locale non scompare, non cambia versione senza il tuo consenso, non ti rate-limita se non hai esaurito la RAM, e funziona anche sull'aereo o nel rifugio di montagna senza segnale internet.

Questa affidabilità operativa è particolarmente importante per sistemi in produzione critici, dove la tolleranza per il downtime è bassa e la prevedibilità del comportamento è essenziale. Ollama offre questo livello di stabilità per costruzione, senza dipendenze esterne.

Quarto pilastro: la personalizzazione profonda

Con Ollama puoi creare un "Modelfile", un file di testo simile a un Dockerfile, in cui definisci system prompt persistenti, parametri di temperatura, top-k e top-p, e puoi caricare adapter LoRA o pesi fine-tuned ottenuti con strumenti come LLaMA Factory per il fine-tuning senza codice. Niente di tutto questo è possibile con un'API chiusa gestita da un provider esterno.

La capacità di personalizzare il comportamento del modello al livello di singolo parametro consente di ottimizzare le prestazioni per casi d'uso specifici, di adattare il modello al tono e allo stile desiderati, e di introdurre comportamenti specializzati per domini verticali (medicina, legge, ingegneria) senza dipendere da rilasci upstream che potrebbero non soddisfare le esigenze particolari.

I requisiti hardware reali: una visione realistica

Online si trovano due narrazioni opposte e ugualmente sbagliate sulla questione hardware. La prima sostiene "ti basta un laptop normale", la seconda afferma "serve una RTX 4090 da duemila euro". La verità sta in mezzo e dipende completamente dalla dimensione del modello che intendi far girare. Una valutazione realistica divide il panorama in tre fasce di utilizzo.

Fascia uno: modelli piccoli per laptop standard (1-4 miliardi di parametri)

Per i modelli da 1 a 4 miliardi di parametri, che includono Gemma 3 270M, Llama 3.2 1B, Gemma 3 4B e Qwen 3 4B, bastano 8 GB di RAM e una CPU degli ultimi cinque anni. Girano anche sui Mac M1 entry level, sui mini PC Intel N100 e sui laptop Windows con processori serie i5 di decima generazione in poi. La velocità di generazione è dell'ordine dei 15-30 token al secondo, un throughput sufficiente per chatbot conversazionali, riassunti di testi, traduzioni e classificazioni di documenti.

Questa fascia rappresenta il punto di ingresso ideale per chiunque voglia sperimentare Ollama senza investimenti hardware significativi. Un qualunque laptop moderno riesce a eseguire questi modelli con prestazioni accettabili.

Fascia due: modelli medi per produttività (7-14 miliardi di parametri)

Per i modelli da 7 a 14 miliardi di parametri, che rappresentano il vero "sweet spot" del 2026, il livello consigliato è di 16 GB di RAM unificata su Mac M1 Pro o superiore, oppure 16 GB di RAM più una GPU NVIDIA con almeno 8 GB di VRAM su Windows e Linux. In questa categoria ricadono Llama 3.1 8B, Qwen 3 14B, Mistral 7B e Phi-4 14B.

Le velocità tipiche di generazione sono di 25-60 token al secondo, direttamente comparabili a quelle di ChatGPT free. Questi modelli offrono un eccellente rapporto qualità-velocità-requisiti hardware e sono consigliati per la maggior parte dei casi d'uso in produzione, da agenti autonomi a sistemi RAG a chatbot specializzati.

Un Mac M2 Pro o un laptop Windows con RTX 4060 rappresentano la configurazione minima pragmatica in questa fascia. L'investimento iniziale varia dai 1.500 ai 2.500 euro, ma l'ammortamento avviene rapidamente per chi utilizza il modello più volte al giorno.

Fascia tre: modelli grandi per ricerca e sviluppo (27-70 miliardi di parametri)

Per i modelli da 27 a 70 miliardi di parametri, che includono Gemma 3 27B, Qwen 3 32B e Llama 3.1 70B, servono macchine serie: 32-64 GB di RAM unificata su Mac M3 Max o Mac Studio, oppure due GPU NVIDIA RTX serie 4090 o una singola RTX 6000 Ada da 48 GB di VRAM su PC desktop. È la fascia "workstation per professionisti AI", con investimenti che partono da quattromila euro ma offrono prestazioni vicine a GPT-4o senza pagare un centesimo di API per ogni interrogazione successiva.

Questa fascia è appropriata per organizzazioni che richiedono prestazioni di modellazione linguistica di altissimo livello, per ricercatori che studiano il comportamento dei modelli e per aziende che vogliono estrarre il massimo valore dalle architetture open weight più avanzate.

Attenzione critica: spazio disco

Un aspetto spesso sottovalutato è la necessità di spazio disco sufficiente. Ogni modello pesa tra i 2 e i 40 GB a seconda della dimensione. Se hai un SSD da 256 GB e installi cinque o sei modelli per provarli, ti ritroverai rapidamente con il disco pieno e il sistema compromesso. È prudente destinare almeno 500 GB di spazio disco libero per installare una library diversificata di modelli.

Il comando ollama list mostra cosa hai scaricato sul sistema, permettendo un audit completo del consumo di spazio. Il comando ollama rm nome-modello libera lo spazio disco eliminando un modello specifico dal sistema locale.

Installazione su macOS: procedura step-by-step

Procedura per Apple Silicon e Intel

Su Mac la via più rapida è scaricare il pacchetto ufficiale da ollama.com/download, aprire il file .dmg e trascinare Ollama.app nella cartella Applic