Il routing tra modelli locali e modelli frontier è la prossima infrastruttura invisibile dell’intelligenza artificiale: una questione di privacy, di sicurezza e di un mercato che, oggi, semplicemente non esiste ancora. Dopo l’era del cloud, l’intelligenza artificiale torna a essere eseguita vicino ai dati

C’è un momento, nella storia del computing, che si ripete sempre uguale a sé stesso. Prima tutto è centralizzato, cloud, costoso, presidiato da pochi. Poi arriva un salto tecnologico che permette di fare in locale ciò che prima richiedeva un mainframe, e il pendolo torna indietro. Negli anni Settanta il calcolo viveva nei centri di elaborazione dati delle grandi aziende. Con il PC, l’intelligenza si è spostata sulla scrivania. Con il cloud, buona parte era tornata a vivere altrove, in data center che non vediamo e non controlliamo.

Oggi si sta pensando, nelle PA locali e nel post PNRR, a un ritorno “on premise” per motivi di costi e sovranità del dato.

Un giro completo di pendolo

Oggi, con l’intelligenza artificiale generativa, il pendolo sta per fare un altro giro completo, e i numeri che lo raccontano sono più chiari di quanto si possa immaginare.

Uno studio pubblicato a novembre 2025 da Stanford University e Together AI ha misurato, con un metodo tutt’altro che aneddotico, quanta parte del traffico AI conversazionale potrebbe essere gestita da modelli locali invece che da modelli frontier in cloud. Il risultato: l’88,7% delle query di chat e reasoning single-turn può essere risolto correttamente da modelli piccoli, eseguiti su hardware di fascia consumer, con un’accuratezza comparabile a quella dei modelli di frontiera.

Un secondo lavoro, firmato Nvidia insieme al Georgia Institute of Technology, arriva a una conclusione quasi identica per gli agenti AI: tra l’80% e il 90% degli step di un loop agentico può restare in locale su modelli da 3 a 9 miliardi di parametri, più veloci, più economici e più privati di un modello frontier richiamato in cloud. Novanta e dieci, dunque, non è uno slogan. È l’ordine di grandezza che due gruppi di ricerca indipendenti, con metodologie diverse, misurano sulla stessa frontiera.

Il problema del modello sbagliato

Per capire perché questo dato conta, serve fare un passo indietro. Negli ultimi tre anni abbiamo costruito un’infrastruttura AI quasi interamente centralizzata: ogni prompt, dalla mail che riscriviamo al codice che debugghiamo, viaggia verso un data center, passa attraverso un modello enorme allenato su scala planetaria, e torna indietro. Ha senso, se l’unico modo per ottenere una risposta intelligente è chiamare un modello da centinaia di miliardi di parametri.

Usiamo un modello capace di ragionare su fisica avanzata per riformulare una mail.

Usiamo la Formula 1 per consegnare una pizza.

Ciò che è cambiato tra il 2023 e il 2025 è la capacità dei modelli piccoli.

Routing intelligente e architettura decentralizzata

Il termine suona tecnico ma il concetto è semplice: l'intelligent routing è il meccanismo, oggi in gran parte manuale, con cui decidiamo quale modello merita un determinato task.

Quando apriamo la chat di un assistente AI e le chiediamo di riassumere un’email, stiamo usando un fucile a pompa per spegnere una candela: il modello frontier in cloud viene mobilitato per un compito che un modello locale da pochi miliardi di parametri gestirebbe altrettanto bene, a costo quasi zero e senza far uscire una riga di testo dal nostro dispositivo.

Una decisione inutile da prendere a mano

Oggi questa decisione, quale task mandare a quale modello, è delegata quasi interamente a noi umani, e la prendiamo per abitudine più che per calcolo: apriamo sempre la stessa app, chiamiamo sempre lo stesso modello, indipendentemente dalla complessità reale della richiesta.

È come se, prima di ogni telefonata, dovessimo scegliere manualmente se serve un centralinista, un tecnico specializzato o il direttore generale. Nessuna azienda funziona così: esiste uno smistamento, un centralino, un livello di triage che instrada la richiesta verso chi è davvero necessario. Nell’AI, quel centralino ancora non esiste in forma matura. Il routing tra modelli locali e frontier è, in sostanza, il tentativo di costruirlo.

Ottimizzazione ma non overgeneralizzazione

Vale la pena essere precisi, perché il dato del 90/10 è reale ma non va sovraesteso. Lo studio Stanford IPW lavora su query single turn di chat e reasoning: la copertura locale supera il 90% sui compiti creativi, come scrittura e arti, ma scende al 68% sui domini tecnici, come architettura e ingegneria. Sui task di reasoning puro il miglior modello locale copre l’88,9% delle query di chat generica ma solo il 64,9% di quelle di reasoning strutturato, un divario di 24 punti percentuali che dice qualcosa di importante: il locale funziona meglio dove il compito è ripetitivo o conversazionale, meno dove serve ragionamento originale su più passaggi.

Agenti AI e modelli ridotti

Il lavoro Nvidia, sul fronte degli agenti, conferma la stessa geometria da un’altra angolazione: l’80-90% degli step di un loop agentico, quali il parsing di un input, la chiamata a uno strumento, la formattazione di un output strutturato, non richiede affatto un modello generalista di frontiera. Servono affidabilità, velocità e aderenza a un formato, non brillantezza.

Un modello da 7 miliardi di parametri costa da 10 a 30 volte meno, in latenza, energia e calcolo.

Il restante 10-20% degli step, quelli che richiedono comprensione ampia, contesto lunghissimo o ragionamento davvero nuovo, resta terreno dei modelli frontier.

Due studi, due metodologie, due popolazioni di task diverse, la stessa proporzione. Non è una coincidenza statistica isolata: è la fotografia di un’architettura che si sta ridisegnando attorno a un principio semplice: usare l’intelligenza minima sufficiente, non quella massima disponibile.

Privacy e gestione dei dati sensibili

Ogni volta che scriviamo un prompt a un modello in cloud, quel testo lascia il nostro dispositivo, attraversa una rete, viene elaborato su un server che non controlliamo, secondo termini di servizio che quasi nessuno legge fino in fondo. Per una domanda generica non cambia molto. Ma il 90% del nostro utilizzo quotidiano dell’AI non è fatto solo di domande generiche: contiene bozze di contratti, dati clinici, strategie aziendali riservate, informazioni su persone terze che non hanno acconsentito a nulla.

Con un modello locale, la