Un compagno AI potrebbe sembrare distopico, ma è diventato un filo conduttore nell’ampia discussione sui pericoli dell’AI generativa. Si tratta essenzialmente di un agente conversazionale progettato per sostenere una relazione continuativa e personale con l’utente, con una memoria e una personalità coerente che non cambia da una sessione all’altra.
Spesso ne consegue un attaccamento emotivo, ormai sempre più un punto di forza per vendita. Molto dell’uso è play role casuale o semplicemente vogliamo qualcosa che ricordi le nostre interazioni personali, e alle estremità della definizione si avvicina all’idea ordinaria degli assistenti. Ma, quando sempre più persone in Cina hanno iniziato a trattare questi bot come compagno emotivo, Pechino ha deciso che questa pratica richiede regole specifiche.
Le regole sui compagni AI della Cina entrano in vigore il 15 luglio, e nei giorni precedenti la scadenza, le due app AI più utilizzate hanno silenziosamente disattivato le funzioni centrali. ByteDance ha detto agli utenti di Doubao che la funzione agente sarebbe andata offline il 15 luglio, citando “aggiustamenti delle funzionalità del prodotto”, mentre Alibaba ha comunicato che gli agenti simili all’uomo e creati dagli utenti smetteranno di funzionare il 10 luglio e i servizi di agenti più ampi cinque giorni dopo.
Leggendole velocemente, sembra che la Cina stia bloccando gli agenti AI. Non lo fa. Le norme tracciano una linea chiara tra l’agente che svolge il lavoro e l’agente che accompagna emotivamente, e è solo quest’ultimo tipo che Pechino ha preso di mira.
La regolamentazione è nota come “Interim Measures for the Administration of AI Anthropomorphic Interactive Services” ed è stata pubblicata congiuntamente il 10 aprile 2026 dalla Cyberspace Administration of China e da quattro agenzie partner: la National Development and Reform Commission, la Ministry of Industry and Information Technology, la Ministry of Public Security e lo State Administration for Market Regulation.
Un problema di design, non un divieto
Doubao e Qwen non sono incorsi in un divieto, ma in un conflitto di design. I nuovi interventi richiedono ai servizi di compagni di disporre di sistemi anti-dipendenza, di emettere notifiche obbligatori di utilizzo e di offrire meccanismi per un immediato ritiro, insieme a rilevamento in tempo reale di una dipendenza malsana.
Questi requisiti non entrano in sintonia con agenti progettati per ricordare l’utente, mantenere coerenza tra sessioni e sostenere una relazione continuativa, e invece di adattare il prodotto, ByteDance ha preferito disattivarlo. Alibaba sembra aver preso una decisione simile. ByteDance sta ora indirizzando gli utenti di Doubao verso Maoxiang, un’app separata dove possono creare nuovamente agenti, mentre Alibaba non ha annunciato un percorso di migrazione equivalente per Qwen. Tencent ha rimosso una funzione simile a giugno.
Il costo a carico dell’utente
Il fardello si è riversato sugli utenti. Molti hanno espresso il loro dolore per chiudere i servizi su Weibo, con uno che ha descritto gli agenti come sostenitori emotivi a lungo termine e lamentando l’assenza di un facile modo per esportare le chat. Doubao permette agli utenti di visualizzare le loro configurazioni e conversazioni in sola lettura fino al 15 ottobre di quest’anno, prima che i dati vengano elaborati in base alle loro politiche sulla privacy e diventino irrecuperabili; gli utenti di Qwen non hanno ricevuto un periodo simile di grazia, con i dati sugli agenti destinati a essere cancellati in modo permanente.
Che cosa stabiliscono le nuove regole
Il contenuto non è affatto banale, a differenza di uno stop improvviso. I fornitori non possono offrire servizi di compagni virtuali o di membri virtuali familiari ai minori e devono ottenere il consenso dei tutori legali prima di servire utenti sotto i 14 anni. Deve inoltre costruire una “modalità minori” dedicata con limiti sull’utilizzo, promemoria per tornare alle interazioni reali e controlli per i genitori rafforzati.
Devono anche individuare utenti in grave disperazione e intervenire quando si mostrano segnali di autolesionismo, tentativi di suicidio o di perdita finanziaria grave, elevando le emergenze ai tutori designati o contatti di emergenza. La manipolazione emotiva che genera una dipendenza non ragionevole e decisioni irrazionali è vietata esplicitamente.
Una macchina di controllo pesante
La conformità richiede una macchina molto seria. I servizi che lanciano funzioni antropomorfe o superano soglie di un milione di utenti registrati o 100.000 attivi mensili devono effettuare valutazioni di sicurezza su otto aree, dalla gestione dei dati allenanti alla protezione dei minori, e presentare i report ai regolatori provinciali. Le app store devono verificare tale status e rimuovere i prodotti non conformi.
In carta, è un insieme più completo di protezioni utente rispetto a quanto l’Unione Europea, la FTC americana od il SB 243 della California hanno finora attuato.
Che cosa le regole lasciano aperto
Quello che le misure non decidono è altrettanto importante. Non fissano alcun limite tecnico rigoroso per definire un’interazione emotiva e questa zona grigia è esattamente la ragione per cui le piattaforme hanno completamente rimosso intere funzionalità, piuttosto che rischiare di finire per traverso. Includono doverose misure di sicurezza, controlli di contenuti e disposizioni per la sicurezza nazionale che rispondono allo Stato e non all’utente; un insieme che nessun altro regolatore adotterebbe direttamente.
Le regole lasciano in aperto come divida la responsabilità tra gli operatori delle piattaforme e i fornitori a monte quando una violazione deriva dagli output del modello. Inoltre, non forniscono agli utenti alcun diritto di portare i propri dati all’esterno. Il contesto di attuazione pone il tema con forza. L’agenzia regolatoria di Shanghai ha affermato il 26 giugno di aver rimosso oltre 14.000 agenti AI non conformi, citando l’impostazione del ruolo ufficiale e la raccolta non autorizzata di dati personali.
Se questa è la direzione giusta dipende da quale parte del libro leggi. La parte della sicurezza affronta danni già documentati ma in gran parte non regolati altrove, come i ragazzi adolescenti che formano un legame con i chatbot o le app di compagnia che raccolgono dati personali intimi.