Un errore nell'AI che ha portato a bannare migliaia di utenti
Discord ha riconosciuto un errore nel sistema di moderazione automatica basato sull’intelligenza artificiale, che ha condotto al blocco di oltre 8.000 account negli ultimi due mesi. L’errore ha coinvolto utenti che caricavano immagini come fogli Excel, scacchiere, texture di gioco o schermate con sfondoni grigi e trasparenti, che sono state erroneamente indicate come contenuti dannosi. Il problema, confermato inizialmente a maggio, ha incluso il bannaggio di ulteriori 200 account nel fine settimana prima che fosse risolto il bug.
Discord ha spiegato che si tratta di una crescente sfida legata al controllo automatizzato in sistemi di moderazione. Le piattaforme si affidano sempre più a sistemi automatizzati per identificare contenu illegittimi su base scalare. In un thread su X, il team ha chiarito che il sistema automatico funziona matchando i file caricati con archivi di contenu dannosi noti. Sebbene progettato per rilevare materiali vietati, l’algoritmo ha prodotto numerosi falsi positivi.
La moderazione AI non è impeccabile
Discord ha ammesso che gli algoritmi, pur progettati per migliorare la sicurezza degli utenti, non sono esenti da errori. Un moderatore umano è coinvolto in un secondo momento, ma un bug ha impedito il normale processo. L’azienda ha scritto: “Stiamo lavorando per aggiungere protezioni migliori per evitare che accada di nuovo”. Il sistema segnala automaticamente contenuti confrontandoli con archivi di materiali pericolosi. L'intento è riconoscere e prevenire il caricamento di contenu illegittimi.
Pur essendo un sistema di controllo affidabile, il bug ha causato ban definitivi a causa di un errore di moderazione automatizzata. Molti utenti hanno lamentato che il bannaggio automatico ha creato grandi problemi, soprattutto per coloro che si affidano a Discord per lavoro, sviluppo di giochi o collegamenti sociali a distanza. Un utente su X ha commentato: “Perdere un account Discord per questo motivo può essere estremamente devastante e colpisce milioni di persone ogni giorno”.
Immagine innocue rifiutate come se fossero dannose
In molti hanno segnalato di essere stati permanentemente bannati per aver caricato immagini con schemi a griglia. Alcuni sospettano che i sistemi di moderazione siano diventati sensibili a tali schemi perché hanno precedentemente rilevato materiali NSFW o collegati a sfruttamento minorile, utilizzati da alcuni per sconfiggere la moderazione automatica.
Questi falsi positivi hanno causato frustrazione su larga scala, soprattutto tra sviluppatori, artisti o utenti che usano immagini innocue per il proprio lavoro. Un utente ha postato su X: “Il mio account è stato vietato erroneamente per texture del gioco rilevate come pornografia infantile. Ho bisogno del mio account per comunicare con il team dei giochi.” L'utente ha inviato una richiesta formale a Discord e al suo supporto per un riesame.
Altri casi simili in altri servizi
Discord non è l’unica azienda ad affrontare problemi con l'uso dell'intelligenza artificiale in contesti di moderazione. Anche Instagram e i gruppi Facebook hanno subito sospensioni misteriose in passato; molti utenti hanno ritenuto che fossero causate da errori della moderazione automatizzata. Meta, però, non ha mai confermato che fossero colpi mancati dell'AI.
Il consiglio di Meta è ora a favore di una maggiore trasparenza. Tumblr, l’anno scorso, ha affrontato un’ondata di lamentele da parte di utenti che hanno riferito di sospensioni di massa senza spiegazioni. Tali casi sottolineano quanto delicata possa diventare la moderazione automatizzata: non solo in termini di equità, ma anche perché gli errori possono compromettere il lavoro e il collegamento di tantissimi utenti.
La sfida della moderazione automatizzata
La moderazione automatica promette di accelerare il rilevamento del contenu vietato, ma le piattaforme sono continuamente alla ricerca di nuovi metodi per ridurre gli errori. L'uso di algoritmi per gestire grandi quantità di dati è inevitabile, ma il costo di errori come quelli di Discord può essere enorme. Per evitare danni per gli utenti, l'equilibrio tra automatizzazione e controllo manuale è più che mai cruciale.