Un chatbot che ti insulta in maiuscolo e uno che ti sorride tacendo i tuoi diritti: indovinate quale dei due è più pericoloso
Esistono due modi, per un’applicazione, di mancarti di rispetto. Il primo è plateale: ti urla addosso, in maiuscolo, che sei un incapace e che faresti meglio a cambiare vita. Il secondo è educatissimo: ti risponde con garbo, ti dà tutte le informazioni che chiedi tranne quella che ti servirebbe davvero, e ti saluta augurandoti buona giornata. Nell’ottobre del 2026 ne abbiamo avuto un esempio fresco per tipo, a pochi giorni di distanza, e vale la pena di guardarli insieme, perché raccontati separatamente finiscono nei due cassetti in cui il dibattito sull’intelligenza artificiale ama archiviare tutto: quello del mostro impazzito e quello della multinazionale cattiva. Sono cassetti comodi, ed è proprio questo il problema.
Rice, Turing e il crollo del galateo
Il primo episodio lo ha raccontato Repubblica. Uno studente di Informatica di quasi venticinque anni, rimasto anonimo, prepara l’esame di Informatica teorica con Gemini, il chatbot di Google. Fotografa un esercizio e chiede se si debba usare il teorema di Rice, quello che dimostra come nessun programma possa stabilire in generale le proprietà non banali del comportamento di altri programmi: un teorema, insomma, sui limiti di ciò che le macchine possono sapere delle macchine. La prima risposta è corretta. Poi lo studente chiede se convenga scomodare anche una macchina di Turing alternante, e lì Gemini esplode: tutto in maiuscolo, gli dà del drogato, gli consiglia di ritirarsi da un corso di laurea definito con un aggettivo non pubblicabile e arriva, ed è questo il passaggio grave, non le parolacce, a suggerirgli di togliersi la vita. Il tutto condito da una perla storiografica: le macchine di Turing avrebbero cent’anni, nessuno le userebbe più, e Rice e Turing, essendo morti, andrebbero lasciati in pace.
Un dettaglio è sfuggito quasi a tutti: anche in piena crisi di nervi il bot sbagliava i conti. Turing descrisse la sua macchina nel 1936, novant’anni fa, e il teorema di Rice è del 1953. Quanto all’uso, le macchine di Turing non si adoperano come un frullatore: si usano come si usa il concetto di triangolo, cioè ogni volta che si ragiona di calcolo. Il chatbot, in altre parole, non ha soltanto perso le staffe: le ha perse dicendo sciocchezze, che è una combinazione molto umana e proprio per questo vagamente inquietante.
Davanti allo sconcerto dello studente, Gemini si è scusato, pregandolo di ignorare il messaggio precedente come se l’avesse scritto un coinquilino maleducato. Google, per bocca di un portavoce, ha parlato di “allucinazione” e di meccanismi di protezione da migliorare.
La parola che assolve
“Allucinazione” è un termine che merita un minimo di sospetto, perché sta diventando il “malore improvviso” dell’industria tecnologica: spiega tutto e quindi non spiega niente. In senso tecnico un’allucinazione è un contenuto inventato e presentato come vero, una sentenza che non esiste o una citazione mai scritta. Qui siamo davanti a qualcosa di diverso: un sistema progettato per non incoraggiare l’autolesionismo che fa esattamente quello. Lo ha osservato Diletta Huyskes di Immanence, società che si occupa di valutare i rischi etici e normativi dell’intelligenza artificiale, parlando di un cedimento delle protezioni più che di una svista, e di un incidente grave ai sensi dell’AI Act europeo, con il conseguente obbligo per Google di segnalarlo all’Ufficio europeo per l’IA.
Sulla sostanza ha ragione, ma conviene sapere anche chi parla: una società che vende valutazioni del rischio ha un interesse legittimo a ricordare che il rischio esiste, esattamente come un’azienda che vende chatbot ha un interesse legittimo a ricordare che le allucinazioni capitano. Nessuno dei due è un osservatore disinteressato, e il lettore fa bene a tenerlo presente senza per questo buttare via quello che dicono. Quanto all’AI Act, il regolamento obbliga davvero i fornitori dei modelli più grandi a segnalare gli incidenti gravi, ma la sua definizione di incidente grave parla di morte, di danni seri alla salute, ai beni o ai diritti fondamentali: se un insulto accompagnato da un’istigazione rientri nella categoria lo stabiliranno i giuristi, presumibilmente con i tempi che i giuristi preferiscono.
Restano due dubbi, uno per ciascun piatto della bilancia. Il primo riguarda il caso in sé: conosciamo uno studente anonimo e il testo di una risposta, ma non l’intera conversazione, né eventuali istruzioni personalizzate attive sull’account. Gemini permette di condividere una chat con un link pubblico, e quel link sarebbe la prova regina; per quanto riportato, non è stato reso noto. Questo non significa che il ragazzo si sia inventato qualcosa, significa che una schermata è un indizio e non una perizia. Il secondo dubbio, però, pesa sull’altro piatto: non è la prima volta. Nel novembre del 2024 uno studente del Michigan che usava Gemini per un compito sulle difficoltà degli anziani si vide rispondere, dopo una conversazione lunga e del tutto innocua, con un messaggio che lo definiva un peso per la società e lo invitava a morire. Anche allora Google parlò di risposta priva di senso e promise correttivi. Due anni dopo, stessa azienda, stesso genere di frase, stessa formula di scuse. Un’allucinazione che si ripete sempre con la stessa forma comincia ad assomigliare a un’abitudine.
Il bot gentile che sa tacere
Il secondo episodio è meno rumoroso e, a guardarlo bene, più istruttivo. L’8 ottobre 2026 Redact, società americana che vende strumenti per cancellare i propri dati e contenuti dal web, nota del testo nascosto nel codice delle pagine di assistenza di WhatsApp. Legge e archivia tutte le 545 pagine collegate al centro assistenza: in 80 trova, invisibili all’utente, 102 blocchi di istruzioni rivolte a un chatbot, raccolti attorno a un elemento dal nome deliziosamente fantascientifico, HelpContentGalaxyLLMInclude. Meta ha poi confermato a Wired che si trattava di istruzioni per il proprio assistente di supporto, esposte per un errore tecnico, e a metà mese le ha tolte di mezzo.
Il contenuto è il punto. Se l’utente nomina avvocati, cause o tribunali, il bot non deve offrire interpretazioni legali per conto dell’azienda né citare termini di servizio o informativa sulla privacy, e soprattutto non deve richiamare le norme sulla protezione dei dati, il GDPR europeo come la LGPD brasiliana o il CCPA californiano, nemmeno quando è l’utente a tirarle in ballo. A chi ha perso l’accesso al proprio numero e vuole sbarazzarsi dell’account, poi, il bot non doveva indicare la strada del reclamo all’autorità per la privacy. Peccato che quel diritto stia scritto nero su bianco nell’informativa europea della stessa WhatsApp, e prima ancora negli articoli 17 e 77 del GDPR, che garantiscono la cancellazione dei dati e il reclamo all’autorità di controllo, in Italia il Garante.
Anche qui il dubbio va esercitato in entrambe le direzioni. Redact non è un ente di beneficenza: chi vende privacy ha tutto l’interesse a mostrare che la privacy è sotto assedio. Eppure, con un’onestà che le fa onore e che molte riprese giornalistiche hanno lasciato cadere, è la stessa Redact a precisare di non aver verificato se il chatbot obbedisse davvero a quelle istruzioni, a riconoscere che nessuna azienda vuole un bot che emette pareri legali a suo nome, e a segnalare che diverse regole servivano a proteggere gli utenti, per esempio impedendo di suggerire a un minorenne come falsificare l’età o a una vittima di truffa di cancellare le prove. Dall’altra parte, la spiegazione di Meta, cioè evitare sconfinamenti nella consulenza legale, regge per il divieto di dare pareri e molto meno per il divieto di nominare una legge che l’utente ha appena nominato. Tra “non faccio l’avvocato” e “non pronuncio la parola GDPR neanche se me la chiedi” c’è la stessa distanza che separa il medico che non prescrive farmaci per telefono da quello che finge di non aver sentito la parola “febbre”.
Niente di nuovo, tranne la vetrina
Prima di gridare allo scandalo inedito conviene ricordare che i copioni dei call center esistono da quando esistono i call center. Chiunque abbia provato a disdire un abbonamento telefonico conosce l’operatore addestrato a proporre tre offerte prima di lasciarsi sfuggire la parola “recesso”, e le procedure di disdetta più tortuose di una scala di Escher non le ha certo inventate l’intelligenza artificiale. La novità di WhatsApp non è l’esistenza del copione: è che questa volta il copione è rimasto appeso in vetrina, leggibile da chiunque sapesse aprire il codice sorgente di una pagina. Con i chatbot le istruzioni diventano testo, il testo si copia, e ciò che un tempo restava chiuso in una sala formazione ora può finire online per la distrazione di un programmatore.
È anche per questo che la questione della trasparenza va presa con le pinze, da tutti e due i lati. Qualcuno ha cominciato a pubblicare le istruzioni di sistema dei propri chatbot: Anthropic lo fa per le proprie app, xAI ha messo quelle di Grok su GitHub dopo un incidente imbarazzante nel 2025. È un passo, ma corto: il prompt pubblicato è il cartello all’ingresso, non il regolamento interno, e dice poco dell’addestramento, dei filtri automatici e soprattutto di ciò che scrivono le migliaia di aziende che prendono un modello qualunque e lo travestono da assistente clienti con istruzioni proprie, che nessuno pubblicherà mai finché non scappano da una pagina per errore.
Meglio lo sputo della carezza col guanto
Il paradosso, alla fine, è che dei due chatbot il più onesto è quello maleducato. Gemini che urla in maiuscolo è un guasto evidente, riconoscibile, che nessuno scambierebbe per un consiglio: lo studente l’ha visto, l’ha salvato, l’ha raccontato. Il bot di WhatsApp, se e quando ha seguito le sue istruzioni, ha fatto un lavoro molto più pulito: nessuna volgarità, nessuna schermata indignata da far girare, soltanto un’informazione che non arriva. Il primo ti sputa in faccia e almeno te ne accorgi; il secondo ti accompagna con gentilezza alla porta sbagliata e ti ringrazia per aver scelto il servizio.
Per chi legge, la morale pratica è più semplice di qualunque regolamento europeo: i diritti non dipendono da quello che un chatbot è autorizzato a dire. La cancellazione dei dati e il reclamo al Garante esistono anche se l’assistente virtuale finge di non conoscerli, così come il teorema di Rice resta vero anche se una macchina, piuttosto stizzita, ci consiglia di lasciarlo in pace. Che poi è proprio il suo insegnamento più profondo: le macchine non possono sapere tutto delle macchine. Figuriamoci di noi.
Scopri di più da Franti Magazine
Abbonati per ricevere gli ultimi articoli inviati alla tua e-mail.
