Il sensore che si è rotto da solo

La Serie: Dalla Cibernetica all’Automazione Cognitiva

“Il controllore non riduce la varietà per controllare meglio. La riduce per non doverla leggere.”
— Il Franti, Il sensore che si è rotto da solo

Corollario ashbyano: ridurre la varietà di chi è governato non concentra il controllo, lo erode dall’interno. E i sintomi sono già nei titoli — basta saperli leggere come tali.

C’è una scena ricorrente nei resoconti dei grandi fallimenti previsionali del nostro tempo, ed è sempre la stessa: una stanza piena di schermi accesi, un’enorme quantità di dati che scorrono in tempo reale, un team di analisti molto bravi, e un evento che si materializza dal nulla cogliendoli del tutto impreparati. Quando il fumo si dirada, l’inchiesta scopre invariabilmente due cose. La prima: i segnali c’erano. La seconda: nessuno li aveva visti, perché il sistema di rilevamento era tarato per non vederli. È un genere narrativo a sé, ormai — si ripete con la regolarità delle stagioni e con la stessa apparente inevitabilità — e merita un nome preciso, perché senza un nome rischia di passare per sfortuna.

Il nome, almeno provvisorio, lo possiamo prendere in prestito dalla cibernetica: si chiama auto-ottundimento del controllore. È il rovescio meno discusso della legge di Ashby, e probabilmente il più istruttivo. Dice, in sostanza, che chi riduce la varietà del proprio governato non guadagna controllo: si toglie la vista. Lentamente, in maniera proporzionale e rigorosa, per via di un meccanismo che non chiede il permesso a nessuno e non si lascia disinnescare da nessuna buona intenzione.

Il principio, letto dalla parte sbagliata

Ashby, lo abbiamo visto, formulava la sua legge in termini di sufficienza: per governare un sistema con mille stati possibili, serve un sistema di controllo capace di mille risposte. Ma la stessa legge, presa per la coda, dice anche un’altra cosa, meno citata e più scomoda. Se artificialmente riduci la varietà del sistema governato — semplifichi il pubblico, addomestichi il dissenso, restringi le alternative disponibili — non hai semplificato il problema. Hai semplificato la rappresentazione del problema. Il problema vero, intanto, continua a esistere nella sua varietà originaria, e si limita a non esserti più visibile.

Funziona come una cataratta cognitiva: la realtà non si è impoverita, è la lente che si è opacizzata. Il sistema continua ad agire come se vedesse, perché lo schermo gli restituisce l’immagine che si aspetta — è stato calibrato apposta per restituirgliela. Ma le decisioni che prende sono ormai ricavate da una versione filtrata, depurata, semplificata della realtà. E quando la realtà non filtrata si presenta alla porta — perché prima o poi lo fa, è la sua principale specialità — il controllore scopre di non avere strumenti per riconoscerla. La chiama, allora, con i nomi che la psicologia delle élite gli mette a disposizione: cigno nero, anomalia statistica, evento di coda, crisi imprevedibile. Sono tutti modi educati per dire: io non vedevo.

Tre stagioni, tre sensori rotti

I casi recenti sono troppi perché valga la pena farne un elenco — è proprio l’eccessiva ripetizione del fenomeno a renderlo significativo — ma vale la pena fermarsi su tre, perché coprono tre ambiti molto diversi e mostrano lo stesso meccanismo all’opera con un’eleganza quasi didattica.

Il primo. La grande crisi finanziaria del 2008 fu preceduta da almeno cinque anni di segnali percepibili a chiunque avesse voglia di percepirli: il subprime cresceva in maniera abnorme, le securities erano impacchettate in modi che pochi capivano, l’esposizione delle banche era misurata con modelli — i celebri Value at Risk — che presupponevano una distribuzione normale dei rischi. Il punto non è che mancassero gli strumenti. Il punto è che gli strumenti erano stati semplificati in maniera tale da non poter vedere quello che effettivamente stava succedendo. Le agenzie di rating davano tripla A a prodotti che le inchieste successive avrebbero giudicato spazzatura. Quando il sistema crollò, l’unica reazione possibile fu lo stupore: nessuno aveva visto. Perché nessuno poteva vedere, con quei sensori così.

Il secondo. Il 7 ottobre 2023, l’apparato di intelligence israeliano — uno dei più sofisticati e meglio finanziati al mondo, con l’unità 8200 considerata da decenni un’eccellenza tecnica — non riconobbe i segnali di un’operazione in preparazione da mesi. Le inchieste pubblicate nei mesi successivi, da The New York Times a Haaretz, hanno documentato che i segnali esistevano, che alcune analiste li avevano persino segnalati, e che la struttura di comando li aveva archiviati come improbabili sulla base di un modello implicito secondo cui Hamas non aveva la capacità — e soprattutto la varietà operativa — per concepire un’azione di quel tipo. Il modello era stato semplificato. La realtà no. È costato un numero terrificante di vite, da entrambe le parti, scoprirlo.

Il terzo. La pandemia 2020. I sistemi di sorveglianza epidemica esistevano da vent’anni, dopo SARS, MERS e tutto il resto. Avevano dato segnali misurabili tra dicembre 2019 e gennaio 2020. La risposta politica, in quasi tutti i Paesi occidentali, fu semplicemente di non leggerli — perché la loro lettura avrebbe imposto decisioni complesse a sistemi decisionali che si erano addestrati per anni alla risposta semplice. Quando l’evento esplose, l’unica risposta possibile fu di nuovo la centralizzazione, la task force unica, la comunicazione univoca. Si ripeté l’errore che aveva reso invisibile il fenomeno: si rispose con bassa varietà a un fenomeno ad alta varietà. Il risultato — al netto delle differenze locali — fu una gestione costantemente in ritardo rispetto alla complessità reale del problema. Non per cattiva volontà. Per cataratta sistemica.

Ce ne sarebbero altri, naturalmente — il ritiro dall’Afghanistan del 2021, l’esito di Brexit per i sondaggisti londinesi, la sorpresa dell’establishment democratico americano nel 2016, la sorpresa speculare dell’establishment progressista italiano nel 2022 — ma il punto non è la lista. Il punto è il pattern: ogni volta che un controllore investe sistematicamente nel ridurre la varietà del proprio campo percettivo, si trova prima o poi davanti a un evento che il proprio campo percettivo non riesce più a contenere. Ashby chiamerebbe la cosa, con la sua sobrietà britannica, un’ovvietà matematica.

Il caso speciale: l’intelligenza artificiale che si addestra su sé stessa

C’è un caso emergente che merita un paragrafo a parte, perché chiude il cerchio in maniera quasi imbarazzante. La letteratura tecnica sul cosiddetto model collapse — un articolo di Shumailov e collaboratori pubblicato su Nature nel luglio 2024 ne ha fissato i contorni — descrive un fenomeno semplice e inquietante: quando un modello generativo viene addestrato in maniera ricorsiva sui propri stessi output, la sua distribuzione di probabilità si assottiglia. Le code, cioè le risposte rare e improbabili che danno varietà al linguaggio, scompaiono. Quel che resta è la moda statistica: la risposta più frequente, la formulazione più probabile, l’opzione meno sorprendente. Un modello collassato continua a funzionare, ma produce un mondo più piatto.

La cosa interessante è che il meccanismo descritto da Shumailov non riguarda solo le AI. Descrive con precisione anche quello che succede a un sistema politico, mediatico o aziendale che si addestra prevalentemente sui propri segnali interni — sondaggi calibrati per confermare aspettative, media che dialogano principalmente con altri media, élite che si parlano addosso in circoli ristretti. La distribuzione delle percezioni si assottiglia, le code della varietà reale scompaiono dal radar, e quel che resta è una versione mediana e prevedibile del mondo, perfettamente coerente al proprio interno e perfettamente sganciata da quello esterno. È un model collapse senza algoritmi, ed è in atto da decenni: l’AI ricorsiva ne è la versione accelerata e tecnicamente trasparente, non l’inventrice.

L’aspetto su cui i critici di mestiere sorvolano

Qui arriva la parte che, nel dibattito pubblico, viene normalmente saltata. Tanto la critica progressista al capitalismo della sorveglianza quanto la critica reazionaria al governo tecnocratico descrivono un controllore astuto, calcolatore, interessato a mantenere e accrescere il proprio potere attraverso la riduzione della varietà sociale. È una rappresentazione comoda — soprattutto perché permette al critico di porsi come l’unico soggetto lucido in un campo di soggetti manipolati — ma è descrittivamente inadeguata. Un controllore che si toglie la vista per controllare meglio non è un soggetto razionale che persegue il proprio interesse: è un soggetto irrazionale che persegue il proprio comfort. Le due cose, di solito, vengono confuse, perché ammettere la seconda costringe a riformulare l’intera architettura del discorso critico.

Eppure è la seconda a essere coerente con i dati. Le élite finanziarie del 2008 non avevano interesse a far esplodere il sistema da cui traevano i propri profitti. I servizi israeliani non avevano interesse a essere colti di sorpresa da un attacco devastante. I governi del 2020 non avevano interesse a gestire una pandemia in maniera percepita come fallimentare. In tutti i casi, il controllore ha agito contro il proprio interesse strategico, in maniera proporzionale alla riduzione della varietà che aveva imposto al campo. Non per stupidità, e neanche per malvagità — categorie entrambe troppo generose, perché presuppongono comunque agenti consapevoli. Per evitamento sistematico del disagio cognitivo: la stessa pulsione che fa preferire all’utente medio una playlist confortevole rispetto a un brano dissonante, applicata su scala istituzionale.

Detto in termini ashbyani: il controllore riduce la varietà non per controllare il sistema, ma per ridurre la propria fatica di leggerlo. La giustificazione “controllo” arriva dopo, come copertura razionalizzante. È una distinzione fine ma sostanziale, perché cambia interamente la natura del problema. Non siamo davanti a un disegno cinico. Siamo davanti a un meccanismo banale di evitamento, replicato per omologia in milioni di decisioni piccole, che produce su scala aggregata un sistema strutturalmente cieco. Il che è, con ogni probabilità, peggio.

Work-in-Progress (come si conviene)

Resta da capire — e qui il pezzo si ferma volentieri sulla soglia, perché è una soglia che merita di restare visibile per un po’ — perché un meccanismo così evidentemente svantaggioso per tutti gli attori coinvolti continui a riprodursi. Una possibile risposta è che gli attori coinvolti, presi singolarmente, non lo trovino svantaggioso: ridurre la propria fatica cognitiva è un guadagno immediato, mentre il costo dell’auto-ottundimento si manifesta solo nel medio periodo e quasi sempre a carico di chi è in posizione abbastanza alta da poter dare la colpa a qualcun altro. È un classico problema di esternalità: il vantaggio è privato, il costo è collettivo, e quando il costo arriva è ormai troppo tardi per associarlo alla causa giusta.

L’altra risposta possibile è meno gentile, e per questo probabilmente più vera. Forse non è la varietà a essere stata sacrificata in nome del controllo. Forse è il controllo a essere stato sacrificato — silenziosamente, senza riunioni, senza decisioni esplicite — in nome di qualcosa di molto meno nobile: il bisogno di non sentire l’attrito del reale, di non doverlo elaborare, di non doverlo subire come variabile fastidiosa nella propria giornata. Se così fosse, la legge di Ashby avrebbe scoperto qualcosa di più grande di un teorema cibernetico: avrebbe scoperto, con sessant’anni d’anticipo, perché certi sistemi sembrano collassare sotto il loro stesso peso senza che nessuno li abbia spinti.

Il sensore non si è rotto per un guasto. Si è rotto perché è stato spento, una manopola alla volta, dalle stesse persone che ora lo guardano e si chiedono come mai non funzioni più.

Riferimenti citati nel testo:

• W. Ross Ashby, An Introduction to Cybernetics, Chapman & Hall, 1956
• I. Shumailov et al., “AI models collapse when trained on recursively generated data”, Nature, 631, luglio 2024
• Inchieste su 7 ottobre 2023: The New York Times (dicembre 2023), Haaretz (vari articoli novembre 2023 – marzo 2024)
• Letteratura su VaR e crisi 2008: cfr. P. Triana, The Number That Killed Us, Wiley, 2011

Nota di continuità editoriale:
Episodio II implicito di un possibile mini-corollario ashbyano. L’Episodio I — La sfortuna di Ashby (e la nostra) — apriva il quadro generale dell’asimmetria AI/pubblico. Questo episodio sviluppa il twist finale del precedente sull’auto-ottundimento. Un eventuale Episodio III dovrebbe affrontare la domanda che questo lascia aperta: cosa produce, viceversa, una varietà consapevole — esiste un esempio storico di sistema che ha scelto deliberatamente di non semplificarsi? E a che prezzo?

Ennio Martignago

Vedi la biografia completa