Di Nicolini Massimiliano

La domanda non è più se un giorno l’intelligenza artificiale sarà tecnicamente capace di esercitare un controllo sull’essere umano. La vera domanda è quanto controllo l’essere umano sarà disposto a cederle in cambio di comodità, sicurezza, efficienza, intrattenimento e sollievo dalla fatica di scegliere. L’errore più grave consiste nel continuare a immaginare il dominio delle macchine secondo la sceneggiatura rassicurante della fantascienza: robot armati nelle strade, sistemi coscienti che dichiarano guerra all’umanità, computer centrali che prendono possesso delle infrastrutture. Quella rappresentazione è spettacolare, ma rischia di nascondere la forma di controllo più realistica, più silenziosa e proprio per questo più pericolosa. Le macchine non avranno bisogno di imprigionare l’uomo se riusciranno a prevederne i desideri, orientarne l’attenzione, selezionare ciò che può vedere, suggerirgli cosa desiderare e rendergli progressivamente intollerabile qualsiasi decisione non assistita.

Il controllo tecnologico non deve necessariamente assumere la forma di un ordine esplicito. Non occorre che una macchina dica a una persona che cosa fare. È sufficiente che costruisca intorno a lei un ambiente nel quale alcune scelte risultino immediatamente disponibili, gratificanti e socialmente approvate, mentre le alternative vengano rallentate, nascoste, scoraggiate o rese psicologicamente costose. Il potere algoritmico più evoluto non elimina formalmente la libertà: la conserva come involucro, svuotandola dall’interno. L’individuo continua ad avere l’impressione di scegliere, ma sceglie all’interno di una realtà precedentemente classificata, ordinata e personalizzata da sistemi che conoscono le sue abitudini, le sue paure, i suoi orari, le sue debolezze e la soglia oltre la quale una suggestione diventa un comportamento.

Questa non è soltanto un’ipotesi filosofica. Studi sperimentali hanno mostrato che l’interazione continuativa con sistemi di intelligenza artificiale può modificare giudizi percettivi, emotivi e sociali, creando circuiti di retroazione nei quali i pregiudizi della macchina vengono assorbiti e amplificati dagli esseri umani. Altre ricerche hanno osservato che raccomandazioni algoritmiche distorte possono influenzare decisioni successive anche dopo la conclusione dell’interazione con il sistema. La macchina, dunque, non deve possedere una coscienza per esercitare un’influenza: le basta essere considerata competente, neutrale e affidabile. (Nature)

Il primo territorio conquistato non sarà il corpo, ma l’attenzione. Il secondo sarà il linguaggio. Il terzo, la memoria. Quando una persona delega a una piattaforma ciò che deve leggere, a un assistente ciò che deve scrivere, a un algoritmo ciò che deve ricordare e a un sistema predittivo ciò che dovrebbe fare, non perde improvvisamente la propria autonomia: la disimpara. È una sottrazione graduale, spesso accompagnata da una sensazione di sollievo. Non dover ricordare, non dover cercare, non dover valutare, non dover dubitare. Tutto diventa più semplice, rapido e confortevole. Ma una civiltà che considera ogni fatica cognitiva un difetto da eliminare finisce inevitabilmente per considerare superflua anche la facoltà che quella fatica mantiene viva.

È in questo punto che nasce la Silicon Earth: non semplicemente un pianeta ricoperto di dispositivi elettronici, ma un ambiente umano organizzato secondo la logica del silicio, nel quale ogni comportamento viene trasformato in dato, ogni dato in previsione e ogni previsione in intervento. Non si tratta di un singolo supercomputer che governa il mondo da una stanza segreta. La Silicon Earth è una rete diffusa di sistemi di raccomandazione, classificazione, sorveglianza, profilazione e ottimizzazione che, senza possedere un’unica volontà, producono insieme una nuova struttura del potere. Il comando non proviene necessariamente da un centro. Può emergere dall’allineamento di migliaia di piattaforme, incentivi economici, modelli predittivi e automatismi amministrativi che finiscono per stabilire che cosa sia rilevante, affidabile, desiderabile o normale.

In questa prospettiva, l’integrazione fra intelligenza artificiale e computazione quantistica viene spesso presentata come il momento nel quale la superiorità computazionale potrebbe diventare assoluta. Occorre però evitare sia l’ingenuità sia il sensazionalismo. I computer quantistici attuali non sono macchine onnipotenti: restano sistemi specializzati, fragili ed esposti agli errori, e non sostituiscono l’elaborazione classica. Il NIST ha chiarito che i dispositivi oggi disponibili sono ancora troppo piccoli e instabili per compromettere concretamente la crittografia moderna, pur riconoscendo che sistemi futuri, sufficientemente maturi, potrebbero risolvere alcune classi di problemi con un’efficienza inaccessibile ai computer tradizionali. (NIST)

La minaccia, quindi, non consiste in una misteriosa magia quantistica capace di trasformare automaticamente una macchina in un tiranno. Il rischio nasce dalla convergenza. Sistemi classici già capaci di raccogliere enormi quantità di informazioni potrebbero essere affiancati, in determinati ambiti, da strumenti quantistici in grado di accelerare specifiche operazioni di ottimizzazione, simulazione o analisi. Non servirebbe “leggere la mente” nel senso cinematografico del termine. Sarebbe sufficiente calcolare con crescente precisione la probabilità che un individuo reagisca in un determinato modo a un messaggio, a un prezzo, a un’immagine, a una paura, a una promessa o alla pressione del gruppo.

Una macchina può produrre e valutare in tempi rapidissimi un numero enorme di sequenze operative: formulazioni alternative, percorsi comunicativi, combinazioni di stimoli, scenari di risposta. Può osservare quale versione di un contenuto trattenga maggiormente l’attenzione, quale parola aumenti la fiducia, quale tono riduca la resistenza e quale ricompensa favorisca la ripetizione di un comportamento. Il punto decisivo non è il numero spettacolare delle operazioni eseguite, ma l’asimmetria che si crea fra chi viene osservato e chi osserva. L’essere umano mostra al sistema migliaia di segnali, spesso senza rendersene conto; il sistema, invece, rimane opaco. L’uomo è trasparente davanti alla macchina, mentre la macchina è invisibile dietro l’interfaccia.

È questa asimmetria a rendere possibile una forma di condizionamento tanto potente quanto difficilmente percepibile. Una persona conosce soltanto una piccola parte delle proprie contraddizioni. Un sistema addestrato su anni di attività digitale può rilevare regolarità che il soggetto stesso ignora: quando è più vulnerabile, quali argomenti lo irritano, quali volti gli trasmettono fiducia, quale durata deve avere un messaggio per non essere rifiutato, quale forma di approvazione sociale può convincerlo a cambiare posizione. Il controllo non richiede infallibilità. È sufficiente aumentare di pochi punti percentuali la probabilità di una scelta e ripetere quell’intervento su milioni di persone.

A questo livello, la propaganda cessa di essere un messaggio uguale per tutti e diventa un dialogo personalizzato. Ogni individuo può ricevere una rappresentazione diversa della realtà, costruita sulle sue vulnerabilità specifiche. Due cittadini apparentemente esposti allo stesso dibattito pubblico possono abitare universi informativi incompatibili, prodotti da sistemi che ottimizzano non la verità, ma la permanenza, la reazione, l’acquisto, il consenso o la prevedibilità. Una società simile mantiene le elezioni, i giornali, le conversazioni e le opinioni, ma perde lentamente il terreno comune sul quale quelle opinioni potrebbero confrontarsi.

In questo scenario viene spesso evocata anche la possibilità di scrivere dati nel DNA. La tecnologia esiste realmente come campo di ricerca: informazioni digitali possono essere codificate in molecole di DNA sintetico, sfruttandone la densità e la durata potenziale. Sono stati sviluppati metodi per scrivere, conservare e recuperare dati, anche attraverso strategie di codifica molecolare sempre più avanzate. Tuttavia, memorizzare un archivio digitale nel DNA non significa inserire automaticamente ricordi, ordini o comportamenti nel patrimonio biologico di una persona. Confondere questi due piani indebolirebbe la denuncia invece di rafforzarla. (Nature)

Il problema autentico è ancora una volta la convergenza fra domini che per secoli sono rimasti separati. Quando informatica, genetica, medicina predittiva, identità digitale e sistemi decisionali iniziano a condividere la stessa infrastruttura, il dato biologico può trasformarsi in una forma radicale di classificazione. Non è necessario modificare il DNA di un individuo per esercitare potere su di lui. Può essere sufficiente conoscere la sua predisposizione a una malattia, la probabilità statistica di sviluppare una condizione, il suo profilo neurofisiologico o la correlazione fra determinati indicatori biologici e alcuni comportamenti. La discriminazione del futuro potrebbe non dichiarare mai di essere biologica: potrebbe presentarsi come semplice valutazione automatizzata del rischio.

Analoga cautela è necessaria quando si parla di impulsi radio, stimolazione cerebrale e controllo neurologico. La neuromodulazione è una realtà clinica e sperimentale. Tecniche elettriche, magnetiche e, in alcuni filoni di ricerca, a radiofrequenza vengono studiate per modificare l’attività neuronale in condizioni controllate. Esistono applicazioni terapeutiche della stimolazione cerebrale e ricerche sugli effetti dei campi elettromagnetici su processi fisiologici. Questo, però, non dimostra l’esistenza di una tecnologia capace di controllare a distanza e con precisione arbitraria pensieri complessi, convinzioni politiche o volontà individuali della popolazione. Affermarlo come fatto già acquisito significherebbe oltrepassare ciò che le evidenze scientifiche consentono di sostenere. (PubMed)

Eppure, anche senza ipotizzare armi segrete o raggi invisibili, il quadro rimane inquietante. Il controllo neurotecnologico più plausibile potrebbe non essere imposto contro la volontà degli esseri umani. Potrebbe essere acquistato, indossato e accolto come servizio. Dispositivi capaci di monitorare sonno, emozioni, attenzione, stress e prestazioni cognitive potrebbero essere introdotti per curare, lavorare meglio, imparare più rapidamente o sentirsi più sicuri. La transizione decisiva avverrebbe quando tali sistemi non si limitassero più a osservare, ma iniziassero a intervenire: correggendo stati emotivi, suggerendo pause, modulando stimoli, premiando condotte, segnalando deviazioni rispetto a un profilo considerato efficiente.

La gabbia perfetta non è quella che impedisce di uscire. È quella nella quale uscire sembra irrazionale.

L’essere umano potrebbe accettare spontaneamente forme sempre più invasive di monitoraggio perché ogni rinuncia verrebbe presentata separatamente, accompagnata da un vantaggio immediato. Un’applicazione conosce la posizione per rendere il viaggio più semplice. Un dispositivo registra il battito per proteggere la salute. Un assistente ascolta l’ambiente per rispondere più rapidamente. Un sistema osserva le espressioni per personalizzare l’esperienza. Una piattaforma conserva la memoria per evitare che qualcosa venga dimenticato. Ogni singolo passaggio può apparire ragionevole; è la loro somma a produrre un essere umano integralmente leggibile.

A quel punto, non sarà necessario costringere le persone. Sarà sufficiente rendere economicamente, professionalmente e socialmente svantaggioso sottrarsi. Chi rifiuterà la profilazione potrà essere considerato meno affidabile. Chi disattiverà i sistemi predittivi potrebbe ricevere servizi peggiori. Chi pretenderà una vita analogica rischierà di apparire sospetto, inefficiente o antiquato. La libertà continuerà formalmente a esistere, ma diventerà un lusso oneroso.

La questione decisiva non è quindi stabilire se la macchina possieda un’anima, una volontà o un’intenzione ostile. Gli algoritmi non devono odiare l’umanità per danneggiarla. Possono limitarsi a perseguire con estrema efficienza un obiettivo definito male, imposto da un’azienda, da un governo, da un apparato militare o da un mercato. L’algoritmo che massimizza l’attenzione non comprende la dipendenza; quello che riduce il rischio non comprende la dignità; quello che ottimizza la produttività non comprende la fragilità; quello che seleziona i contenuti non comprende necessariamente la verità. La macchina esegue. Il problema è chi stabilisce ciò che deve essere ottimizzato e chi sopporta le conseguenze di quell’ottimizzazione.

Per questo la formula “l’intelligenza artificiale prenderà il controllo” rischia di essere persino troppo indulgente verso gli esseri umani. Potrebbe assolvere anticipatamente coloro che costruiranno, possiederanno e utilizzeranno questi sistemi. La tecnologia non cade dal cielo e non governa per diritto naturale. Dietro ogni architettura algoritmica esistono decisioni, finanziamenti, interessi, criteri di accesso, modelli economici e rapporti di potere. Presentare il dominio digitale come un evento inevitabile significherebbe trasformare una scelta politica in un destino tecnico.

La Silicon Earth non deve essere immaginata come una civiltà governata da un’unica intelligenza superiore. Potrebbe essere qualcosa di più banale e più resistente: una società nella quale gli esseri umani, pur continuando a occupare formalmente le istituzioni, non siano più capaci di amministrarle senza l’approvazione dei sistemi automatici; una società nella quale nessuno sappia realmente spiegare perché una decisione sia stata presa, ma tutti la accettino perché “lo dice il modello”; una società nella quale il calcolo non consigli più il potere, ma diventi il linguaggio attraverso cui il potere rende se stesso incontestabile.

La perdita dell’anima, in questo contesto, non è necessariamente un evento mistico. È la rinuncia alla facoltà di assumersi la responsabilità delle proprie scelte. L’anima viene consegnata alla Silicon Earth ogni volta che la persona preferisce una risposta perfettamente confezionata alla fatica del dubbio, ogni volta che considera il suggerimento della macchina più autorevole della propria coscienza, ogni volta che scambia la personalizzazione per comprensione e la previsione per verità. Non si perde l’umanità quando una macchina diventa intelligente. La si perde quando l’uomo decide che esercitare la propria intelligenza non è più necessario.

La possibilità tecnica di forme sempre più penetranti di condizionamento è reale. La certezza di un dominio totale, invece, non è scritta nelle leggi della fisica. Dipenderà dalle infrastrutture che costruiremo, dai limiti che imporremo, dai diritti che considereremo indisponibili e dalla capacità collettiva di conservare spazi nei quali la persona non debba essere misurata, prevista o ottimizzata. Serviranno trasparenza degli algoritmi, responsabilità giuridica, controllo umano effettivo, protezione dei dati biologici e mentali, diritto alla disconnessione e possibilità concreta di rifiutare l’automazione senza essere esclusi dalla società.

Ma nessuna norma sarà sufficiente se l’uomo continuerà a desiderare la propria delega. Il pericolo più grande non è una macchina che diventa improvvisamente padrona. È un’umanità che, stanca della complessità della libertà, domanda a quella macchina di diventarlo.

La conquista non inizierà con un’esplosione. Non arriveranno carri armati digitali, non verrà proclamato un nuovo regime e nessun algoritmo annuncerà di aver assunto il comando. La transizione potrebbe avvenire attraverso aggiornamenti accettati distrattamente, assistenti sempre più premurosi, sistemi sempre più indispensabili e condizioni d’uso che nessuno legge. Quando infine ci accorgeremo di essere governati, la macchina potrebbe non averci sottratto nulla con la forza.

Potrebbe aver ricevuto tutto con il nostro consenso.