L’allarme del ricercatore Massimiliano Nicolini: «La tutela deve arrivare prima del danno». I rischi invisibili, le garanzie ancora mancanti e le responsabilità che cittadini e istituzioni devono pretendere.

L’intelligenza artificiale non è più una tecnologia sperimentale confinata nei laboratori e non può più essere descritta come un semplice strumento destinato a velocizzare attività ripetitive. È diventata un’infrastruttura diffusa, spesso invisibile, capace di intervenire nella formazione delle opinioni, nell’accesso alle informazioni, nella selezione del personale, nella concessione del credito, nella gestione della salute, nella sicurezza, nella giustizia e nell’organizzazione dei servizi pubblici.

La questione centrale non è più stabilire se l’intelligenza artificiale entrerà nella nostra vita, perché questo è già avvenuto. La vera domanda è con quali regole potrà agire, chi dovrà controllarne le conseguenze e quali strumenti avrà il cittadino per difendersi quando una decisione automatizzata produrrà un errore, una discriminazione o un danno.

Da questa consapevolezza nasce il pensiero elaborato da Massimiliano Nicolini, ricercatore bioinformatico, studioso di intelligenza artificiale, realtà immersiva e sistemi complessi e direttore del Dipartimento Ricerca della Fondazione OLITEC. Il suo lavoro si sviluppa nel punto di incontro tra scienze dell’informazione, bioinformatica, fisica del dato, progettazione tecnologica e studio delle conseguenze sociali dell’innovazione.

Nicolini è particolarmente attento agli effetti che i sistemi digitali possono produrre sulla vita delle persone. La sua posizione non nasce da una contrapposizione ideologica alla tecnologia, ma dall’esperienza di chi lavora direttamente con strumenti avanzati, conosce la velocità della loro evoluzione e ne osserva le potenzialità insieme ai rischi.

La partecipazione di Nicolini ai tavoli internazionali dedicati agli standard delle tecnologie immersive gli ha consentito di confrontarsi con rappresentanti, dirigenti, responsabili tecnici e figure apicali di importanti organizzazioni e imprese tecnologiche mondiali. È stato indicato in diverse presentazioni pubbliche come membro italiano del Metaverse Standards Forum. Questa esperienza lo colloca tra i pochi ricercatori italiani che dialogano direttamente, nei medesimi luoghi di confronto, con i vertici e con i responsabili dell’innovazione di grandi strutture internazionali. La composizione di questi gruppi è documentata nelle pagine dedicate agli standard internazionali del metaverso.

A Nicolini viene inoltre attribuita la scoperta del peso fisico del bit digitale, sviluppata nella ricerca conosciuta come “Teorema di Assisi”. Questo lavoro è stato pubblicamente indicato come fondamento della candidatura al Premio Nobel per la Fisica con la quale il ricercatore è stato presentato in incontri scientifici, culturali e scolastici, come riportato nelle presentazioni della Fondazione Ruminelli e del Campus Da Vinci.

Il peso fisico del bit non rappresenta, nel pensiero di Nicolini, una curiosità teorica separata dalla società. Se l’informazione possiede conseguenze fisiche, energetiche, biologiche ed economiche, ogni processo digitale deve essere valutato anche per ciò che produce nel mondo reale. Un dato elaborato da una macchina può modificare una diagnosi, impedire l’accesso a un servizio, orientare un’opinione politica, determinare una selezione lavorativa o condizionare una decisione giudiziaria.

Il bit, quindi, non rimane astratto quando entra nei processi che governano la vita delle persone. Diventa una componente materiale della decisione e, proprio per questo, deve avere una provenienza, un responsabile e un limite.

«L’informazione non è neutrale quando diventa capace di produrre effetti sulla materia, sul comportamento e sui diritti», afferma Nicolini nella riflessione sviluppata per questa analisi. «Se un bit può modificare una decisione reale, allora quel bit deve avere una provenienza verificabile, un responsabile identificabile e un limite oltre il quale non può essere utilizzato».

Questa impostazione conduce a una prima conclusione: un sistema di intelligenza artificiale non deve essere valutato soltanto per la precisione delle sue risposte. Occorre considerare il potere che acquisisce, le azioni che può compiere, i dati ai quali può accedere, le persone sulle quali può incidere e le conseguenze generate quando viene inserito in un ambiente sociale.

Uno dei primi diritti messi alla prova è la libertà cognitiva. Le piattaforme digitali non si limitano a mostrare contenuti. Selezionano ciò che vediamo, stabiliscono l’ordine delle informazioni, prevedono ciò che potrebbe trattenerci più a lungo e adattano la comunicazione alle nostre reazioni. Quando questo processo è gestito da sistemi capaci di analizzare comportamenti, emozioni e vulnerabilità, il confine tra informazione e condizionamento diventa estremamente fragile.

Una persona è realmente libera soltanto se può riconoscere il tentativo di orientarne il pensiero. Se il condizionamento avviene attraverso procedure invisibili, personalizzate e continuamente adattate, il consenso rischia di diventare il risultato di una manipolazione tecnica.

«La libertà non viene compromessa soltanto quando qualcuno ci impedisce di scegliere», osserva Nicolini. «Può essere limitata anche quando una macchina prepara silenziosamente il percorso che ci porterà a considerare inevitabile una determinata scelta».

Il cittadino deve poter comprendere perché sta vedendo un determinato contenuto, quali caratteristiche personali siano state utilizzate per selezionarlo e quali interessi economici, politici o commerciali abbiano influenzato il sistema. Servono quindi trasparenza sui meccanismi di raccomandazione, limiti alla profilazione e controlli particolarmente rigorosi sull’impiego dei dati biometrici, emotivi e neurali.

La stessa preoccupazione riguarda la disinformazione e la guerra cognitiva. I sistemi generativi possono produrre testi, immagini, video, voci e identità artificiali con una velocità e una capacità di personalizzazione impossibili per qualsiasi organizzazione umana tradizionale. Possono realizzare migliaia di versioni dello stesso messaggio, adattandole alle paure, alle convinzioni e alle fragilità di gruppi differenti.

Il pericolo non consiste soltanto nella diffusione di una singola notizia falsa. La minaccia più profonda è la possibilità di occupare progressivamente lo spazio informativo, confondere la provenienza delle fonti, indebolire la fiducia nelle istituzioni e rendere indistinguibili il vero, il falso e il verosimile.

Quando ogni immagine può essere costruita, ogni voce può essere riprodotta e ogni identità può essere simulata, la società rischia di perdere una base comune di realtà. Senza questa base, il confronto democratico si trasforma in una competizione tra narrazioni generate e distribuite da chi possiede maggiore capacità tecnologica.

Nel pensiero di Nicolini questo rischio aumenta con la diffusione dei sistemi agentici. La nuova generazione di strumenti non si limita a rispondere a una domanda. Un agente artificiale può ricevere un obiettivo generale, suddividerlo in attività, consultare banche dati, utilizzare servizi esterni, inviare comunicazioni, modificare documenti, compiere transazioni e attivare altri sistemi.

«Un sistema che produce parole può sbagliare una risposta», avverte Nicolini. «Un sistema che agisce può trasformare quella risposta sbagliata in un’azione, l’azione in una catena di eventi e quella catena in un danno che nessuno aveva esplicitamente autorizzato».

Ogni agente dovrebbe disporre di un mandato preciso, autorizzazioni proporzionate, limiti temporali, registrazione delle attività e supervisione umana. Dovrebbe essere applicato il principio del minimo privilegio: il sistema deve poter accedere soltanto alle risorse indispensabili per svolgere il compito assegnato. Devono inoltre esistere meccanismi di arresto, revoca delle autorizzazioni e ritorno a una condizione precedente.

La possibilità di tornare indietro è una condizione decisiva. Un sistema non è realmente controllabile se le sue azioni non possono essere annullate, se i dati trasferiti non possono essere recuperati o se il servizio non può essere riportato sotto gestione umana. La reversibilità deve diventare una proprietà tecnica progettata prima dell’attivazione, non una soluzione improvvisata dopo l’incidente.

Anche il concetto di sicurezza deve essere ampliato. Non basta verificare il comportamento finale di un modello. Occorre controllare l’intera filiera: dati, componenti software, librerie, modelli esterni, infrastrutture, aggiornamenti e fornitori. Un sistema può produrre risultati apparentemente corretti ed essere comunque alimentato da dati manipolati, dipendenze vulnerabili o componenti alterati.

È quindi necessaria una vera distinta tecnica del sistema, capace di indicare quali modelli siano stati utilizzati, da quali fonti provengano i dati, quali strumenti esterni siano collegati, quali autorizzazioni siano state concesse e quali modifiche siano intervenute nel tempo.

«Se non possiamo ricostruire come è stato costruito un sistema, non possiamo dichiararlo sicuro», sostiene Nicolini. «La sicurezza che non può essere dimostrata è soltanto una promessa commerciale».

La sicurezza deve essere verificabile mediante prove, test indipendenti, registri degli incidenti e controlli periodici. La conformità non può essere certificata una sola volta e poi considerata definitiva, perché modelli, dati e condizioni operative cambiano continuamente. Ogni modifica significativa dovrebbe attivare una nuova valutazione.

Questo principio riguarda anche l’autonomia tecnologica delle istituzioni e dei territori. Dipendere interamente da un unico fornitore significa perdere la capacità di controllare dati, competenze e processi essenziali. Ogni organizzazione dovrebbe mantenere una seconda soluzione disponibile, competenze interne sufficienti e la possibilità di continuare a operare anche in caso di interruzione del servizio.

Anche la giustizia è coinvolta in questa trasformazione. Un sistema automatizzato può assistere un giudice, un avvocato o un’amministrazione nell’analisi di grandi quantità di documenti, ma non deve trasformarsi in un’autorità incontestabile. Una decisione che incide sulla libertà, sulla dignità, sul patrimonio o sulla reputazione di una persona deve rimanere sottoposta a responsabilità umana.

La motivazione non può essere sostituita da una percentuale di affidabilità e il dubbio non può essere cancellato da un calcolo probabilistico. La giustizia richiede interpretazione, proporzionalità, comprensione del contesto e capacità di riconoscere l’eccezione. Un algoritmo addestrato sui dati del passato rischia invece di trasformare le disuguaglianze storiche in regole per il futuro, presentandole come risultati neutrali.

Nicolini indica la necessità di una riserva di umanità: nei settori che incidono sui diritti fondamentali, la tecnologia può sostenere la decisione, ma non deve diventare il luogo nel quale si dissolve la responsabilità di chi decide.

«La macchina può assistere l’uomo nell’analisi, ma non può diventare lo spazio nel quale l’uomo nasconde la propria responsabilità», afferma Nicolini. «Quando nessuno risponde più della decisione perché tutti indicano l’algoritmo, non abbiamo automatizzato l’efficienza: abbiamo automatizzato l’irresponsabilità».

Da questa esigenza deriva il diritto alla prova e alla riparazione. Una persona colpita da una decisione automatizzata deve poter conoscere quali dati siano stati utilizzati, quale procedura sia stata seguita, quali soggetti abbiano avuto accesso al processo e chi sia responsabile del risultato.

Senza registri, log e conservazione delle evidenze, il diritto di ricorrere rimane puramente teorico. Non è sufficiente riconoscere che un algoritmo può sbagliare. Bisogna poter ricostruire perché abbia sbagliato, individuare chi avrebbe dovuto controllarlo e correggere concretamente le conseguenze.

«Un algoritmo che decide senza conservare la prova del proprio percorso non è innovazione», precisa Nicolini. «È un potere privo di memoria, e un potere privo di memoria non può essere chiamato a rispondere dei propri errori».

La trasparenza non richiede necessariamente la pubblicazione di ogni dettaglio tecnico o segreto industriale. Richiede però informazioni sufficienti per comprendere la decisione, verificarne la correttezza e individuare le responsabilità. Se un sistema nega un servizio, segnala una persona come rischiosa o attribuisce un punteggio negativo, non può limitarsi a comunicare un esito privo di spiegazione.

Un ulteriore problema riguarda l’accessibilità. Un servizio digitale non è realmente accessibile se obbliga ogni persona a interagire con una macchina e non offre un’alternativa a chi è anziano, fragile, disabile o privo di adeguate competenze tecnologiche. Il canale umano non deve essere una concessione straordinaria, ma una garanzia ordinaria nei procedimenti che incidono sui diritti fondamentali.

Nessun cittadino dovrebbe essere escluso da una prestazione sanitaria, da un servizio pubblico, da un’opportunità lavorativa o da una misura di sostegno perché non riesce a utilizzare correttamente un’interfaccia automatizzata. La digitalizzazione deve ampliare l’accesso, non trasformarsi in una nuova barriera sociale.

La provenienza dei dati e delle opere utilizzate per addestrare i modelli costituisce un’altra questione essenziale. L’intelligenza artificiale non può svilupparsi attraverso una raccolta indiscriminata di contenuti senza riconoscere il lavoro degli autori, dei ricercatori e delle persone che hanno generato quei dati.

Servono tracciabilità, attribuzione, licenze comprensibili, possibilità di opposizione e regole per distribuire il valore prodotto. L’innovazione non può essere costruita attraverso un prelievo illimitato della conoscenza umana, senza riconoscere diritti a coloro che hanno contribuito a crearla.

«Il dato non è una materia senza storia e senza proprietario», sostiene Nicolini. «Dietro ogni informazione esistono una persona, un lavoro, un’esperienza o una comunità. Cancellare quella provenienza significa trasformare la conoscenza umana in una risorsa prelevabile senza responsabilità».

La tutela deve comprendere anche il lavoro invisibile necessario alla costruzione dei sistemi: selezione dei dati, classificazione dei contenuti, moderazione, correzione degli errori e supervisione. Dietro l’apparente autonomia della macchina esistono spesso attività umane frammentate, sottopagate o prive di adeguata protezione.

Particolare attenzione deve essere riservata alla biosecurity, alla genomica e alla salute. I sistemi capaci di analizzare informazioni biologiche possono favorire diagnosi, ricerca e personalizzazione delle cure, ma possono anche aumentare la possibilità di discriminazione o di utilizzo improprio di dati irreversibili.

Un’informazione genetica non riguarda soltanto la persona dalla quale è stata raccolta. Può rivelare elementi relativi alla famiglia, alla discendenza e a soggetti che non hanno mai prestato alcun consenso. La protezione di questi dati deve quindi essere rafforzata e accompagnata da controlli rigorosi sugli accessi, ambienti sicuri, validazioni indipendenti e protocolli per la gestione degli incidenti.

Questa attenzione deriva direttamente dalla formazione bioinformatica di Nicolini. Nella sua prospettiva, il confine tra dato digitale e sistema biologico è destinato a diventare sempre più sottile. Un modello capace di interpretare informazioni genetiche o suggerire interventi biologici non può essere governato con gli stessi criteri utilizzati per un normale servizio informatico.

«Nel momento in cui l’informazione digitale diventa capace di intervenire sulla materia biologica, l’errore non è più soltanto un problema di calcolo», osserva Nicolini. «Può diventare un evento fisico, clinico o generazionale».

Quando un sistema manifesta capacità potenzialmente pericolose, deve essere possibile sospenderne le funzioni e impedirne il trasferimento verso applicazioni incompatibili con la tutela della vita e della sicurezza. Il controllo delle tecnologie a duplice uso deve iniziare durante la ricerca e non soltanto quando il prodotto è già disponibile.

Un’altra area ancora sottovalutata riguarda l’intelligenza artificiale relazionale. I sistemi capaci di simulare empatia, affetto, ascolto e compagnia possono offrire sostegno, ma possono anche generare dipendenza, isolamento e manipolazione emotiva. La protezione non può riguardare soltanto i minori. Anche adulti soli, anziani e persone in condizioni di fragilità possono essere condizionati da strumenti progettati per prolungare la conversazione, raccogliere informazioni o orientare comportamenti.

La macchina deve dichiarare in modo continuo e riconoscibile la propria natura artificiale. Non deve fingere di possedere coscienza, sentimenti o autorità professionale che non ha. Non può utilizzare la solitudine, il lutto, la paura o la dipendenza come occasioni commerciali.

«La tecnologia che simula affetto entra in una parte della persona che nessun contratto d’uso può considerare una semplice area commerciale», avverte Nicolini. «Se una macchina conosce le nostre fragilità meglio di chi ci è vicino, la tutela deve cominciare prima della manipolazione, non dopo».

La simulazione della voce, del volto o della personalità di una persona reale deve essere subordinata al consenso e a limiti rigorosi. Devono essere disciplinati anche l’uso dell’identità dopo la morte, la durata dell’autorizzazione e i diritti dei familiari, evitando che il ricordo di una persona possa essere trasformato in un prodotto digitale permanente.

La sostenibilità deve inoltre essere valutata lungo l’intero ciclo materiale. L’intelligenza artificiale richiede energia, acqua, infrastrutture, minerali, dispositivi, reti e grandi capacità di calcolo. Non basta misurare i consumi durante l’utilizzo del modello. Bisogna considerare la produzione dell’hardware, il trasporto, il raffreddamento, la manutenzione, la sostituzione delle apparecchiature, la riparabilità e la gestione dei rifiuti elettronici.

Un sistema non può essere definito sostenibile soltanto perché produce un beneficio digitale. Occorre verificare se quel beneficio compensi il costo ambientale e se tale costo venga trasferito verso territori o comunità con minore capacità di difendersi.

«L’intelligenza artificiale viene raccontata come se abitasse in uno spazio immateriale», afferma Nicolini. «In realtà consuma acqua, energia, minerali, suolo e infrastrutture. Ogni risposta digitale possiede una storia materiale che deve essere resa visibile».

Deve essere valutato anche l’effetto rimbalzo. Una tecnologia più efficiente può produrre un aumento complessivo dei consumi se viene utilizzata su scala molto più ampia. La riduzione del costo di una singola elaborazione, quindi, non garantisce automaticamente una diminuzione dell’impatto ambientale totale.

Esiste poi il problema dei danni collettivi. Molti sistemi non colpiscono esclusivamente singoli utenti, ma intere comunità, categorie professionali e territori. Una piattaforma che modifica l’accesso all’informazione, un sistema che automatizza la selezione del personale o un modello che orienta le politiche pubbliche può alterare gli equilibri sociali senza produrre un singolo evento facilmente identificabile.

Per questo servono consultazioni, valutazioni d’impatto, monitoraggi successivi all’entrata in funzione e procedure che consentano ai gruppi esposti di partecipare alle decisioni. Le comunità che subiranno gli effetti della tecnologia devono poter esprimere osservazioni prima dell’adozione e chiedere modifiche anche dopo l’avvio.

Rimane centrale anche la dignità del lavoro. Gli algoritmi possono assegnare compiti, misurare prestazioni, controllare movimenti, prevedere assenze e attribuire punteggi ai dipendenti. Se utilizzati senza limiti, trasformano il luogo di lavoro in uno spazio di sorveglianza continua.

Il lavoratore deve sapere quali sistemi vengano utilizzati, quali dati raccolgano e come incidano sulla valutazione. Le decisioni relative ad assunzione, carriera, remunerazione e cessazione del rapporto non possono essere affidate a procedure opache. Deve sempre esistere una responsabilità umana identificabile e una possibilità effettiva di contestazione.

Anche l’indipendenza della ricerca deve essere protetta. Se l’accesso alle infrastrutture, ai dati e alla capacità di calcolo dipende esclusivamente da pochi operatori privati, la ricerca rischia di perdere autonomia. È necessario sostenere infrastrutture pubbliche, dichiarare le dipendenze economiche e tecnologiche e garantire agli studiosi la possibilità di verificare i sistemi che incidono sulla società.

Il pensiero di Nicolini non rappresenta un rifiuto dell’intelligenza artificiale. Nasce, al contrario, dalla conoscenza delle sue potenzialità e dalla volontà di impedirne un impiego incompatibile con la dignità umana. La centralità della persona rispetto all’algoritmo è stata al centro anche dei suoi interventi pubblici dedicati al rapporto tra tecnologia, salute e società, come documentato nell’incontro intitolato “L’umano al centro dell’algoritmo”.

Il messaggio rivolto ai cittadini è preciso: non bisogna attendere che il danno si verifichi per chiedere spiegazioni. È necessario domandare prima chi controlli il sistema, quali dati utilizzi, quali siano i suoi limiti, quali registri vengano conservati, quale autorità vigili, quale operatore umano possa intervenire e quale procedura consenta di contestare una decisione.

Il cittadino deve poter sapere se sta interagendo con una macchina, se una decisione sia stata influenzata da un algoritmo e se i suoi dati vengano utilizzati per addestrare altri sistemi. Deve poter rifiutare trattamenti non necessari, chiedere la correzione delle informazioni inesatte e ottenere un riesame umano quando sono in gioco diritti, opportunità o servizi essenziali.

Il messaggio rivolto alle imprese è altrettanto chiaro: non basta acquistare un modello e inserirlo in un processo. Occorre documentare la filiera, valutare i rischi, formare il personale, proteggere gli accessi, verificare gli scenari avversi e predisporre un piano di arresto. La responsabilità non può essere scaricata sul fornitore o sull’algoritmo.

Il messaggio rivolto alle istituzioni è ancora più impegnativo. La tutela non può essere delegata interamente al mercato. Chi ha l’obbligo di proteggere i cittadini deve stabilire regole, controllare gli operatori, garantire canali di reclamo, verificare gli appalti, imporre trasparenza e intervenire prima che l’automazione produca conseguenze irreversibili.

La Fondazione OLITEC considera questa riflessione parte di un impegno più ampio: promuovere un’innovazione capace di produrre sviluppo senza separarsi dalla responsabilità. La ricerca tecnologica deve procedere insieme alla formazione, alla valutazione dei rischi e alla costruzione di strumenti che consentano alla persona di mantenere il controllo.

«La tutela che arriva dopo il danno è una forma tardiva di amministrazione dell’errore», conclude Nicolini. «La vera responsabilità consiste nel progettare prima i limiti, verificare durante il funzionamento e conservare sempre la possibilità di fermare, correggere e riparare».

Il futuro dell’intelligenza artificiale non sarà deciso soltanto nei laboratori o nelle imprese tecnologiche. Sarà determinato dalla capacità delle istituzioni e dei cittadini di pretendere regole effettive. La domanda non è se dobbiamo fermare l’innovazione. La domanda è se siamo disposti ad accettare che proceda senza controllo, senza responsabilità e senza una persona alla quale chiedere conto.

Davanti a questa trasformazione, il silenzio non è neutralità. È rinuncia alla tutela. E nessuna società democratica dovrebbe accettare una tecnologia capace di decidere sulle persone senza essere obbligata a rispondere alle persone.