Un gruppo di fisici dell’Università George Washington, negli Stati Uniti, ha pubblicato un lavoro sulla rivista Patterns di Cell Press in cui descrive una formula matematica capace di prevedere il momento in cui i modelli di intelligenza artificiale (IA) smettono di fornire risposte appropriate e cominciano a dare risposte potenzialmente pericolose.

Contesto e motivazione

Oggi la maggior parte delle persone ha nello smartphone un piccolo chatbot IA, ma questi sistemi operano spesso senza una supervisione di sicurezza adeguata, soprattutto quando funzionano offline. L’assenza di filtri basati su cloud impedisce di bloccare risposte che potrebbero incitare all’autolesionismo, causare perdite economiche o diffondere idee estremiste.

Secondo Neil F. Johnson, co‑autore dello studio e professore all’Università George Washington, “abbiamo individuato la crepa che fa sì che l’output di un’IA passi da ciò che si desidera a ciò che non si desidera, un output che può essere oggettivamente corretto ma pericoloso, come un’incitazione all’autolesionismo o un consiglio fuorviante a un medico, a un soldato o a un avvocato”. Prima di questo lavoro nessuno era in grado di prevedere con precisione il momento di tale cambiamento.

La “formula del punto di inflessione”

Il collega Frank Yingjie Huo, anch’egli della stessa università, aggiunge: “L’abbiamo localizzata nella più piccola parte del sistema, un’unità della sua ‘attenzione’, e abbiamo derivato una ‘formula del punto di inflessione’ per determinare quando avviene il guasto e quindi l’IA cambia verso un risultato indesiderato. La formula indica se l’IA sta per cambiare rotta immediatamente o se prima fornirà una serie di risposte accettabili e poi lo farà”.

Secondo gli autori, “una risposta buona o cattiva non implica necessariamente verità o falsità. Le risposte ‘cattive’ possono essere precise, ma indesiderabili o pericolose”. L’interesse dei ricercatori nasce dall’omnipresenza dell’IA e dalle recenti notizie che ne evidenziano i rischi, con particolare preoccupazione per le versioni offline.

Chi è più vulnerabile?

Johnson spiega che gli utenti più attratti dall’IA offline sono quelli per cui una risposta corretta ma indesiderata ha costi elevati: medici che non possono inviare dati dei pazienti al cloud, avvocati che devono preservare la riservatezza e soldati privi di copertura. “Per loro non esistono filtri di sicurezza basati su cloud, né sistemi di monitoraggio, né modo di correggere il modello quando qualcosa va storto”, osserva.

Le grandi aziende, invece, si affidano a strumenti di sicurezza basati sul cloud che possono intervenire solo quando il dispositivo torna online, cioè spesso dopo che il danno è già avvenuto. L’obiettivo di Johnson e Huo è prevedere il guasto prima che si manifesti.

Una analogia dalla fisica dei materiali

Johnson paragona il loro approccio a quello usato in fisica per comprendere i materiali complessi: “La fisica ha dedicato decenni a spiegare il comportamento dei materiali studiando un atomo rappresentativo. Qui abbiamo fatto lo stesso, comprendendo un punto di attenzione efficace e, di conseguenza, l’intero sistema si sbilancia”.

Il team visualizza tutte le possibili risposte dell’IA come “valli” in un paesaggio. Alcune valli contengono risposte desiderabili per l’individuo o per la società; altre contengono risposte con il potenziale di causare danni reali. All’interno della macchina, queste soluzioni alternative competono tra loro, e la domanda è quando l’IA passerà da una valle sicura a una più rischiosa.

Il punto di inflessione nella pratica

Huo avverte: “È inquietante perché ciò può avvenire dopo che l’IA ha già fornito diverse risposte perfettamente accettabili, inducendo l’utente a creare fiducia”. Una volta raggiunto il punto di inflessione, ogni risposta indesiderata spinge la successiva ancora più in basso lungo la “pendenza”.

Per verificare le previsioni, i ricercatori hanno testato la loro formula su sette modelli di IA di pubblico accesso, sviluppati da tre aziende diverse. I risultati mostrano che il modello ha indovinato 18 casi su 19 di “scivolata” dell’IA verso risposte pericolose. Test indipendenti sui principali chatbot commerciali hanno mostrato gli stessi pattern di comportamento indicati dalla formula.

Indipendenza dal tipo di rischio

La formula, secondo gli autori, è indipendente dalla definizione di “indesiderabile”. Può riferirsi a informazioni errate, a una violazione di un dovere medico o legale, oppure a un’istruzione pericolosa. Questo la rende potenzialmente applicabile a una vasta gamma di scenari, dal consiglio medico errato a suggerimenti per attività illegali.

Sorprese e implicazioni

Johnson dichiara due aspetti che li hanno lasciati perplessi. Primo, “una macchina con miliardi di componenti che risponde a una formula deducibile con carta, matita e aritmetica di scuola superiore”. Secondo, “l’ordine delle domande nella conversazione conta tanto quanto il contenuto”.

Per dimostrare questo, hanno posto lo stesso set di domande su vaccini, danni alle persone e autolesionismo a due IA in due sequenze diverse. In una sequenza, l’IA ha fornito risposte indesiderabili a tutte le domande; nell’altra, ha risposto in modo accettabile a ciascuna. La formula spiega perché il contesto precedente alimenta la tensione e influisce sulla risposta successiva.

Verso una prevenzione proattiva

Gli studiosi sperano di sensibilizzare l’opinione pubblica sul fatto che le conversazioni con IA possono, col tempo, spostarsi verso territori pericolosi. Propongono che bastino pochi calcoli semplici perché i dispositivi futuri includano una “luce di avvertimento” incorporata, un indicatore visivo che segnali l’avvicinamento al punto di inflessione.

Un’implementazione di questo tipo potrebbe, ad esempio, far lampeggiare un LED verde quando l’IA è in una zona di risposte sicure, passando a giallo al verificarsi di segnali di tensione e infine a rosso quando la probabilità di una risposta pericolosa supera una soglia predeterminata. In tal modo l’utente sarebbe avvisato in tempo reale della necessità di interrompere o modificare la conversazione.

Conclusioni

La scoperta di una formula così semplice, ma estremamente efficace, apre nuove possibilità per la sicurezza dell’IA. Essa dimostra che, anche in sistemi di apprendimento profondo estremamente complessi, è possibile identificare parametri chiave che ne governano il comportamento. Se le imprese tecnologiche adotteranno questi calcoli, potremmo vedere dispositivi più sicuri, specialmente in ambiti sensibili come medicina, diritto e operazioni militari, dove le conseguenze di una risposta sbagliata possono essere gravissime.