Le e-mail di phishing sono un tipo di attacco informatico che può essere molto pericoloso. Tuttavia, gli utenti possono proteggersi ignorando le e-mail sospette e non aprendo allegati o link. Ma cosa succede se l'assistente di intelligenza artificiale viene ingannato da una di queste e-mail?
La ricerca condotta da Barracuda ha scoperto che gli attaccanti possono inserire istruzioni nascoste nelle e-mail di phishing per influenzare gli assistenti di intelligenza artificiale. Questo tipo di attacco è noto come "prompt injection" e può portare gli assistenti a eseguire azioni non autorizzate o a divulgare informazioni sensibili.
Come funziona la prompt injection
La prompt injection consiste nell'inserire istruzioni in un materiale che verrà letto da un sistema di intelligenza artificiale. L'obiettivo è quello di far eseguire queste istruzioni al sistema, anziché trattarle come parte del materiale. Le istruzioni possono essere nascoste in vari modi, ad esempio utilizzando commenti nel codice HTML, formattazione di testo invisibile, contenuto codificato o caratteri di larghezza zero invisibili.
Questo significa che il problema non può essere risolto semplicemente chiedendo alle persone di leggere più attentamente le loro e-mail. La difesa deve essere incorporata negli strumenti che elaborano le e-mail.
Esperienze di Apollo Raines
Apollo Raines, sviluppatore del servizio di revisione del codice di intelligenza artificiale ShipItClean, afferma: "Il vero errore è che il modello non può distinguere tra testo da leggere e istruzioni da eseguire. È ragionevole rimuovere i contenuti nascosti prima che raggiungano il modello, e ogni fornitore dovrebbe farlo. Tuttavia, è una corsa per trovare la soluzione migliore. Ogni nuovo trucco di codifica è una nuova vulnerabilità".
Raines aggiunge: "Le persone hanno imparato a diffidare delle e-mail. Tuttavia, gli assistenti di intelligenza artificiale no. Quindi, la sicurezza deve essere incorporata negli strumenti stessi. Io andrei ancora oltre: una parte di essa deve essere implementata nel modello stesso. Meccanismi di protezione, filtri, sandboxing e autorizzazione umana per i pagamenti sono essenziali".
Precauzioni
Un assistente che riassume le e-mail può portare gli utenti fuori strada quando si tratta di decidere quale e-mail merita attenzione o quali azioni sono necessarie. Un assistente con autorizzazioni aggiuntive potrebbe rappresentare un problema più grave. A seconda delle sue capacità e delle misure di sicurezza, istruzioni maliziose potrebbero tentare di farlo eseguire azioni non autorizzate o divulgare informazioni sensibili.
Non è necessario abbandonare gli strumenti di intelligenza artificiale che aiutano a gestire le e-mail. Tuttavia, è importante considerare attentamente quali compiti assegnare loro e quali autorizzazioni concedere.
I consigli di phishing noti sono ancora validi. Se un assistente legge la vostra e-mail al posto vostro, controllate le sue raccomandazioni prima di agire:
- Leggete attentamente il messaggio originale prima di seguire una raccomandazione che coinvolga denaro o dati sensibili.
- Se una sintesi vi chiede di pagare una fattura, modificare i dati del conto o divulgare informazioni sensibili, considerate la sintesi stessa come non confermata.
- Verificate sempre le modifiche dei pagamenti attraverso un canale separato e stabilito. Contattate la persona o l'organizzazione attraverso canali di contatto già noti, anziché affidarvi alle informazioni contenute nel messaggio sospetto.
- Limitate le autorizzazioni del vostro assistente di intelligenza artificiale a quanto necessario e, in ambiente di lavoro, alle linee guida dell'azienda. Un assistente che riassume le e-mail non dovrebbe richiedere autorizzazioni estese per altre azioni. Limitando l'accesso, è possibile minimizzare le conseguenze se segue istruzioni maliziose.
- Per azioni importanti come pagamenti e modifiche dei dati dei pagamenti dei fornitori, è necessaria un'autorizzazione manuale. Questa autorizzazione dovrebbe includere la verifica della richiesta sottostante e non solo l'accettazione della raccomandazione dell'assistente.
La sicurezza informatica non dovrebbe essere una preoccupazione costante. È possibile proteggere i propri dispositivi da minacce scaricando Malwarebytes oggi stesso.