In occasione di Cybertech Europe 2026, in programma a Roma il 13 e 14 ottobre, abbiamo intervistato Marco Fanuli, Technical Director di TrendAI Italia, per discutere della sicurezza dei sistemi di intelligenza artificiale. Con oltre quindici anni di esperienza nella cybersecurity, Fanuli guida il team di prevendita di TrendAI, la divisione di Trend Micro dedicata alle aziende che offre soluzioni come AI Scanner e AI Guard per proteggere le applicazioni AI.

La conversazione si è concentrata sulla protezione di chatbot e agenti AI, che possono essere manipolati attraverso tecniche come la prompt injection. Abbiamo esplorato quali strategie le aziende dovrebbero adottare prima di mettere questi sistemi in produzione e come mitigare i rischi residui.

La sfida della prompt injection

OpenAI ha ammesso che la prompt injection, come le truffe e il social engineering sul web, difficilmente sarà mai completamente "risolta". Di fronte a questo problema strutturale, abbiamo chiesto a Fanuli cosa TrendAI può promettere ai clienti che mettono in produzione un agente AI e quale rischio residuo dovrebbero considerare.

"Come in ogni aspetto della cybersecurity, nulla può essere considerato risolto al 100% - ha risposto Fanuli -. Ma se da un lato non si può garantire la completa eliminazione della prompt injection, dall'altro l'approccio deve mirare a ridurre l'esposizione e a limitare il danno su più livelli. Questo si fa agendo già prima della produzione, ad esempio simulando attacchi reali contro l'applicazione per individuare problemi come prompt injection e fuga di dati. In esercizio, invece, la tecnologia può aiutarci a controllare prompt e risposte in tempo reale, bloccando istruzioni malevole e dati sensibili, tramite policy e audit trail."

Secondo Fanuli, i risultati di questi controlli rientrano in un ciclo continuo: si scansiona, si protegge, si verifica e si migliora. A questi controlli vanno aggiunti la visibilità sugli asset AI e il controllo degli accessi ai servizi AI di terze parti. "Ma l'agente non va mai trattato come un sistema infallibile - ha concluso -. Permessi minimi, approvazione umana per le azioni critiche e possibilità di fermarlo restano scelte di architettura del cliente. Il rischio residuo va quindi messo a bilancio e monitorato nel tempo, come si fa per il phishing."

Le prime azioni per un'azienda

Un'azienda italiana di trecento dipendenti vuole mettere in produzione entro fine anno un agente per il customer service, collegato al CRM e alla posta elettronica. Abbiamo chiesto a Fanuli quali sono le prime cose che dovrebbe fare, prima ancora di comprare qualsiasi prodotto di sicurezza.

"Ci sono quattro cose, in quest'ordine - ha risposto -. Primo: decidere cosa l'agente può e non può fare. Con CRM e posta si possono leggere dati personali e scrivere ai clienti, quindi vanno definiti i permessi per ogni azione, anche solo di lettura. Secondo: mappare i dati che attraversa (GDPR) e verificare se rientra nei perimetri di compliance delle normative di riferimento, quali, ad esempio, NIS2 e l'AI Act."

"Terzo: prevedere l'approvazione umana per le azioni irreversibili, come rimborsi, modifiche di dati critici e invii massivi. Il quarto punto è spesso il più trascurato: decidere in anticipo come si ferma l'agente e chi ne risponde. Se qualcosa va storto alle undici di sera, qualcuno deve sapere come spegnerlo, in quanto tempo e con quali conseguenze sulle operazioni già avviate. Solo dopo ha senso scegliere gli strumenti, perché un prodotto di sicurezza deve operare all'interno di un perimetro già definito dall'azienda."

Il rischio del software circostante

A maggio, al Pwn2Own di Berlino, i ricercatori hanno preso il controllo di diversi strumenti AI, tra cui OpenAI Codex, LiteLLM e LM Studio. Nel resoconto di TrendAI, la prompt injection non è menzionata: il problema comune era più tradizionale, legato al fatto che questi strumenti si fidano dei dati che ricevono dai programmi a cui sono collegati, senza verificarli. Abbiamo chiesto se ci stiamo preoccupando troppo della prompt injection e troppo poco del software che circonda i modelli.

"Sono due rischi diversi e vanno presidiati entrambi - ha spiegato Fanuli -. A Pwn2Own Berlino, diversi strumenti AI, tra cui Codex, LiteLLM e LM Studio, sono stati compromessi perché si fidavano, senza verifiche, di strumenti e protocolli esterni. È un problema di software tradizionale, non del modello. La prompt injection resta invece il rischio per il comportamento dell'agente, cioè ciò che fa quando viene ingannato da un contenuto."

"Chi mette in produzione un agente deve quindi guardare sia il modello e i suoi guardrail, sia gli strumenti, i connettori e il software che lo circondano. Non esistono vettori da trascurare: l'attenzione deve restare alta su tutti, perché un attaccante sceglierà quello meno presidiato."

TrendAI a Cybertech Europe 2026

TrendAI sarà presente a Cybertech Europe 2026, che si terrà a Roma il 13 e 14 ottobre al centro congressi La Nuvola dell'EUR. L'evento è uno dei principali appuntamenti europei sulla sicurezza informatica e rappresenta un'opportunità per approfondire le tematiche legate alla cybersecurity nell'era dell'intelligenza artificiale.

Per restare aggiornato sulle notizie più importanti sull'intelligenza artificiale, è possibile iscriversi alla newsletter dedicata ricevendo le ultime notizie via e-mail.