L’adozione dell’intelligenza artificiale sta attraversando una fase di trasformazione decisiva. Dopo la corsa all’integrazione della GenAI nei processi aziendali, il baricentro si sta spostando rapidamente dalla capacità di generare output alla capacità di governarli. Nei settori regolamentati, come il banking e la sanità, questo passaggio non rappresenta un’evoluzione accessoria, ma una condizione strutturale per l’utilizzo stesso della tecnologia.
Il punto centrale non è più soltanto l’efficacia dei sistemi, ma la loro affidabilità, verificabilità e spiegabilità. In altri termini, la possibilità di comprendere perché un modello prende una determinata decisione e su quali basi essa si fonda.
Un quadro normativo sempre più stringente
Il tema non è teorico. L’AI Act, approvato dall’Unione Europea, introduce un quadro normativo che impone requisiti stringenti nell’adozione dell’AI, in particolare proprio nei servizi finanziari e in ambito sanitario. Dal 2026, con piena applicazione progressiva delle disposizioni, le organizzazioni saranno chiamate a garantire documentazione tecnica, supervisione umana, gestione del rischio e soprattutto livelli adeguati di trasparenza e comprensione dei modelli.
Secondo la European Commission, l’obiettivo è assicurare che i sistemi di AI siano “sicuri, trasparenti, tracciabili, non discriminatori e sotto controllo umano”. Un principio che, nella pratica, si traduce in una trasformazione profonda dell’architettura tecnologica delle imprese.
Il problema della decisione non spiegabile
Proprio in questo contesto, il problema della “decisione non spiegabile” diventa centrale. Immaginiamo un sistema di credit scoring – sistema che valuta l’affidabilità di una persona nel rimborsare un prestito attraverso un punteggio basato su dati finanziari e comportamentali – che rifiuta un prestito a una persona che, sulla carta, sembra affidabile. Oppure un algoritmo medico che prevede un basso rischio dopo un’operazione, ma poi il paziente ha complicazioni. In entrambi i casi, il problema non è solo che la previsione sia sbagliata, ma che non è chiaro il motivo per cui il sistema ha preso quella decisione.
Le limitazioni degli algoritmi statistici
Questi scenari evidenziano uno dei principali limiti dei sistemi statistici di intelligenza artificiale, in particolare dei large language model e dei modelli generativi, che operano su correlazioni probabilistiche senza una reale comprensione semantica del significato. Il tema è stato evidenziato anche dalla Bank for International Settlements, secondo cui l’utilizzo dell’AI nei servizi finanziari richiede framework robusti di governance per evitare rischi sistemici legati a opacità algoritmica, bias e difficoltà di audit.
Parallelamente, nel settore sanitario, l’Organizzazione Mondiale della Sanità ha sottolineato la necessità di garantire che i sistemi di AI utilizzati in diagnosi e supporto clinico siano trasparenti e supervisionati, in particolare quando impattano direttamente sulle decisioni relative ai pazienti.
Il divario tra capacità predittiva e capacità esplicativa
Il vero nodo è il divario tra capacità predittiva e capacità esplicativa. I modelli attuali sono estremamente efficaci nel riconoscere pattern e generare output, ma tendenzialmente non sono in grado di ricostruire il percorso logico che li ha prodotti. Questo limite diventa critico proprio nei settori regolamentati, dove ogni decisione deve essere motivabile e verificabile.
Risk management, governance e modelli neuro-simbolici
In questo scenario si inserisce anche il dibattito sul cosiddetto AI risk management, tema approfondito dal National Institute of Standards and Technology attraverso l’AI Risk Management Framework. Il framework evidenzia come la governance dell’AI non possa essere un livello aggiuntivo, ma debba essere integrata nella progettazione stessa dei sistemi.
Un ulteriore elemento di criticità riguarda il cosiddetto AI debt, o debito dell’intelligenza artificiale, concetto sempre più centrale nel dibattito sulla governance dei sistemi AI. Analogamente al debito tecnico, l’AI Debt rappresenta il costo accumulato derivante dall’adozione di sistemi non progettati secondo standard adeguati di trasparenza, explainability e auditabilità.
Secondo analisi di Gartner, entro i prossimi anni una quota significativa dei fallimenti dei progetti di AI aziendale sarà legata proprio all’assenza di strutture semantiche e di governance adeguate.
La soluzione nel futuro: modelli neuro-simbolici
In parallelo, emerge con sempre maggiore evidenza la necessità di modelli “neuro-symbolic”, capaci di combinare apprendimento statistico e ragionamento simbolico, rendendo possibile una tracciabilità completa delle decisioni. Questo tipo di architettura rappresenta oggi una delle soluzioni più promettenti per superare il limite della black box, soprattutto nei contesti regolamentati.
Una decisione architetturale strategica
Il punto non è soltanto tecnologico, ma strategico. Le organizzazioni si trovano di fronte a una scelta architetturale: trattare la governance come un obbligo normativo da implementare a posteriori, oppure come un principio fondativo del sistema AI. Nel primo caso, la conformità diventa un processo costoso e potenzialmente incompleto. Nel secondo, invece, la compliance è incorporata nel funzionamento stesso della tecnologia, rendendo ogni decisione intrinsecamente verificabile.
Fiducia come requisito operativo
È qui che si gioca la vera differenza competitiva nei prossimi anni. Nei contesti ad alta compliance non sarà premiata la capacità di adottare più rapidamente l’intelligenza artificiale, ma quella di renderla controllabile, spiegabile e sostenibile nel tempo. In banca, come in sanità, il principio è lo stesso: quando un sistema prende una decisione che impatta su una persona, quella decisione deve poter essere spiegata, giustificata e ricostruita.
La governance dell’AI non è quindi una fase transitoria dell’innovazione, ma il suo vero banco di prova.
Un fattore strutturale: la fiducia nei sistemi
Un punto spesso sottovalutato è che la crescita dell’AI non avviene in ambienti sperimentali, ma in contesti reali ad alta esposizione normativa e reputazionale. Nel banking, ogni decisione algoritmica può avere un impatto diretto sull’accesso al credito e quindi sulla vita economica delle persone. Nella sanità, ogni output può influenzare percorsi diagnostici o terapeutici. In entrambi i casi, l’errore non è solo tecnico, ma sistemico.
Per questo motivo, il concetto di “fiducia” diventa un elemento centrale dell’infrastruttura digitale. Non si tratta più di una percezione astratta, ma di un requisito operativo. La fiducia nei sistemi di AI si costruisce attraverso la possibilità di comprendere, verificare e contestare le decisioni prodotte. Senza questi elementi, l’adozione su larga scala nei settori regolamentati rischia di incontrare limiti strutturali.