La proposta delle big tech per limitare l'uso dei contenuti nell'AI
OpenAI, Google, Microsoft e Anthropic hanno presentato una proposta comune per permettere ai siti web di opporsi all'uso dei propri contenuti nell'addestramento dei modelli di intelligenza artificiale. La novità è un segnale da inserire nel file robots.txt: una sola regola, destinata a essere riconosciuta dalle aziende che aderiranno, anziché istruzioni diverse per ogni fornitore.
Per editori, ecommerce e imprese che pubblicano documentazione, ricerche e contenuti proprietari, questa proposta significa poter gestire più facilmente una parte dell’utilizzo dei dati online. Tuttavia, il controllo non è ancora attivo contemporaneamente presso tutti e quattro i gruppi e riguarda una destinazione precisa dei contenuti: l’addestramento dei modelli generativi.
La proposta si chiama Machine-Readable Training Preference Signal ed è stata presentata come Internet-Draft all’IETF il 30 ottobre 2026 da Kevin Kelley di Anthropic, nell’ambito del gruppo di lavoro AI Preferences. È ancora una bozza tecnica e non costituisce uno standard IETF definitivamente approvato. Le quattro aziende hanno annunciato impegni e tempi di implementazione differenti.
Il nuovo segnale AI: che cosa hanno annunciato i quattro gruppi
L’esistenza di un segnale comune può ridurre il lavoro tecnico, ma non elimina la necessità di conoscere le regole del singolo servizio. Il significato della scelta è stabilito dal nuovo token; la sua applicazione concreta dipende dagli impegni di ciascuna azienda e dalle funzioni a cui essa collega il controllo.
Il file robots.txt si trova nella directory principale di un sito e contiene normalmente istruzioni per i programmi automatici che lo visitano. Finora il gestore interessato a limitare l’uso dei contenuti per addestrare l’AI doveva tenere traccia dei singoli strumenti dei diversi fornitori, ad esempio delle regole specifiche per GPTBot e Google-Extended. La nuova proposta introduce invece un’etichetta comune, _usageai-training, che identifica lo scopo dell’utilizzo anziché un particolare software di scansione.
Per dichiarare di non voler destinare all’addestramento generativo alcuna pagina del sito, l’esempio della bozza prevede due righe: User-Agent: _usageai-training e Disallow: /. Se si vuole fare un’eccezione, si può aggiungere una riga Allow riferita a una cartella: per esempio lasciare disponibili i materiali di una cartella stampa e riservare i diritti sugli altri contenuti. Le regole per i percorsi seguono quelle ordinarie del robots.txt.
La distinzione tecnica è sostanziale. Il nuovo token esprime una preferenza sull’uso dei contenuti, non un ordine di fermare il crawler. Un motore può continuare a visitare le pagine per indicizzarle o svolgere altre funzioni consentite. Inoltre non basta una generica regola User-Agent: * per dichiarare la volontà prevista dalla proposta: il token specifico deve comparire nel file. I vecchi controlli dei singoli fornitori continueranno a essere rilevanti.
Le differenze tra fornitori
Per capire le conseguenze commerciali occorre allora distinguere due momenti. Nel training, i contenuti contribuiscono a modificare i parametri appresi da un modello generativo. Nel grounding, invece, un sistema consulta informazioni esterne per costruire o verificare una risposta al momento della richiesta. Un’azienda può voler impedire il primo utilizzo e accettare il secondo, perché una risposta AI con un link al suo sito può aumentare la possibilità di essere scoperta da clienti e lettori.
È per consentire quella scelta che Microsoft ha annunciato due famiglie distinte di preferenze. La prima, AI Training, utilizza il nuovo segnale comune nel robots.txt e potrà essere impostata anche a livello di singola pagina. La seconda, AI Grounding, decide se Bing, Copilot, Microsoft 365 e i servizi collegati possano utilizzare una pagina per alimentare una risposta generata. Quest’ultima scelta è prevista a livello di pagina, attraverso un metatag o un’intestazione HTTP, non attraverso il segnale comune nel robots.txt.
Per il grounding Microsoft offre tre opzioni. Con Allow, che è l’impostazione predefinita quando manca una scelta, il contenuto può alimentare le risposte AI. Con DisallowExtended l’uso è limitato alle esperienze gestite direttamente da Microsoft, tra cui Copilot e Microsoft 365, ed è escluso dai servizi di grounding forniti a clienti terzi, come Web IQ e le API in Foundry. Con Disallow il contenuto viene escluso dall’uso per le risposte generate negli ambiti coperti da quel controllo.
Il risultato è che un editore può scegliere AI Training: Disallow e mantenere AI Grounding: Allow: le pagine non devono essere usate per addestrare modelli, ma possono restare fonti per le risposte prodotte da Microsoft. La società precisa che queste scelte non modificano di per sé l’idoneità a comparire nei normali risultati di Bing. Bloccare il grounding può però ridurre la presenza dei contenuti nelle esperienze AI, senza dare in cambio una compensazione economica automatica.
Le scadenze di Microsoft
Microsoft ha pubblicato anche le istruzioni tecniche per i singoli URL: per esempio, il metatag ai-grounding:disallow rivolto a Bingbot indica che quella pagina non deve essere usata per formulare risposte AI. Un’impresa può così distinguere le schede prodotto, per le quali la visibilità può essere utile, da contenuti a pagamento o documenti riservati che non intende far riutilizzare in quel modo.
Per Microsoft la novità ha una sequenza operativa già definita. Dal 1° febbraio 2027 Bing inizierà a rispettare le nuove preferenze via via che effettuerà le scansioni dei siti. Il caricamento di una regola non ne garantisce quindi l’applicazione immediata: Microsoft deve prima rilevarla. La società ha fissato al 1° marzo 2027 il termine per la transizione di chi utilizza attualmente NoArchive o NoCache come strumenti per limitare training e grounding.
Per questi gestori non basta conservare le impostazioni precedenti. Entro il 1° marzo dovranno pubblicare le nuove preferenze sul training e, se vogliono continuare a limitare il grounding, inserire la preferenza nelle pagine interessate e registrare una scelta temporanea in Bing Webmaster Tools. Lo strumento temporaneo sarà disponibile dal 15 dicembre 2026 per i siti che già usano NoArchive o NoCache; servirà a preservare l’impostazione mentre Bing non ha ancora effettuato una nuova scansione. La preferenza temporanea scadrà al nuovo passaggio del crawler o comunque entro il 30 settembre 2027.
La data di marzo è quindi una scadenza di migrazione per i siti che devono conservare restrizioni già espresse, non un obbligo generale di modificare tutti i siti web entro quella data. Le imprese che non usano quei vecchi tag potranno impostare i nuovi controlli secondo le proprie esigenze; in assenza di una preferenza applicabile, Microsoft prevede per impostazione predefinita la possibilità di utilizzo per training e grounding, nei limiti descritti dalla sua policy.
Le differenze tra fornitori emergono con particolare evidenza dal comunicato di Google Search Central del 30 ottobre
Google prevede di interpretare il nuovo opt-out comune come un divieto per Google-Extended quando il gestore del sito non abbia dato istruzioni esplicite per quest’ultimo. Ma Google-Extended non riguarda soltanto l’addestramento: entra in gioco anche nel grounding di Gemini e in altre funzionalità che utilizzano informazioni esterne per generare risposte. Questo significa che, anche se un sito decide di escludere i propri contenuti dall’addestramento, potrebbero comunque essere utilizzati per generare risposte in tempo reale.
La proposta delle big tech rappresenta un passo significativo verso una maggiore trasparenza e controllo sull’uso dei contenuti online da parte dei modelli di intelligenza artificiale. Tuttavia, le differenze nelle implementazioni e nelle politiche tra i vari fornitori possono creare confusione e richiedere un’attenta gestione da parte degli editori e delle imprese. La strada verso una regolamentazione unificata e chiaramente definita è ancora lunga, ma questa proposta rappresenta un importante punto di partenza.