Un nuovo standard tecnico per lo scraping dei contenuti

Le grandi aziende dell’intelligenza artificiale – OpenAI, Google, Microsoft, Anthropic e, più recentemente, Meta – hanno annunciato il loro sostegno a un meccanismo comune che consenta agli editori di indicare, tramite il file robots.txt, se i loro contenuti possono essere utilizzati per l’addestramento dei modelli AI. Attualmente, chi desidera limitare l’uso dei propri articoli deve configurare istruzioni diverse per ogni crawler, un processo complesso e dispendioso. Il nuovo approccio prevede una singola direttiva che, se adottata da tutti i soggetti coinvolti, semplifica la gestione delle preferenze e riduce il rischio di violazioni involontarie del diritto d’autore.

La proposta è stata elaborata da Kevin Kelley, responsabile degli standard tecnici di Anthropic, e ora è in fase di esame presso l’Internet Engineering Task Force (IETF), l’organizzazione che definisce gli standard di rete. Sebbene l’adesione sia volontaria e il meccanismo non blocchi l’accesso dei crawler, esso permette di comunicare una preferenza esplicita sul successivo utilizzo dei dati raccolti. In pratica, un sito potrà indicare “non utilizzare i miei contenuti per l’addestramento AI” senza dover negoziare singolarmente con ogni azienda.

Tempistiche di adozione e limiti del nuovo meccanismo

L’implementazione avverrà in modo graduale. Anthropic è già al primo turno di adozione, mentre OpenAI prevede di introdurre la funzionalità nei prossimi mesi. Microsoft ha fissato il 1° febbraio 2027 come data di inizio rispetto delle preferenze espresse, e Google intende integrare il sistema nel corso del prossimo anno. Meta, attraverso il portavoce Andy Stone, ha manifestato interesse a collaborare per definire standard comuni, ma non ha ancora comunicato una data precisa di implementazione.

È importante sottolineare che le preferenze non si applicano retroattivamente: i contenuti già raccolti rimangono disponibili per l’addestramento. Inoltre, il nuovo standard non garantisce un compenso automatico agli editori; le aziende tecnologiche hanno ricordato che limitare l’uso dei contenuti potrebbe ridurre la visibilità dei siti nei servizi basati su AI, con potenziali impatti sul traffico organico.

Le implicazioni legali e commerciali

La questione dello scraping è al centro di una crescente battaglia legale tra editori e Big Tech. Il New York Times ha avviato una causa contro OpenAI e Microsoft nel dicembre 2023, accusandole di aver sfruttato milioni di articoli senza autorizzazione. Le due compagnie si difendono invocando il principio del fair use previsto dalla legge statunitense. In Europa, l’avvocato generale della Corte di giustizia dell’Unione europea, Maciej Szpunar, ha suggerito che il riutilizzo in tempo reale di pubblicazioni giornalistiche da parte dei chatbot potrebbe violare i diritti degli editori.

In Italia, il dibattito si intreccia con la normativa sull’equo compenso per l’utilizzo online delle pubblicazioni, gestita dall’Agcom. Tuttavia, il nuovo standard tecnico è separato da queste discussioni di remunerazione: si concentra esclusivamente sulla possibilità di dare o meno il consenso all’addestramento AI, senza prevedere meccanismi di pagamento.

Prospettive future per l’editoria digitale

Per gli editori, la capacità di controllare l’impiego dei propri articoli rappresenta un nuovo strumento di tutela, ma non elimina le sfide legate al modello di business digitale. Se da un lato il controllo può proteggere il valore economico dei contenuti, dall’altro la riduzione della visibilità nei servizi AI potrebbe influire negativamente sul traffico e sulla brand awareness.

Le aziende tecnologiche, d’altro canto, devono bilanciare la necessità di dati di alta qualità per migliorare i propri modelli con il rispetto delle richieste degli editori. Un consenso condiviso, se ben implementato, potrebbe ridurre le controversie legali e favorire una collaborazione più trasparente tra i due settori.

In conclusione, il nuovo meccanismo basato su robots.txt rappresenta un passo significativo verso una governance più chiara del web nell’era dell’intelligenza artificiale. La sua efficacia dipenderà dalla rapidità di adozione da parte delle grandi piattaforme, dalla capacità degli editori di comunicare le proprie preferenze e dalla eventuale evoluzione di normative che possano integrare il controllo tecnico con misure di compensazione economica.