Cloudflare ha rivelato dati sorprendenti riguardo al comportamento dei crawler AI, identificando Anthropic come la principale figura di “free riding” online. Il rapporto crawl-to-refer di Anthropic è di 2.800 a 1, il che significa che per ogni pagina web che rimanda agli utenti verso i siti di origine, i bot di Anthropic ne scansionano quasi tre mila, utilizzando i contenuti degli altri senza restituirne un traffico equivalente.

Secondo le misurazioni di Cloudflare, Anthropic ha visto miglioramenti rispetto a mesi precedenti. Fino ad aprile, il rapporto era vicino a 8.800 a 1, con punte di fino a 71.000 pagine per ogni referral. Tuttavia, nonostante il miglioramento, il divario rimane significativo in confronto con altre aziende del settore, tra cui OpenAI e Perplexity.

In classifica, OpenAI si posiziona al secondo posto, seguita da Perplexity. Microsoft e Google, invece, mostrano rapporti più bassi, grazie in parte al fatto che i loro motori di ricerca tradizionali continuano a generare traffico verso i siti web. Una piccola eccezione positiva è rappresentata da DuckDuckGo, che riesce a offrire un rapporto di circa uno su tre, con un equilibrio simile ai vecchi motori di ricerca.

Il confronto con il passato sottolinea la drammaticità del cambiamento. Fino a pochi anni fa, esisteva un chiaro accordo implicito tra editori e motori di ricerca: i crawler indicizzavano contenuti, restituendo traffico che si traduceva in entrate tramite pubblicità e abbonamenti. Oggi, grazie ai modelli linguistici avanzati, il comportamento è cambiato: il bot legge il contenuto, elabora una risposta e la presenta all'utente senza che questo debba visitare la fonte originale.

Solo il 1% degli utenti clicca effettivamente sui link alle fonti, e il traffico referral generato dai chatbot AI è stimato in calo del 96% rispetto ai motori di ricerca tradizionali. Alcuni editori hanno visto cali tra il 20% e l’80% di entrate da traffico nel corso dell’ultimo anno.

Anthropic ha contestato i dati raccolti da Cloudflare, sostenendo che non possono verificare autonomamente le metodologie utilizzate. L’azienda ha anche notato che le nuove funzioni di ricerca web di Claude stanno aumentando il traffico verso gli editori, pur non modificando le criticità del modello. Una questione tecnica riguarda l’assenza dell’header Referer negli accessi effettuati attraverso l’app nativa di Claude, che potrebbe alterare artificialmente il rapporto, ma Cloudflare precisa che questo limite è comune a tutti i crawler valutati.

Un’altra entità importante manca del tutto in questa analisi: Meta. Il suo crawler è tra i più attivi in termini assoluti, coprendo oltre il 36% del traffico AI. Tuttavia, non figura tra i “free riders”, in quanto non esiste alcun meccanismo che restituisca traffico agli editori: Meta utilizza i crawler unicamente per addestrare i modelli di AI integrati in Instagram, WhatsApp e Facebook.

Cloudflare non si è limitata a misurare. Il 1° luglio ha annunciato due importanti iniziative per regolare i crawler AI. La prima è il cambio delle impostazioni di default: dal 15 settembre 2026, tutti i siti nuovi che utilizzano Cloudflare, e quelli esistenti che non modificheranno le impostazioni, bloccheranno automaticamente i crawler classificati come “training” e “agent” su pagine con pubblicità. La logica è semplice: se un sito ha banner pubblicitari, questo indica che l'audience è principalmente umana, non robotica.

La seconda misura riguarda l’implementazione del modello Pay Per Use. Gli editori non verranno compensati ogni volta che un bot scarica una loro pagina, ma solo quando quel contenuto produce un effettivo risultato in un sistema AI come una risposta, un citazione o un’azione di un agente. Ceramic.ai e You.com sono i primi partners del programma, mentre aziende come Google, OpenAI e Anthropic non hanno ancora aderito.

Cloudflare si posiziona quindi come infrastruttura di controllo di un mercato che le aziende AI non hanno costruito da sole. Il rischio è che i grandi player possano ignorare le nuove regole di default — che si applicano ai siti, non ai crawler — e continuare a scansionare i dati attraverso metodi diversi. Tuttavia, con il traffico bot che ha già superato il umano, e i ricavi editoriali che scendono sempre più, la pressione per una soluzione normativa esterna cresce. Sempre più si profila l’ipotesi di interventi legislativi o legali per regolare questa transizione epocale.