Le rapport State of the Bots de TollBit, qui compile les données du premier semestre 2026, montre aussi que la situation varie beaucoup selon les agents. Claude-User n'est bloqué que par 9 % des sites européens, contre 26 % en Amérique du Nord. Perplexity-User affiche 13 % contre 26 %. La plupart des agents récents ont des taux de blocage à un chiffre en Europe, mais ChatGPT-User fait figure d'exception, à la fois très bloqué et très souvent contourné malgré ce blocage.

La documentation d'OpenAI est claire sur ce point : ChatGPT-User se déclenche quand un utilisateur pose une question dans ChatGPT, et parce que l'action part d'un humain, le robots.txt pourrait ne pas s'appliquer. TollBit, de son côté, ne fait pas cette distinction : toute requête vers une URL interdite est comptée comme un contournement, quelle que soit la justification donnée par l'opérateur du bot.

Pour un éditeur de site, la conséquence pratique est la suivante : le fichier robots.txt ne montre que ce qui a été demandé en théorie, pas ce qui s'est réellement passé. Seuls les logs serveur ou les données CDN permettent de savoir ce qui a effectivement été récupéré.

Cloudflare prépare de son côté un changement de méthode. À partir du 15 septembre, les nouveaux domaines ajoutés à Cloudflare verront leurs crawlers d'entraînement et leurs agents bloqués par défaut sur les pages contenant des publicités, les crawlers de recherche restant autorisés. La décision de blocage se déplace ainsi au niveau du réseau plutôt que d'être laissée à la bonne volonté du crawler. Reste à savoir si l'argument du "chargement initié par l'utilisateur" tiendra sur la durée, maintenant que tous les grands assistants IA récupèrent les pages de cette manière.

L’article "ChatGPT peut visiter vos pages interdites, et OpenAI l’assume" a été publié sur le site Abondance.