La directive « Content Signals » de Cloudflare dans le fichier robots.txt est sans effet

John Mueller  a déclaré sur Reddit que la directive "Content Signals" de robots.txt, créée par Cloudflare l'an dernier, n'a "aucun effet" pour les crawlers ou les LLM. Selon lui, elle ne fait qu'ajouter du poids inutile et de la maintenance supplémentaire au fichier robots.txt.

Points clés :

• Google n'utilise ni llms.txt ni llms-author.txt, et Mueller n'a connaissance d'aucun autre crawler ou LLM qui les utiliserait (à part des outils SEO).
• À sa connaissance, aucun crawler ou LLM ne respecte les directives "content-signal" du robots.txt, une initiative lancée par un CDN (Cloudflare) sans adoption réelle côté moteurs.
• Les crawlers n'appliquent que les directives qu'ils reconnaissent explicitement et ignorent le reste, quel que soit ce qu'on ajoute au robots.txt.

Un peu de contexte :

• Cloudflare a fixé une échéance au 15 septembre 2026 pour de nouveaux réglages par défaut sur trois catégories (Training, Agent, Search).
• Pour les nouveaux domaines rejoignant Cloudflare, les catégories Training et Agent seront bloquées par défaut sur les pages avec publicité, tandis que Search restera autorisé.
• Cloudflare équipe environ 21,3 % des sites web dans le monde (janvier 2026), donc les utilisateurs de Cloudflare sont invités à vérifier leurs paramètres.

Source : Search Engine Roundtable

Retenons la distinction entre ce signal déclaratif (non contraignant) et le vrai blocage technique...