Gary Illyes et Cherry Prommawin vident le « Non-Canonical Cabinet »

La vidéo s’intitule « What can you actually put in a robots.txt? ». Il s’agit du deuxième épisode de la série « Non-Canonical Cabinet », animée par Gary Illyes et Cherry Prommawin, tous deux chez Google.

Le principe de la série : sortir d’un meuble de classement les questions les plus étranges reçues lors des sessions de questions-réponses de Google. Cette fois, Cherry Prommawin résume les interrogations du public : peut-on rendre ce fichier « joli », y mettre des caractères non anglais, ou demander aux robots d’IA de rester dehors à l’aide d’un emoji panneau stop ?

Pour rappel, le robots.txt est un fichier texte brut placé à la racine d’un site. Gary Illyes le présente comme le premier fichier que consultent Googlebot et les autres crawlers « bien élevés » avant de parcourir un site, pour savoir quelles sections leur sont ouvertes. Ses règles s’appliquent aussi bien aux moteurs de recherche qu’aux robots d’entraînement d’IA. Son fonctionnement est défini par un standard de l’IETF, la RFC 9309, que Google déclare suivre.

Le parser de Google ne lit que quatre règles et jette le reste

Gary Illyes insiste sur la simplicité de la mécanique. Le parser lit le fichier ligne par ligne et ne cherche que quatre règles :

• User-agent : désigne le robot concerné par le groupe de règles qui suit.
• Allow : autorise l’exploration d’un chemin.
• Disallow : demande de ne pas explorer un chemin.
• Sitemap : indique l’emplacement d’un plan de site XML.

Tout le reste est ignoré. Une erreur de formatage ou une mise en forme « créative » des espacements suffit à faire écarter une ligne, sans message d’erreur. L’exemple donné est parlant : si un webmaster écrit « don’t crawl secret page », Google constate que « don’t crawl » n’est pas une règle valide, ignore la ligne et risque d’explorer la page en question.

Les commentaires, eux, sont autorisés. Toute ligne commençant par un dièse (#) est ignorée par les crawlers. Gary Illyes concède donc qu’il est techniquement possible d’y glisser un grand dessin en art ASCII, tout en qualifiant ce choix de « discutable ». Cherry Prommawin évoque un site dont le robots.txt était composé à 97 % de dessin et à 3 % de directives : le fichier n’a pas cassé le parser, mais il gaspillait de la bande passante.

À noter, en complément des propos tenus dans la vidéo : la documentation de Google indique que Googlebot ne traite que les 500 premiers Kio d’un fichier robots.txt et ignore ce qui dépasse. Un fichier gonflé par des commentaires décoratifs peut donc, à l’extrême, repousser des directives au-delà de cette limite.

Emojis et caractères non latins doivent être encodés

La vidéo distingue deux cas : le nom du robot visé et les...