Derniers Articles
Migration de domaine : Google précise comment utiliser l’outil de « Changement d’adresse » Consultant SEO en agence ou freelance : les 5 actions à mettre en place avant de partir en vacances GEO vs SEO : faut-il choisir ou combiner les deux ? Open Knowledge Format : Google pose les bases d’un nouveau standard pour les agents IA Un tribunal allemand juge Google responsable des erreurs de ses AI Overviews La reconversion à l’ère de l’IA générative : les nouvelles compétences attendues des entreprises Google confirme qu’il ignore le fichier llms.txt et clôt le débat L’édition de juin 2026 de Réacteur est en ligne ! SEO technique : comment un agent IA peut auditer et corriger votre site à votre place Sundar Pichai livre un discours aux diplômés de Stanford 2026 : trois règles de vie à retenirLire l'article complet : Goossips SEO : Robots.txt, Nombre de mots, Techniques SEO
Publié le 28/01/2025 à 07:00:00 par Abondance
Goossips SEO : Robots.txt, Nombre de mots, Techniques SEO
Quelques infos sur Google (et Bing parfois) et son moteur de recherche, glanées ici et là de façon officieuse ces derniers jours, avec au programme cette semaine quelques réponses à ces angoissantes questions : Est-ce une bonne idée de modifier dynamiquement un robots.txt ? La longueur d'un contenu a-t-il une importance ? Le SEO peut-il nuire au référencement d'un site ?
Ne modifiez pas le robots.txt de façon dynamique
John Mueller déconseille fortement de modifier dynamiquement le fichier robots.txt plusieurs fois par jour. Il explique que cela n'est pas efficace, car Google met en cache ce fichier pendant environ 24 heures. Cette recommandation fait suite à une question d'un technicien qui souhaitait bloquer Googlebot le matin via robots.txt et le ré-autoriser l'après-midi pour éviter une surcharge serveur. John Mueller suggère plutôt d'utiliser les codes d'erreur 503 ou 429 pour gérer temporairement une charge de crawl trop importante.
Source : Search Engine Roundtable
Taux de fiabilité : 
On est d'accord !
Comme le dit John Mueller, ce type de pratique est une fausse bonne idée, en plus d’être quelque peu alambiquée. L’utilisation d’un code 503 ou 429 semble effectivement la meilleure solution à envisager ici.
Goossip #2