Goossips SEO : Robots.txt, Nombre de mots, Techniques SEO

Quelques infos sur Google (et Bing parfois) et son moteur de recherche, glanées ici et là de façon officieuse ces derniers jours, avec au programme cette semaine quelques réponses à ces angoissantes questions : Est-ce une bonne idée de modifier dynamiquement un robots.txt ? La longueur d'un contenu a-t-il une importance ? Le SEO peut-il nuire au référencement d'un site ?

Goossip #1

Ne modifiez pas le robots.txt de façon dynamique

John Mueller déconseille fortement de modifier dynamiquement le fichier robots.txt plusieurs fois par jour. Il explique que cela n'est pas efficace, car Google met en cache ce fichier pendant environ 24 heures. Cette recommandation fait suite à une question d'un technicien qui souhaitait bloquer Googlebot le matin via robots.txt et le ré-autoriser l'après-midi pour éviter une surcharge serveur. John Mueller suggère plutôt d'utiliser les codes d'erreur 503 ou 429 pour gérer temporairement une charge de crawl trop importante.

Source : Search Engine Roundtable

Comme le dit John Mueller, ce type de pratique est une fausse bonne idée, en plus d’être quelque peu alambiquée. L’utilisation d’un code 503 ou 429 semble effectivement la meilleure solution à envisager ici.

Goossip #2

Derniers événements

Derniers Articles