Utilisation
A l'instar des balises meta index, noindex, follow, nofollow qui peuvent être renseignées au sein des pages web, le fichier robots indique aux moteurs quel contenu - fichier(s) et ou répertoire(s) du site - doit être indexé ou pas.
Création et exemple
Le fichier robots est un fichier texte, pas html, placé à la racine du site, et qui a la structure suivante. Il peut être créé simplement à l'aide du notepad de window, sauvegardé sous la forme robots.txt et placé à la racine de votre site internet.
User-agent: *
Allow: /page-exemple1.html
Disallow: /page_exemple2.html
Disallow: /categorie1/
Disallow: /categorie2/
La première ligne renseigne quels spiders des moteurs peuvent explorer le site ainsi la commande User-agent: * signifie que tous les robots d'indexation des moteurs sont autorisés à crawler le site web concerné.
La commande Allow quant à elle indique aux robots qu'ils peuvent indexer une page ou un répertoire alors que la commande Disallow leur indique qu'ils ne doivent pas indexer un répertoire ou un fichier (l'équivalent de la commande noindex, nofollow dans les métas).