Robots.txt : définition
Aussi appelé : fichier robots, robots exclusion protocol, protocole d'exclusion des robots.
Mis à jour le
Rédigé par Karim Brahim

Définition
Le robots.txt est un fichier texte placé à la racine d'un site qui indique aux robots d'exploration les zones qu'ils peuvent ou non parcourir.
Il est accessible à l'adresse /robots.txt de chaque domaine. Les robots des moteurs de recherche le consultent avant d'explorer un site. Son fonctionnement est normalisé depuis 2022 par une spécification de l'IETF, la RFC 9309, publiée sur le RFC Editor.
En détail
Le fichier se compose de groupes de règles simples :
- User-agent désigne le robot concerné, par exemple Googlebot, ou tous les robots avec un astérisque ;
- Disallow interdit l'exploration d'un chemin, par exemple un espace client ou des pages de résultats de recherche interne ;
- Allow autorise une exception à l'intérieur d'une zone bloquée ;
- Sitemap indique l'adresse du sitemap XML.
Son rôle principal est de gérer l'exploration. Il évite que les robots perdent du temps sur des pages sans intérêt, comme les combinaisons infinies de filtres d'un catalogue. Ce n'est ni un outil d'indexation ni un outil de sécurité pour votre SEO.
Depuis l'essor des modèles d'IA, le robots.txt sert aussi à exprimer une préférence vis-à-vis des robots qui collectent des contenus. Chaque éditeur documente le nom de ses robots. En bloquer certains peut réduire la présence de vos contenus dans les réponses de ces outils.
Exemple (cas type)
Prenons le cas fictif d'un fabricant de menuiseries dont le trafic naturel s'effondre après la mise en ligne de son nouveau site. La cause : le robots.txt de la préproduction, qui interdisait l'exploration de tout le site, aurait été copié tel quel en production.
Il suffirait de supprimer la ligne fautive, de vérifier le fichier dans la Google Search Console et de soumettre à nouveau le sitemap. Le site serait alors réexploré progressivement. Ce contrôle mérite une place dans toute check-list de mise en ligne, comme notre checklist SEO de refonte WordPress.
Points d'attention
Le robots.txt est un fichier court, mais une seule ligne erronée peut retirer tout un site de l'exploration des moteurs.
- Une ligne peut tout bloquer : « Disallow: / » pour tous les robots interdit l'exploration du site entier.
- Ne pas bloquer les ressources utiles : les fichiers CSS et JavaScript nécessaires à l'affichage doivent rester accessibles.
- Ne pas confondre avec noindex : pour retirer une page des résultats, utilisez la directive noindex, pas le robots.txt.
- Vérifier lors d'une migration de site, car c'est une cause fréquente de perte de visibilité.
Pour aller plus loin
Le robots.txt fait partie des points contrôlés systématiquement lors de notre audit de site, avec l'indexation, les redirections et les performances. Pour faire progresser ensuite vos positions, découvrez notre accompagnement en référencement naturel.