Robots.txt
Robots.txt : ce que les robots ont le droit d'explorer
Le fichier robots.txt, placé à la racine d'un domaine, indique aux robots d'exploration quelles adresses ils peuvent parcourir. Il contrôle l'exploration, jamais l'indexation. Une page bloquée dans ce fichier peut malgré tout apparaître dans les résultats si d'autres sites la citent.
La syntaxe d’un fichier robots.txt
Le fichier se lit par blocs. Chaque bloc commence par le robot visé, puis énumère ce qui est interdit ou autorisé.
| Directive | Effet |
|---|---|
| User-agent | Désigne le robot concerné, ou tous avec une étoile |
| Disallow | Interdit l’exploration d’un chemin |
| Allow | Rouvre un sous-chemin dans une zone interdite |
| Sitemap | Indique l’adresse complète du plan du site |
Les chemins sont sensibles à la casse. Un chemin écrit avec une majuscule ne bloque pas la même adresse écrite en minuscules.
L’erreur de robots.txt qui met un site hors des résultats
Un blocage global, laissé en place après une mise en ligne, empêche toute exploration. Le site disparaît progressivement des résultats, sans message d’erreur nulle part.
Cette erreur vient presque toujours d’un environnement de préproduction copié en production sans relecture du fichier.
Pourquoi une page bloquée apparaît quand même
Le robot ne peut pas lire la page, donc il ne voit pas la balise noindex qu’elle contient peut-être. Si d’autres sites pointent vers elle, il peut l’indexer sur la seule foi de ces liens, sans description.
Pour retirer une page des résultats, il faut la laisser explorable et lui poser un noindex.
Ce que le robots.txt ne protège pas
Il n’est ni une sécurité ni un secret. Le fichier est public, et y lister un répertoire sensible revient à en indiquer l’adresse.
Les confusions fréquentes et ce qui les sépare
- Balise noindex
- Le robots.txt empêche le robot de lire la page. Le noindex demande de ne pas l'indexer, ce qui suppose que le robot puisse la lire.
- Sitemap
- Le sitemap propose une liste d'adresses à explorer. Le robots.txt interdit certaines adresses. L'un invite, l'autre restreint.
Mis à jour le