Crawl budget
Crawl budget : ce que le moteur accepte d'explorer
Le crawl budget est le volume d'exploration qu'un moteur consacre à un site sur une période. Il dépend de la capacité du serveur à répondre et de l'intérêt que le moteur porte au site. Il ne concerne vraiment que les sites de plusieurs dizaines de milliers de pages.
Ce qui détermine un crawl budget
| Facteur | Effet |
|---|---|
| Temps de réponse du serveur | Un serveur lent réduit le volume exploré |
| Erreurs serveur répétées | Le moteur ralentit pour ne pas aggraver |
| Fraîcheur du contenu | Un site qui change souvent est revisité plus |
| Popularité du site | Un site cité ailleurs mérite plus d’attention |
| Qualité perçue | Un site pauvre reçoit moins d’exploration |
Le temps de réponse est le facteur le plus actionnable. Il se mesure dans le rapport de statistiques d’exploration de Search Console.
Où se gaspille un crawl budget
Sur les adresses à paramètres, qui multiplient une même page par dix. Sur les pages de filtre et de tri d’un catalogue. Sur les erreurs déguisées qui renvoient un code de succès. Sur les chaînes de redirection.
Un catalogue mal configuré peut consommer la majorité de son exploration sur des adresses qui ne devraient jamais être visitées.
Qui est réellement concerné par le crawl budget
Les sites de plusieurs dizaines de milliers d’adresses. En dessous, le moteur explore tout ce qui l’intéresse sans contrainte de volume, et le sujet ne se pose pas.
Un site de deux cents pages dont les nouveautés tardent à être indexées a un problème de qualité ou de maillage, pas de budget d’exploration.
Comment le préserver
En bloquant à l’exploration ce qui n’a aucune vocation à être indexé, et en renvoyant des codes cohérents sur les adresses mortes.
Les confusions fréquentes et ce qui les sépare
- Fréquence d'exploration
- La fréquence dit à quel rythme une page est revisitée. Le crawl budget désigne le volume global accordé au site.
- Indexation
- Le crawl budget conditionne la lecture des pages. L'indexation est la décision de les conserver, qui vient ensuite.
Mis à jour le