Budget de crawl, pourquoi ce n’est pas votre problème

Le budget de crawl est la quantité de pages qu’un moteur accepte d’explorer chez vous dans un temps donné.

Elle dépend de 2 choses. Ce que votre serveur encaisse sans ralentir, et l’intérêt que le moteur porte à votre site.

Le sujet devient réel à partir de plusieurs centaines de milliers d’adresses. Un catalogue avec des filtres qui se combinent, un site d’annonces, un média avec 20 ans d’archives.

En dessous, il ne se pose pas. Un site de 50, 200 ou 2 000 pages est exploré sans difficulté par une machine qui traite des milliards d’adresses par jour.

Donc si on vous vend une optimisation du budget de crawl et que votre site tient sur 3 écrans de sitemap, on vous soigne d’une maladie que vous n’avez pas.

Dans la Search Console, une ligne fait paniquer plus que toutes les autres. Exploré, actuellement non indexé.

Lisez-la mot à mot, elle dit exactement ce qui s’est passé.

Exploré. Google a trouvé la page. Il l’a demandée à votre serveur. Il l’a reçue. Il l’a lue.

Non indexé. Il a décidé de ne pas la garder dans son index.

Ce n’est donc pas un problème d’exploration, puisque l’exploration a parfaitement réussi. C’est un jugement de valeur sur ce qu’il a trouvé.

Et c’est là que le raisonnement de la plupart des gens déraille. Ils lisent non indexé, en concluent que le robot n’a pas pu faire son travail, et se mettent à chercher un obstacle technique qui n’existe pas.

Il n’y a aucun obstacle. Il y a un refus.

⚠ Le mot actuellement compte, d’ailleurs. La décision n’est pas définitive, elle se révise quand la page change vraiment.

Posez la question dans n’importe quel forum et vous obtiendrez la même réponse dans le tiers des cas. Est-ce que tu as un sitemap.

Cette réponse est presque toujours à côté.

Un sitemap sert à faire DÉCOUVRIR des adresses. C’est une liste, il dit voici mes pages. Il est utile quand un moteur ne trouve pas vos pages, typiquement parce que rien ne pointe vers elles.

Il ne sert pas à faire GARDER une page. Il ne contient aucun argument. Une page jugée sans intérêt reste jugée sans intérêt, qu’elle figure ou non dans une liste.

Il existe un cas, un seul, où ce conseil est excellent. Un gros site dont le sitemap est cassé depuis des années, avec des adresses fausses ou obsolètes. On le répare, le moteur repart explorer, tout s’améliore d’un coup.

Ce cas est réel, et c’est probablement pour ça que le conseil circule autant. Mais il concerne les sites de plusieurs milliers de pages avec une équipe technique, pas le vôtre.

Le contrôle prend 30 secondes et évite de traiter un faux problème.

# 1. Le sitemap repond-il, et combien d'adresses porte-t-il ?
curl -s https://votre-site.fr/sitemap.xml | grep -c "<loc>"

# 2. Le robots.txt bloque-t-il quelque chose sans le vouloir ?
curl -s https://votre-site.fr/robots.txt

# 3. Une page qui vous inquiete repond-elle bien 200 au robot de Google ?
curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
  https://votre-site.fr/la-page-qui-vous-inquiete/

Si le sitemap répond, que le robots.txt ne bloque rien, et que la page renvoie 200, votre problème n’est pas technique. Arrêtez de chercher de ce côté.

Une fois la piste technique écartée, il reste 2 causes, et elles sont moins agréables à entendre.

La première, la page n’apporte rien que 40 autres ne disent déjà. Un moteur qui indexe une page engage du stockage et du calcul. Il le fait quand la page ajoute quelque chose. Une fiche de plus sur un sujet traité mille fois n’ajoute rien.

La seconde, le site n’a pas assez d’autorité pour que ses pages soient gardées par défaut. Un site très reconnu voit ses pages indexées presque automatiquement. Un site jeune doit mériter chaque page. C’est injuste et c’est ainsi.

Cette seconde cause renvoie directement à la circulation de l’autorité par les liens, cf ce que vaut vraiment un lien.

La bonne question n’est donc pas comment forcer l’indexation. C’est qu’est-ce que cette page apporte que les autres n’apportent pas. Si vous n’avez pas de réponse, aucun réglage technique n’en fabriquera une.

Pour être juste, voici les cas où l’exploration mérite du travail. Ils existent.

Les combinaisons de filtres qui fabriquent des adresses à l’infini. Un catalogue avec 6 filtres qui se croisent produit des milliers d’adresses quasi identiques. Là, oui, il faut les empêcher d’être explorées.

Les archives profondes. Un site avec 15 ans de publications où les vieilles pages ne sont plus reliées à rien.

Un serveur lent. Un moteur ralentit son exploration quand le serveur peine. Ici la cause est la vitesse, pas le budget, et la corriger règle les 2.

Les très gros catalogues. À partir de plusieurs centaines de milliers de références, l’ordre d’exploration devient un vrai sujet d’architecture.

Si vous ne vous reconnaissez dans aucun de ces 4 cas, vous n’avez pas de problème de budget de crawl. Vous avez peut-être un problème de contenu, ou d’autorité, ou de vitesse. Ce sont 3 chantiers différents, et aucun ne se règle en retouchant un sitemap.

3 gestes, et le premier tranche.

1. Passez les 3 commandes plus haut. 5 minutes. Elles vous disent si votre problème est technique. Dans la grande majorité des cas, la réponse est non, et vous venez d’économiser un budget.

2. Prenez 5 pages non indexées et lisez-les en vous demandant ce qu’elles apportent. Pas ce qu’elles disent, ce qu’elles apportent que d’autres ne disent pas. Si vous séchez sur 4 sur 5, vous tenez votre réponse.

3. Vérifiez la profondeur, pas le budget. Une page importante à 5 clics de l’accueil est explorée rarement et jugée sévèrement. La remonter dans la navigation change davantage qu’une semaine de réglages d’exploration.

Une remarque pour finir, parce qu’elle vaut au-delà de ce sujet. Quand un diagnostic technique est plus confortable qu’un diagnostic éditorial, on choisit le technique. C’est humain, ça occupe, et ça ne règle rien. Le vrai travail est presque toujours dans ce que la page dit, cf notre prestation référencement.