Qu’est-ce que le crawl budget ?
Le crawl budget désigne les URL que Googlebot peut et veut explorer sur un site. Google le décrit comme la rencontre de deux facteurs : la capacité d’exploration, que le robot limite pour ne pas surcharger le serveur, et la demande d’exploration, qui dépend de l’intérêt des pages.
Google est explicite sur un point : ce guide s’adresse aux très gros sites et aux sites dont le contenu change très souvent. Un site de quelques centaines de pages, qui publie une nouvelle page le jour même où elle est explorée, n’a généralement pas à s’en préoccuper.
Comment fonctionne l’exploration ?
Googlebot accélère quand le serveur répond vite et sans erreur. Il ralentit en cas d’erreurs serveur ou de délais. La demande d’exploration augmente pour les pages populaires et régulièrement mises à jour, et baisse pour les URL jugées peu utiles ou en double.
Certaines structures dispersent l’exploration : paramètres d’URL infinis, filtres combinables, pages dupliquées, longues chaînes de redirections. Un sitemap propre et un maillage interne cohérent aident Google à trouver les pages qui comptent.
Qui doit s’en occuper ?
Les boutiques en ligne avec des milliers de fiches, les annuaires, les sites d’annonces ou les sites multilingues avec hreflang sur de nombreuses variantes ont intérêt à surveiller l’exploration. Le rapport Statistiques sur l’exploration de Search Console en donne une vue concrète.
Pour une PME locale, la priorité est ailleurs : des pages utiles, une indexation vérifiée, pas de doublons. Un nettoyage des anciennes URL avec des redirections 301 reste une bonne pratique d’hygiène, surtout après une refonte. C’est le type de chantier traité dans notre accompagnement SEO.
Erreurs fréquentes
Attribuer toute page non indexée à un manque de budget est l’erreur la plus répandue. Sur un petit site, la cause tient plus souvent à la qualité, au doublon ou à un lien interne manquant. Explorer une page ne garantit ni son indexation ni son classement.
Autre confusion : utiliser la balise noindex pour « économiser » du budget. Google doit explorer la page pour lire la balise. Pour empêcher l’exploration d’URL inutiles, c’est le fichier robots.txt qui convient, pas le noindex.