Crawl Budget (Budget de Crawl) : Définition
Crawl Budget : nombre de pages crawlées par Google sur un site
Le Crawl Budget (Budget de Crawl) désigne le nombre de pages qu'un moteur de recherche comme Google explore (crawle) sur un site web durant une période donnée. Ce budget détermine la fréquence et le volume d'exploration des pages par les robots d'indexation. Optimiser son crawl budget permet d'assurer que les pages stratégiques sont régulièrement crawlées et indexées.
Qu’est-ce que le Crawl Budget et pourquoi est-ce important ?
Le Crawl Budget est une ressource limitée allouée par Google à chaque site web. Il dépend principalement de deux facteurs : la capacité de crawl (combien de requêtes le serveur peut supporter sans ralentir) et la demande de crawl (l'intérêt de Google pour votre contenu basé sur sa popularité et sa fraîcheur).
Pour les petits sites (moins de 1000 pages), le crawl budget n'est généralement pas un problème. En revanche, pour les sites e-commerce volumineux, les sites d'actualités ou les plateformes avec des milliers de pages, optimiser le crawl budget devient crucial pour s'assurer que les nouvelles pages et les pages stratégiques sont rapidement découvertes et indexées.
Un crawl budget mal optimisé peut entraîner des pages importantes non indexées, un délai d'indexation des nouveaux contenus, et un gaspillage de ressources serveur sur des pages de faible valeur (pages de pagination, filtres, doublons). L'objectif est de guider les robots vers vos pages à forte valeur ajoutée tout en bloquant l'accès aux pages inutiles via le fichier robots.txt et les balises meta robots.
Exemple concret
Un site e-commerce de 50 000 produits constate via la Search Console que Google crawle en moyenne 2 000 pages par jour. Problème : 60% des crawls concernent des pages de filtres et de pagination peu utiles, tandis que 500 nouvelles fiches produits ajoutées chaque semaine mettent 2 semaines à être indexées.
Solution mise en place : blocage des URL de filtres dans le robots.txt, ajout de balises canonical sur les paginations, suppression de 10 000 pages obsolètes. Résultat après 1 mois : le crawl budget se concentre désormais à 80% sur les fiches produits et catégories stratégiques, le délai d'indexation des nouveaux produits passe à 3 jours, et le trafic organique augmente de 25%.
Questions fréquentes
Consultez le rapport Statistiques sur l'exploration dans Google Search Console. Si vous constatez que Google crawle principalement des pages de faible valeur (filtres, tags, pagination) au détriment de vos pages stratégiques, ou si vos nouvelles pages mettent plusieurs semaines à être indexées malgré un sitemap XML à jour, vous avez probablement un problème d'optimisation du crawl budget.