Contrôler le crawl et l’indexation : le guide SEO des robots.txt et balises

Optimiser son budget de crawl et empêcher les robots d’indexer certaines pages sont des concepts familiers pour de nombreux SEOs. Mais le diable est dans les détails ! Surtout que les bonnes pratiques ont significativement changé au cours des dernières années. Un petit changement dans un fichier robots.txt ou sur des balises de robots peut avoir un impact dramatique sur votre site web.

Pour s’assurer que cet impact sera toujours positif, nous allons aujourd’hui nous intéresser à ces différents facteurs : Optimiser le budget de crawl Le robot d’un moteur de recherche dispose d’une “allocation” pour un certain nombre de pages qu’il peut et veut crawler sur votre site. Cela s’appelle le “budget de crawl”. Vous pouvez trouver votre budget de crawl dans le rapport “Crawl Stats” de la Google Search Console (GSC). Cependant, la Google Search Console est un agrégat de 12 robots qui ne sont pas tous dédiés au SEO.

Lire la suite sur oncrawl.com

Un projet de communication web ?

On vous rappelle, devis gratuit et personnalisé