Préserver votre crawl budget à l’aide de votre fichier robots.txt

Le fichier Robots.txt a été inventé en 1994, à l’époque où le passage des robots de Google pouvait faire tomber un site internet pour surcharge d’activités sur le serveur. Il était alors nécessaire de limiter le passage des robots sur le site pour des raisons de capacité serveur.

Préserver votre crawl budget à l’aide de votre fichier robots.txt

Aujourd’hui, les capacités des serveurs ayant grandement augmentées, l’utilité de ce fichier est devenue tout autre. Google continue de crawler par défaut l’ensemble de votre site, dans le but d’indexer, ou non, les pages que ses robots considèrent comme utiles aux internautes au moment de leur recherche sur Google.fr.

Lire la suite sur open-linking.com

Un projet de communication web ?

On vous rappelle, devis gratuit et personnalisé