Les petites subtilités du fichier robots.txt qui peuvent faire mal

Le fichier robots.txt utile dans bien des cas, pour éviter des fuites de crawl (et contrôler au mieux la façon dont le fougueux Googlebot visites vos URL) a des subtilités. Après avoir corrigé plusieurs erreurs sur le fichier d'un client, je me suis dit qu'un petit article sur le sujet serait pertinent. On va faire bref et concis.

Les petites subtilités du fichier robots.txt qui peuvent faire mal

La directive User-agent

La directive User-agent permet de définir de façon spécifique des règles d'accès (ex: Allow, Disallow) en fonction des crawlers. Google est le moteur qui respecte le mieux le standard vis a vis de cette directive, à la différence de Bing.

Lire la suite sur yapasdequoi.com

Un projet de communication web ?

On vous rappelle, devis gratuit et personnalisé