Robots.txt : Google veut en faire un Standard officiel

Robots.txt est un fichier texte pour webmasters créé pour instruire les robots web (généralement les robots des moteurs de recherche) sur comment explorer les pages sur leur site Web. 

Robots.txt : Google veut en faire un Standard officiel

Le fichier robots.txt fait partie du Protocole d'Exclusion des Robots (REP = Robots Exclusion Protocol), un groupe de standards Web qui régulent la façon dont les robots crawlent le Web, accèdent et indexent le contenu, et servent ce contenu aux utilisateurs. Le REP comprend également des directives comme les meta robots, ainsi que des instructions de page, sous-domaine (ou sous-répertoire) ou à l'échelle du site sur la façon dont les moteurs de recherche devraient traiter les liens (tels que « follow » pour suivre ou « nofollow » pour ne pas suivre).

Lire la suite sur arobasenet.com

Un projet de communication web ?

On vous rappelle, devis gratuit et personnalisé