Référencement naturelFichier Robots
Utilisation du fichier Robots.txt
A quoi sert le fichier "Robots.txt"?
Déposez un fichier nommé "robots.txt" a la racine de votre site. Celui-ci sera lu par la plupart des moteurs.Ce fichier est un standard donnant des indications au robot d'indexation du moteur sur ce qu'il peut faire et ce qu'il ne doit pas faire sur le site. Dès que le robot d'un moteur arrive sur un site, il va rechercher le document présent à l'adresse http://www.easy-micro.org/robots.txt avant d'effectuer la moindre "aspiration de document".
Structure du fichier
Il ne peut exister qu'un seul fichier robots.txt sur un site et doit toujours être créé en minuscules.
User-agent: *
Disallow: /cgi-bin/
Disallow: /perso/
Disallow: /entravaux/ Disallow: /abonnes/prix.html
Dans cet exemple :
User-agent: * signifie que l'accès est accordé à tous les agents (tous les spiders), quels qu'ils soient. Le robot n'ira pas explorer les répertoires /cgi-bin/, /perso/ et /entravaux/ du serveur ni le fichier /abonnes/prix.html.
Disallow: /perso
ne permettra l'indexation ni de http://www.monsite.com/perso/index.html, ni de http://www.monsite.com/perso.html
Disallow: /perso/
n'indexera pas http://www.monsite.com/perso/index.html, mais ne s'appliquera pas à l'adresse http://www.monsite.com/perso.html
Pour analyser votre fichier Robots.txt:
Yooda.com
