Restreindre l'accès aux robots
Sommaire
Introduction
Les robots des moteurs de recherche (bots) sont des programmes qui effectuent des recherchent sur les sites web afin que les moteurs de recherche puissent les indexer et guider ceux qui recherchent un site à partir en utilisant un moteur de recherche. Cela est très important car c'est de cette manière que la plupart des internautes trouveront votre site sur le web. Ceci dit, les robots peuvent créer une charge excessive sur votre site. Il existe un moyen de minimiser la plupart des problèmes en empêchant de manière sélective l'accès des robots à la plupart de votre site. Le standard d'exclusion des robots utilisé par tous les moteurs de recherche vous permet de spécifier des parties de votre site que vous ne souhaitez pas voir indexées. Pour exclure des pages, créez un fichier que vous nommerez Trobots.txt. Cet article explique comment créer ce fichier.
Nom de fichier et format
Source
Les moteurs de recherche chercheront dans votre domaine racine la présence d'un fichier nommé "robots.txt". Ce fichier indique au robot (spider) quels sont les fichiers qu'il a le droit d'explorer (télécharger). Ce système est appelé le standard d'exclusion des robots.
Le format du fichier robots.txt est spécial. Il est constitué d'enregistrements. Chaque enregistrement est constitué de deux champs : une ligne User-agent et une ou plusieurs lignes Disallow:. Le format est le suivant:
<Field> ":" <value>
Le fichier robots.txt doit être créé dans le mode Unix ! La plupart des éditeurs de texte ont un mode Unix, sinon votre client FTP *devrait* effectuer la conversion à votre place. N'essayez pas d'utiliser un éditeur HTML qui ne dispose pas d'un mode texte pour créer votre fichier robots.txt.
User-agent
La ligne User-agent du fichier spécifie le robot. Par exemple:
User-agent: googlebot
Vous pouvez aussi utiliser le caractère astérisque "*" pour spécifier tous les robots:
User-agent: *
Vous pouvez trouver les noms des user-agents dans vos propres logs en y recherchant des requêtes de robots.txt. La plupart des moteurs de recherche ont des noms abrégés pour leurs espions.
Refuser
La deuxième partie d'un enregistrement est constituée de lignes de directives qui permettent de définir des interdictions. Ces lignes spécifient les fichiers et/ou répertoires dont vous voulez refuser l'accès aux moteurs de recherche. Par exemple, la ligne suivante indique aux moteurs de recherche qu'ils n'ont pas le droit de télécharger le fichier email.htm:
Disallow: email.htm
VOus pouvez également spécifier des répertoires:
Disallow: PhpGedView/media/
Ce qui indiquera aux moteurs de recherche qu'ils n'ont pas le droit d'explorer votre répertoire /media de PhpGedView.
Le standard précise que la directive Disallow: /toto interdit l'accès à /toto.html et /toto/index.html (à la fois le fichier toto et les fichiers qui se trouvent dans le répertoire toto ne seront pas indexés).
Si vous laissez la ligne Disallow vierge, cela signifie que TOIS les fichiers peuvent être rapatriés par les moteurs de reherche. Au moins une ligne disallow doit être présente pour chaque directive User-agent directive pour que ce soit correct. Un fichier Robots.txt complètement vide a le même effet que si ce fichier n'existait pas.
Espaces & commentaires
Toute ligne dans le fichier robots.txt qui commence par un # est considérée comme étant un commentaire. Le standard autorise les commentaires à la fin de chaque ligne de directive, ce qui n'est pas très esthétique:
Disallow: bob #commentaire
Quelques moteurs de recherche n'interprèteront pas la ligne ci-dessus correctement et à la place essaieront de ne pas explorer "bob#comment". La règle à respecter est de placer les commentaires sur des lignes séparées.
Un espace au début d'une ligne est permis, mais n'est pas recommandé.
Disallow: bob #commentaire
Exemples
Les exemples suivants autorisent tous les robots à visiter tous les fichiers parce que le caractère "*" fait référence à tous les robots.
User-agent: * Disallow:
Cette ligne refuse l'accès à tous les robots.
User-agent: * Disallow: /
Cette ligne interdit l'accès de tous les robots aux répertoires cgi-bin et images:
User-agent: * Disallow: /cgi-bin/ Disallow: /images/
Cette ligne interdit le robot Roverdog d'accéder à tous les fichiers sur le serveur:
User-agent: Roverdog Disallow: /
Cette ligne empêche googlebot d'accéder au fichier cheese.htm:
User-agent: googlebot Disallow: cheese.htm
Examples submitted by Users
Example 1
User-agent: * Disallow: /phpgedview/reportengine.php Disallow: /phpgedview/fanchart.php Disallow: /phpgedview/search.php Disallow: /phpgedview/login.php Disallow: /phpgedview/clippings.php Disallow: /phpgedview/sosabook.php Disallow: /phpgedview/timeline.php Disallow: /phpgedview/calendar.php Disallow: /phpgedview/images/
In this case PhpGedView was installed in the phpgedview directory. Place this file in your server root.
Example 2
Submitted By: pmarfell
The following shows *part* of the content of mine. As you can see it goes on to ban other bots completely. Use Google for more info that might be relevant to your situation:-
User-agent: * Disallow: /bin/ Disallow: /cgi-bin/ Disallow: /dev/ Disallow: /mypostnuke/ Disallow: /phpfunc/ Disallow: /phpGedView/reportengine.php Disallow: /phpGedView/fanchart.php Disallow: /phpGedView/search.php Disallow: /phpGedView/login.php Disallow: /phpGedView/clippings.php Disallow: /phpGedView/sosabook.php Disallow: /phpGedView/timeline.php Disallow: /phpGedView/calendar.php Disallow: /phpGedView/hourglass.php Disallow: /phpGedView/ancestry.php Disallow: /phpGedView/descendancy.php Disallow: /phpGedView/pedigree.php Disallow: /phpGedView/family.php Disallow: /phpGedView/relationship.php Disallow: /phpGedView/famlist.php Disallow: /phpGedView/patriarchlist.php Disallow: /phpGedView/repolist.php Disallow: /phpGedView/aliveinyear.php User-agent: URL_Spider_Pro Disallow: / User-agent: CherryPicker Disallow: /
Bad Bots
What do you do if a spider doesn't obey the exclusions you've carefully crafted in robots.txt? Easiest way to stop the spider in its tracks is to deny it access to your site by using .htaccess
For example the omni-explorer spider doesn't appear to obey Disallow: so deny it access by adding these lines to the .htaccess file in the phpGedView directory.
RewriteEngine On
RewriteBase /
RewriteCond %{REMOTE_ADDR} "^64\.127\.124\." [OR]
RewriteCond %{REMOTE_ADDR} "^65\.19\.150\."
RewriteRule .* - [F,L]
