Exhaustif.com
Contact Combattre la pyrale du buis
Exhaustif.com
Le fichier robots.txt
Date de publication : mercredi 23 février 2005, dernière modification le : mercredi 6 septembre 2006.

A quoi il sert, comment l’utiliser

  Le fichier robots.txt

Le fichier robots.txt est un fichier placé à la racine du site qui permet de donner des instructions aux moteurs de recherche.

Exemple d’un fichier :

# Robots.txt venant de http://www.exhaustif.com/
User-agent: *
Disallow: /images/

- User-agent : * signifie que l’on s’adresse à tous les robots
- Disallow : /images/ leur demande de ne pas parcourir un répertoire spécifique

De nombreuses instructions sont disponibles (possibilités d’interdire ou diriger un moteur spécifiquement en particulier) mais les deux précédentes sont les plus utiles.

Retrouvez celui d’exhaustif ici

Mise en garde

Il est tentant de mettre /admin/ ou /ecrire/ dans ce fichier mais il est préférable de ne pas le faire. Il est beaucoup plus utile de protéger le répertoire en question avec un htaccess+htpasswd (voir ici). Simplement parce qu’ensuite c’est donner à un éventuel ’Hackeur’ directement où aller sur votre site pour chercher les informations non publiques.

 


Actualités liées

16/03 Skype sous linux version 2.0 Skype sous linux version 2.0
16/01 1 000 000 de .Fr 1 000 000 de .Fr
21/11 Le meilleur d’Ebay Le "meilleur" d’Ebay
7/11 2 dossiers à découvrir 2 dossiers à découvrir
16/08 La carte du monde du spam La carte du monde du spam
Chroniques liées

août 2007 Bien référencer son site web Bien référencer son site web
août 2007 Les annuaires d’annuaires Les annuaires d’annuaires
février 2007 L’icône dans les favoris L’icône dans les favoris
septembre 2006 Liens pour ajout dans les moteurs Liens pour ajout dans les moteurs
septembre 2006 Le fichier robots.txt Le fichier robots.txt