Le fichier robots.txt est un fichier placé à la racine du site qui permet de donner des instructions aux moteurs de recherche.

Exemple d’un fichier :

# Robots.txt venant de http://www.exhaustif.com/
User-agent: *
Disallow: /images/

 User-agent : * signifie que l’on s’adresse à tous les robots
 Disallow : /images/ leur demande de ne pas parcourir un répertoire spécifique

De nombreuses instructions sont disponibles (possibilités d’interdire ou diriger un moteur spécifiquement en particulier) mais les deux précédentes sont les plus utiles.

Retrouvez celui d’exhaustif ici

Mise en garde

Il est tentant de mettre /admin/ ou /ecrire/ dans ce fichier mais il est préférable de ne pas le faire. Il est beaucoup plus utile de protéger le répertoire en question avec un htaccess+htpasswd (voir ici). Simplement parce qu’ensuite c’est donner à un éventuel ’Hackeur’ directement où aller sur votre site pour chercher les informations non publiques.