Un fichier robots.txt optimisé pour WordPress
Le fichier robots.txt correspond à ceci “Le protocole d’exclusion des robots est une ressource de format texte qui peut être placée à la racine d’un site web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d’indexation des moteurs de recherche. Par convention, les robots consultent robots.txt avant d’indexer un site Web. Sur le serveur Web, cette ressource est fréquemment enregistrée dans un fichier texte appelé robots.txt.
Pour WordPress, il est essentielle d’empêcher le moteur de recherches d’accéder aux dossiers sensibles, comme wp-admin ou wp-include, qui ne devraient pas être indexés par mesure de sécurité. Pour cela voici un fichier robots.txt optimisé pour la plupart des sites tournant sous WordPress a inséré à la racine de votre site (dan sle dossier www pour ceux qui en ont un) :