robots txt

Fichier WordPress et vos robots

Les résultats que les internautes obtiennent lorsqu’ils écrivent des mots ou des phrases en rapport avec votre blog ou votre site Web sont l’un des moyens les meilleurs et les moins chers de gagner du trafic (si vous ne craignez pas de générer du trafic vers votre site, vous pouvez arrêter de lire maintenant).

Les nouveaux utilisateurs de WordPress et des sites Web en général peuvent ne pas être familiarisés avec la plupart des termes et outils utilisés par les professionnels pour créer et maintenir un site Web, en particulier en ce qui concerne le référencement et le classement des moteurs de recherche. *

Le référencement ou l’optimisation des moteurs de recherche peut sembler être de la magie vaudou pour les utilisateurs non initiés. Étant donné que personne d’autre que Google (ou n’importe quel moteur de recherche) ne sait exactement comment les recherches sont classées et calculées, le mieux que nous puissions faire est d’essayer de voir ce qui fonctionne le mieux.

Il n’y a pas de formule qui fonctionne toujours. Une approche pratique pour le webmaster non initié est ce qui est nécessaire. Un fichier robots.txt correctement configuré vous aidera et est facile à configurer une fois que vous savez quoi rechercher.

WordPress a par défaut un fichier robots.txt virtuel qui est créé automatiquement.

Cependant, ce fichier n’est pas configuré correctement (en termes de référencement). Habituellement, vous créez votre propre fichier robots.txt et le placez à la racine des fichiers de votre site qui composent votre site sur le serveur Web. Mais comme WordPress le fait automatiquement avec un fichier virtuel, nous devons d’abord désactiver cette fonctionnalité.

Lire Aussi...  Comment un blog peut-il commencer à être rentable pour votre entreprise ?

Téléchargez le plugin robots.txt (faites simplement une recherche Google pour kb-robotstxt pour wordpress) et activez-le. Dans le panneau de configuration des pièces jointes, nous pouvons ajouter ou supprimer les options et les lignes de code qui composent le fichier. Ce sont ces lignes qui contribueront à rendre notre site plus convivial pour les moteurs de recherche.

Les deux choses dont il faut se soucier dans le code (voir les exemples ci-dessous) sont assez simples :

1) Quelles parties de mon site je veux que les moteurs de recherche explorent

2) Quelles parties de mon site ne veulent pas que les moteurs de recherche explorent

En faisant glisser votre site avec ce qu’on appelle un « bot », les moteurs de recherche recherchent votre site en trouvant des liens et du contenu. Ces informations sont ensuite saisies dans sa grande base de données pour être traitées dans les files d’attente de recherche que vous voyez lorsque vous saisissez les termes que vous recherchez (par exemple: « comment faire les meilleurs cookies aux pépites de chocolat ») .

« User Agent » indique ce que le monde spécifique des moteurs de recherche reçoit des instructions (généralement laissez-le comme * pour afficher tous les moteurs de recherche).

Dans cet exemple, nous demandons à tous les moteurs de recherche de suivre tous les répertoires qu’ils peuvent trouver et de les indexer :

User-agent: *
Allow: /

Ici, nous disons à tous les moteurs de recherche de ne rien indexer (utile si vous voulez que votre site soit le plus privé possible et ne vous souciez pas de gagner du trafic) :

Lire Aussi...  12 conseils pour optimiser votre flux RSS WordPress (rapide et facile)

User-agent: *

Disallow: /

Voici un exemple de configuration d’un blog WordPress typique (en fonction des plugins et du contenu que vous possédez, il peut y avoir des changements, mais le concept reste le même) :

User-agent: *

Disallow:/ wp-admin

Disallow:/ wp-includes

Disallow: / wp-content

Disallow: / feed /

Disallow: / tag /

Disallow: / author /

Disallow: / comments /

Disallow: / archive /

L’objectif principal de cette configuration est de protéger les fichiers et dossiers principaux de l’administrateur ou de WordPress contre l’indexation accidentelle (cela peut être un problème de sécurité) et d’aider à réduire les chances que les moteurs de recherche obtiennent du contenu en double (ce qui peut endommager le classement de votre site et la recherche résultats).

Par exemple, vous pouvez avoir suffisamment de publications sur votre site pour avoir une ou plusieurs pages d’archives sur lesquelles les utilisateurs peuvent revenir et afficher les anciennes publications précédentes. Les moteurs de recherche peuvent afficher le message d’origine, puis le message de la page d’archives en tant que contenu en double. À long terme, cela peut nuire à vos résultats de recherche (Google considère cela comme une forme de fraude et vous punit pour cela).

* (Nous ne passerons pas en revue toutes les spécificités du référencement car il s’agit d’un article unique complètement différent)