Un site bien référencé, c’est avant tout un site qui peut être trouvé et exploré facilement par les robots des moteurs de recherche comme Google ou Yahoo : c’est pourquoi le fichier Robots.txt joue un rôle essentiel pour le SEO.

Toutefois, ce fichier est parfois sous-estimé par les propriétaires de sites web… Et pourtant, son optimisation est une opération simple et efficace qui ne devrait en aucun cas être négligée. Voici tout ce qu’il faut savoir pour modifier votre fichier Robots.txt sur le CMS WordPress.

Découvrez d’autres optimisations SEO simples à réaliser

 

Qu’est-ce que le fichier Robots.txt ?

Robots.txt est un fichier texte qui permet d’indiquer aux robots des moteurs de recherche comment explorer et indexer les pages d’un site web. Il est se situe généralement dans le répertoire racine, également appelé dossier principal, de votre site internet.

De manière générale, le format de base d’un fichier robots.txt est le suivant :

1 User-agent: [nom de l’agent utilisateur]

2 Disallow: [URL qui ne doit pas être indexée]

3

4 User-agent: [nom de l’agent utilisateur]

5 Allow: [URL qui doit être indexée]

6

7

8 Sitemap: [URL de votre sitemap XML]

Il contient plusieurs lignes d’instructions permettant d’autoriser ou d’interdire des URL spécifiques, mais aussi d’ajouter des sitemaps. Si vous n’interdisez pas une URL, les robots des moteurs de recherche partiront du principe qu’ils sont autorisés à l’explorer.

Plus concrètement, voici à quoi pourrait ressembler, dans WordPress, votre fichier Robots.txt :

1 User-Agent: *

2 Allow: /wp-content/uploads/

3 Disallow: /wp-content/plugins/

4 Disallow: /wp-admin/

5

6 Sitemap: https://mon-site.com/sitemap_index.xml

Ici, les robots sont autorisés à indexer les fichiers situés dans le dossier de téléchargement (« uploads »), mais ils ne peuvent pas explorer les dossiers dédiés aux extensions (« plugins ») et à l’administration (« admin »). L’URL du sitemap XML est également fournie.

 

Pourquoi le fichier Robots.txt est-il si important ?

Tout d’abord, sachez que si vous ne possédez pas de fichier Robots.txt, les Google bots continueront malgré tout à crawler votre site internet. Cependant, vous ne pourrez pas leur indiquer quelles pages ou quels dossiers ils ne doivent pas explorer. Si vous possédez un petit site avec peu de contenu, l’impact sera donc minime.

Toutefois, plus un site grandit et gagne en fréquentation, plus il est important de contrôler ce qui doit être vu ou non par les internautes. Qui plus est, les robots des moteurs de recherche n’explorent pas l’intégralité de vos pages au cours d’une seule session d’analyse.

Pour optimiser votre indexation, vous avez donc tout intérêt à leur interdire d’explorer certains contenus inutiles. Sur WordPress, il s’agit typiquement des pages dédiées à l’administration, aux plugins, aux thèmes… En interdisant leur exploration dans le fichier Robots.txt, vous permettez aux robots de se focaliser sur les pages qui ont une réelle importance pour votre référencement naturel.

En savoir plus : Index Google : Contrôler et corriger l’indexation de son site

 

Comment créer un fichier Robots.txt dans WordPress?

Il existe deux grandes méthodes pour créer un fichier Robots.txt dans WordPress : libre à vous d’utiliser celle qui vous convient le mieux.

 

Méthode 1 : modifier le fichier Robots.txt manuellement

Cette méthode nécessite quelques connaissances techniques de base, puisqu’elle implique notamment l’utilisation d’un client FTP.

À l’aide de ce dernier, connectez-vous à l’hébergement de votre site WordPress et trouvez le fichier Robots.txt dans le répertoire racine. Pour le modifier, il vous suffit de le télécharger sur votre ordinateur et de l’éditer à l’aide d’une application comme Bloc-notes ou Notepad++.

Une fois les modifications effectuées, uploadez à nouveau le fichier dans le dossier racine de votre site à l’aide du client FTP.

 

Méthode 2 : modifier le fichier Robots.txt à l’aide d’un plugin

Si vous souhaitez modifier votre fichier Robots.txt sans effectuer de manipulations techniques, le moyen le plus simple consiste à utiliser un plugin comme All in One SEO.

Plugin WordPress - All In One SEO

 

Cette extension WordPress très populaire, dédiée au référencement, comporte notamment un générateur de fichiers Robots.txt. Cette fonctionnalité est d’ailleurs présente dans la version gratuite du plugin ! Notez toutefois que d’autres extensions comme Yoast SEO vous permettront d’arriver au même résultat.

Plugin WordPress - Yoast SEO

 

Depuis le panneau d’administration de WordPress, cliquez sur All in One SEO > Outils pour éditer votre fichier en quelques clics. Mais, avant toute chose, pensez à cocher la case permettant d’autoriser la personnalisation de Robots.txt.

Vous pouvez à présent prévisualiser votre fichier : de base, ce dernier contient différentes règles par défaut, ajoutées automatiquement par WordPress. Elles indiquent aux moteurs de recherche de ne pas explorer vos fichiers WordPress principaux, permettent aux robots d’indexer tout le contenu et leur fournissent un lien vers le sitemap XML de votre site.

Pour ajouter vos propres règles personnalisées et améliorer votre référencement naturel , il vous suffit :

  • d’appuyer sur « Ajouter une règle » ;
  • de renseigner un agent utilisateur, si nécessaire ;
  • de cocher la case Allow (« autoriser ») ou Disallow (« interdire ») ;
  • d’indiquer le nom du fichier ou du répertoire que vous souhaitez autoriser ou interdire.

 

Enfin, n’oubliez pas de cliquer sur « Enregistrer les modifications » avant de quitter cet écran.

À quoi ressemble un fichier Robots.txt idéal ?

Pour un site WordPress, il est recommandé d’appliquer les règles suivantes dans le fichier Robots.txt :

 

1 User-Agent: *

2 Allow: /wp-content/uploads/

3 Disallow: /wp-content/plugins/

4 Disallow: /wp-admin/

5 Disallow: /readme.html

6 Disallow: /refer/

7

8 Sitemap: http://www.mon-site.com/post-sitemap.xml

9 Sitemap: http://www.mon-site.com/page-sitemap.xml

Cette configuration permet d’ordonner aux robots des moteurs de recherche d’indexer toutes les images et tous les fichiers WordPress. Toutefois, ils ne peuvent pas explorer les fichiers des plugins WordPress, la zone d’administration, le fichier Readme, mais aussi les liens d’affiliation.

Quant à l’ajout des sitemaps dans le fichier Robots.txt, il aide les robots Google à trouver toutes les pages de votre site : un bon point pour votre SEO.

En savoir plus sur les optimisations WordPress

 

Comment tester votre fichier Robots.txt ?

Une fois que vous avez créé votre fichier Robots.txt, il peut être judicieux de le tester à l’aide d’un programme spécifique. Le plus connu d’entre eux est sans doute l’outil de test de la Google Search Console.

Outil de test de Google pour le fichier Robots.txt

Pour l’utiliser, vous devez dans un premier temps associer votre site à la Search Console de Google. Ceci fait, vous pourrez faire défiler facilement le code de votre fichier Robots.txt afin de détecter les éventuelles erreurs de syntaxe ou de logique.

Si l’outil de test affiche « 0 erreur » et « 0 avertissement », cela signifie que votre fichier est prêt à l’usage. Sinon, effectuez les modifications recommandées jusqu’à ce qu’il n’y ait plus d’erreurs, puis copiez-collez le fichier corrigé sur votre site WordPress.

 

Que vous souhaitiez le faire manuellement ou en utilisant un plugin dédié, optimiser le fichier Robots.txt est une manière efficace de booster le référencement de votre site, en le rendant plus facile à explorer par les robots des moteurs de recherche. Vous avez maintenant toutes les cartes en main pour modifier ce fichier et augmenter rapidement vos performances SEO.