{"id":554,"date":"2021-04-06T18:06:00","date_gmt":"2021-04-06T18:06:00","guid":{"rendered":"https:\/\/doingenia.com\/insights\/?p=554"},"modified":"2026-05-12T07:45:38","modified_gmt":"2026-05-12T07:45:38","slug":"comment-optimiser-le-fichier-wordpress-robots-txt-pour-le-seo","status":"publish","type":"post","link":"https:\/\/doingenia.com\/insights\/comment-optimiser-le-fichier-wordpress-robots-txt-pour-le-seo\/","title":{"rendered":"Comment optimiser le fichier WordPress Robots.txt pour le SEO ?"},"content":{"rendered":"<blockquote>\n<p data-start=\"333\" data-end=\"362\"><strong data-start=\"333\" data-end=\"360\">Contexte de publication<\/strong><\/p>\n<p data-start=\"369\" data-end=\"769\">Cet article a \u00e9t\u00e9 r\u00e9dig\u00e9 dans un contexte o\u00f9 l\u2019optimisation technique des sites WordPress reposait sur des pratiques SEO traditionnelles, notamment l\u2019usage du fichier <code data-start=\"536\" data-end=\"548\">robots.txt<\/code> pour contr\u00f4ler l\u2019exploration des moteurs de recherche. \u00c0 l\u2019\u00e9poque, ce fichier servait de levier pour guider les crawlers et am\u00e9liorer la d\u00e9couvrabilit\u00e9 des pages tout en limitant l\u2019indexation des zones non pertinentes.<\/p>\n<p data-start=\"776\" data-end=\"1124\">Bien que les technologies d\u2019acc\u00e8s \u00e0 l\u2019information et les moteurs de r\u00e9ponse intelligents aient \u00e9volu\u00e9, les concepts pr\u00e9sent\u00e9s ici restent <strong data-start=\"914\" data-end=\"948\">des bases documentaires utiles<\/strong> pour comprendre comment les m\u00e9canismes de crawl et de structuration des bots ont historiquement contribu\u00e9 \u00e0 la visibilit\u00e9 des contenus et \u00e0 la performance technique des sites.<\/p>\n<\/blockquote>\n<p>Un site bien r\u00e9f\u00e9renc\u00e9, c\u2019est avant tout un site qui peut \u00eatre trouv\u00e9 et explor\u00e9 facilement par les robots des moteurs de recherche comme Google ou Yahoo : c\u2019est pourquoi <strong>le fichier Robots.txt joue un r\u00f4le essentiel<\/strong> pour le r\u00e9f\u00e9rencement naturel.<\/p>\n<p>Toutefois, ce fichier est parfois sous-estim\u00e9 par les propri\u00e9taires de sites web\u2026 Et pourtant, son optimisation est une op\u00e9ration simple et efficace pour optimiser les positions dans les pages de r\u00e9sultats des moteurs de recherche.<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<p>Notre agence SEO vous explique <strong>tout ce qu\u2019il faut savoir pour modifier le fichier robots.txt<\/strong> de votre site ou de votre blog sur WordPress.<\/p>\n<h2>Sommaire :<\/h2>\n<ul>\n<li><a href=\"#important\">Pourquoi le fichier robots.txt est important ?<\/a><\/li>\n<li><a href=\"#comment\">Comment cr\u00e9er un fichier robots.txt ?<\/a><\/li>\n<li><a href=\"#instructions\">Les instructions du fichier robots.txt<\/a><\/li>\n<li><strong><a href=\"#exemple\">Exemple de fichier robots.txt pour WordPress<\/a><\/strong><\/li>\n<li><a href=\"#tester\">Comment tester un fichier ?<\/a><\/li>\n<\/ul>\n<h2 id=\"Qu\u2019est-ce que le fichier Robots.txt ?\">Robots.txt : D\u00e9finition<\/h2>\n<p>Le fichier robots.txt est un fichier au format texte qui permet d&rsquo;indiquer aux robots des moteurs de recherche <strong>la mani\u00e8re d\u2019explorer et d\u2019indexer les pages du site web<\/strong>.<\/p>\n<p>On trouve ce fichier dans le r\u00e9pertoire racine du site.<\/p>\n<p>Le fichier robots.txt g\u00e9n\u00e9r\u00e9 par d\u00e9faut lorsqu\u2019on installe de nouveaux sites WordPress est le suivant :<\/p>\n<p><i><div class='et-box et-shadow'>\n\t\t\t\t\t<div class='et-box-content'><\/i>User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php<i><\/div><\/div><\/i><\/p>\n<p>Son fonctionnement est simple. Chaque ligne du fichier est une instruction permettant d\u2019<strong>autoriser<\/strong>\u00a0ou d\u2019<strong>interdire<\/strong>\u00a0l\u2019exploration par les robots des moteurs de recherche d\u2019URLs ou de r\u00e9pertoires sp\u00e9cifiques<\/p>\n<p>La r\u00e8gle \u00e9tant que si aucune instruction n\u2019interdit \u00e0 un robot de crawler une URL alors elle sera explor\u00e9e.<\/p>\n<p>D\u00e9tail important : <strong>Sp\u00e9cifier qu\u2019une URL ne doit pas \u00eatre crawler ne signifie pas qu\u2019elle sera d\u00e9sindex\u00e9e<\/strong>.<\/p>\n<p>Si vous souhaitez d\u00e9sindexer une page, utilisez alors l\u2019instruction noindex directement dans la page concern\u00e9e.<\/p>\n<div id=\"important\"><\/div>\n<h2 id=\"Pourquoi le fichier Robots.txt est-il si important ?\">Pourquoi le fichier Robots.txt est-il important ?<\/h2>\n<p>Lorsque googlebot scanne un site web <strong>il lui alloue un budget de crawl<\/strong>.<\/p>\n<p>Le budget de Crawl est en r\u00e9sum\u00e9 la limite maxi du nombre de pages que le moteur de recherche va explorer pour les indexer.<\/p>\n<p>Sans instruction sp\u00e9cifique, googlebot crawlera l\u2019int\u00e9gralit\u00e9 votre site internet y compris toutes les pages, les contenus et les r\u00e9pertoires qui ne sont pas destin\u00e9s \u00e0 \u00eatre index\u00e9s.<\/p>\n<p>En laissant les robots crawler du contenu non pertinent vous \u00ab\u00a0cramez \u00bb inutilement votre budget de crawl et <strong>les contenus importants peuvent ne pas \u00eatre explor\u00e9<\/strong>s par le moteur faute de budget.<\/p>\n<p>Pour WordPress par exemple les contenus non pertinents pour le crawl sont typiquement des pages d\u00e9di\u00e9es \u00e0 l\u2019administration, aux plugins, aux th\u00e8mes\u2026 En interdisant leur exploration dans le fichier Robots.txt, vous permettez aux robots de se focaliser sur <b>les pages qui ont une r\u00e9elle importance pour votre r\u00e9f\u00e9rencement naturel<\/b>.<\/p>\n<p>Autre \u00e9l\u00e9ment important lorsque vous interdisez aux robots de crawler certains contenus cela vous permet d\u2019\u00e9conomiser les ressources machines n\u00e9cessaires pour afficher ces contenus.<\/p>\n<p>Et cela peut avoir une incidence sur les performances d\u2019affichage du site web.<\/p>\n<div id=\"comment\"><\/div>\n<h2 id=\"Comment cr\u00e9er un fichier Robots.txt dans WordPress?\">Comment cr\u00e9er un fichier Robots.txt dans WordPress?<\/h2>\n<p>Il existe deux grandes m\u00e9thodes pour cr\u00e9er un fichier Robots.txt dans WordPress : libre \u00e0 vous d\u2019utiliser celle qui vous convient le mieux.<\/p>\n<h3 id=\"M\u00e9thode 1 : modifier le fichier Robots.txt manuellement\">M\u00e9thode 1 : modifier le fichier Robots.txt manuellement<\/h3>\n<p>Cette m\u00e9thode n\u00e9cessite quelques connaissances techniques de base, puisqu\u2019elle implique notamment l\u2019utilisation d\u2019un <b>client FTP<\/b>.<\/p>\n<p>\u00c0 l\u2019aide de ce dernier, connectez-vous \u00e0 l\u2019h\u00e9bergement de votre site WordPress et trouvez le fichier Robots.txt dans le r\u00e9pertoire racine.<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<p>Pour le modifier, utiliser un simple \u00e9diteur de texte type <b>Bloc-notes<\/b> ou <b>Notepad++<\/b>.<\/p>\n<p>Une fois les modifications effectu\u00e9es, uploadez \u00e0 nouveau le fichier dans le dossier racine de votre site web \u00e0 l\u2019aide du client FTP.<\/p>\n<h3 id=\"M\u00e9thode 2 : modifier le fichier Robots.txt \u00e0 l\u2019aide d\u2019un plugin\">M\u00e9thode 2 : modifier le fichier Robots.txt \u00e0 l\u2019aide d\u2019un plugin<\/h3>\n<p>Si vous souhaitez modifier votre fichier Robots.txt sans effectuer de manipulations techniques, le moyen le plus simple consiste \u00e0 utiliser un plugin comme <b>All in One SEO<\/b>, <b>Yoast<\/b> ou <b>RankMath<\/b>.<\/p>\n<p><a href=\"https:\/\/aioseo.com\" target=\"_blank\" rel=\"noopener\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-27409 size-full\" src=\"https:\/\/doingenia.com\/insights\/wp-content\/uploads\/2026\/02\/all-in-one-seo-plugin.jpg\" alt=\"Plugin WordPress - All In One SEO\" width=\"900\" height=\"495\" \/><\/a><\/p>\n<p>All In One SEO est une extension WordPress tr\u00e8s populaire, d\u00e9di\u00e9e au r\u00e9f\u00e9rencement, comporte notamment un <b>g\u00e9n\u00e9rateur de fichiers Robots.txt<\/b>. Cette fonctionnalit\u00e9 est d\u2019ailleurs pr\u00e9sente dans la version gratuite.<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<p>Depuis le panneau admin de WordPress, cliquez sur <b>All in One SEO &gt; Outils<\/b> pour \u00e9diter votre fichier en quelques clics. Mais, avant toute chose, pensez \u00e0 cocher la case permettant d\u2019autoriser la personnalisation de Robots.txt.<\/p>\n<p>Vous pouvez pr\u00e9visualiser le fichier : de base, ce dernier contient diff\u00e9rentes r\u00e8gles par d\u00e9faut, ajout\u00e9es automatiquement par WordPress.<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<p>Elles indiquent aux moteurs de recherche de ne pas explorer les contenus admin du blog WordPress. Mais autorisent aux robots l\u2019exploration de tout le reste des pages et du contenu.<\/p>\n<p>Pour ajouter vos propres r\u00e8gles personnalis\u00e9es et<span class=\"Apple-converted-space\">\u00a0<\/span>am\u00e9liorer votre r\u00e9f\u00e9rencement naturel, il vous suffit :<\/p>\n<ul>\n<li>d\u2019appuyer sur \u00ab\u00a0Ajouter une r\u00e8gle\u00a0\u00bb ;<\/li>\n<li>de renseigner un agent utilisateur, si n\u00e9cessaire ;<\/li>\n<li>de cocher la case Allow (\u00ab\u00a0autoriser\u00a0\u00bb) ou Disallow (\u00ab\u00a0interdire\u00a0\u00bb) ;<\/li>\n<li>d\u2019indiquer le nom du fichier ou du dossier que vous souhaitez autoriser ou interdire.<\/li>\n<\/ul>\n<p>Enfin, n\u2019oubliez pas de cliquer sur \u00ab\u00a0Enregistrer les modifications\u00a0\u00bb avant de quitter cet \u00e9cran.<\/p>\n<p>Notez toutefois que d\u2019autres extensions comme <b>Yoast<\/b> vous permettront d\u2019arriver aux m\u00eames r\u00e9sultats.<\/p>\n<p><a href=\"https:\/\/yoast.com\" target=\"_blank\" rel=\"noopener\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-27410 size-full\" src=\"https:\/\/doingenia.com\/insights\/wp-content\/uploads\/2026\/02\/yoast-seo-plugin.jpg\" alt=\"Plugin WordPress - Yoast SEO\" width=\"900\" height=\"128\" \/><\/a><\/p>\n<p>Ouvrez le menu <b>SEO &gt; Outils &gt; Editeurs de fichier<\/b> puis modifez directement le fichier robots.txt \u00e0 partir du backoffice WordPress.<\/p>\n<div id=\"instructions\"><\/div>\n<h2>Les instructions de base du fichier robots.txt<\/h2>\n<p><b>User-agent<\/b> : Cette instruction indique la liste des moteurs qui sont concern\u00e9s par vos directives d\u2019exploration. Si vous souhaitez vous adresser \u00e0 tous les moteurs de recherche, il faut suffit juste d\u2019ajouter le caract\u00e8re * \u00e0 la suite de l\u2019instruction user agent.<\/p>\n<p><b>Disallow<\/b> : Est comme son nom l\u2019indique, l\u2019instruction qui permet de bloquer le crawl d\u2019une page ou d\u2019un dossier. Le type de contenu est sp\u00e9cifi\u00e9 \u00e0 la suite de l\u2019instruction.<\/p>\n<p><b>Allow<\/b> : Est la consigne inverse. Elle autorise une exploration de page ou du contenu sp\u00e9cifi\u00e9.<\/p>\n<p><b>Sitemap<\/b>: Est l\u2019instruction qui permet de sp\u00e9cifier l\u2019emplacement d\u2019un ou de plusieurs sitemaps aux robots d\u2019indexation.<\/p>\n<p><b>A savoir<\/b><i> : Le <\/i><b>#\u00a0<\/b><i>indique la pr\u00e9sence d\u2019un commentaire<\/i><\/p>\n<h2>Quels sont les \u00e9l\u00e9ments importants \u00e0 ajouter \u00e0 un fichier robots.txt<\/h2>\n<p>La toute premi\u00e8re optimisation \u00e0 faire sur un site WordPress est d\u2019<strong>emp\u00eacher l\u2019exploration de la page de connexion<\/strong>. Les instructions pour le faire sont les suivantes :<\/p>\n<p><i><div class='et-box et-shadow'>\n\t\t\t\t\t<div class='et-box-content'><\/i>Disallow: \/wp-login.php<i><\/div><\/div><\/i><\/p>\n<p>Ensuite les instructions suivantes peuvent \u00eatre utiles<\/p>\n<h3>Les r\u00e9pertoires de WordPress \u00e0 ne pas indexer :<\/h3>\n<p>Les instruction ci-dessous permettront de <strong>bloquer l\u2019indexation du dossier wp-include<\/strong> mais \u00e9galement des <strong>r\u00e9pertoires contenant les plugins, les th\u00e8mes et les contenus cache<\/strong> utilis\u00e9s par WordPress.<\/p>\n<p><i><div class='et-box et-shadow'>\n\t\t\t\t\t<div class='et-box-content'><\/i>Disallow: \/wp-includes<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<p>Disallow: \/wp-content\/plugins<\/p>\n<p>Disallow: \/wp-content\/cache<\/p>\n<p>Disallow: \/wp-content\/themes<i><\/div><\/div><\/i><\/p>\n<h3>Liste des URLS<span class=\"Apple-converted-space\">\u00a0 <\/span>\u00e0 ne pas indexer<\/h3>\n<p>Pour <strong>\u00e9viter l\u2019indexation des flux RSS<\/strong> de votre blog, vous pouvez utiliser les instructions qui suivent :<\/p>\n<p><i><div class='et-box et-shadow'>\n\t\t\t\t\t<div class='et-box-content'><\/i>Disallow: *\/feed<\/p>\n<p>Disallow: *\/rss2<i><\/div><\/div><\/i><\/p>\n<p>Autres URLs qu\u2019<strong>il est utile de bloquer, <\/strong>concerne<strong> les ping et trackback<\/strong> ainsi que les commentaires<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<p><i><div class='et-box et-shadow'>\n\t\t\t\t\t<div class='et-box-content'><\/i>Disallow: *\/trackback<\/p>\n<p>Disallow: \/*\/comments<i><\/div><\/div><\/i><\/p>\n<h3>Bloquer les fichiers et URLs ind\u00e9sirables<\/h3>\n<p>Certains contenus sensibles ne doivent absolument pas remonter dans les moteurs de recherche. M\u00eame si Google, Bing et Yahoo ont tendance \u00e0 bien g\u00e9rer ce type d\u2019information en ne faisant pas appara\u00eetre dans la SERP ce type de contenus sensible, par s\u00e9curit\u00e9 <strong>il est fortement recommand\u00e9 de bloquer l\u2019indexation des fichiers qui suivent.<\/strong><\/p>\n<p>Bien que rarement utilis\u00e9 de nos jours, le dossier cgi-bin peut malgr\u00e9 tout exister sur certains serveurs. Historiquement ce r\u00e9pertoire \u00e9tait utilis\u00e9 pour que d\u00e9poser du code ex\u00e9cutable.<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<p><i><div class='et-box et-shadow'>\n\t\t\t\t\t<div class='et-box-content'><\/i>Disallow: \/cgi-bin<i><\/div><\/div><\/i><\/p>\n<p>Autre optimisation tr\u00e8s utile, <strong>bloquer l\u2019acc\u00e8s aux URLs qui contiennent un point d\u2019interrogation<\/strong> par exemple : (<span style=\"text-decoration: underline;\">http:\/\/www.mon-domaine.fr\/page.php?id=2<\/span>). Voici comment :<\/p>\n<p><i><div class='et-box et-shadow'>\n\t\t\t\t\t<div class='et-box-content'><\/i>Disallow: \/*?<i><\/div><\/div><\/i><\/p>\n<p>Parmi <strong>les URLs qu\u2019il est utile de bloquer<\/strong>, nous avons :<\/p>\n<ul>\n<li>Les urls se terminant par \u201c.php\u201d.<span class=\"Apple-converted-space\">\u00a0<\/span><\/li>\n<li>Les fichiers .inc qui ne sont pas des pages \u00e0 proprement parler, mais plut\u00f4t un fichier de code \u00e0 inclure.<\/li>\n<li>Les fichiers avec l\u2019extension .gz qui sont des fichiers compress\u00e9s.<\/li>\n<li>Les fichier .cgi ou Common Gateway Interface qui sont des fichiers de scripts pouvant \u00eatre ex\u00e9cut\u00e9s sous certaines conditions<\/li>\n<\/ul>\n<blockquote><p>Le caract\u00e8re \u201c<strong>$<\/strong>\u201d permet de pr\u00e9ciser par quoi doit se terminer l\u2019URL .<\/p><\/blockquote>\n<p>Ce qui nous donne le code suivant :<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<p><i><div class='et-box et-shadow'>\n\t\t\t\t\t<div class='et-box-content'><\/i>Disallow: \/*.php$<\/p>\n<p>Disallow: \/*.inc$<\/p>\n<p>Disallow: \/*.gz<\/p>\n<p>Disallow: \/*.cgi<i><\/div><\/div><\/i><\/p>\n<p>Enfin derni\u00e8re optimisation, <strong>pour ne pas \u00eatre p\u00e9nalis\u00e9 sur la recherche mobile<\/strong>, je vous recommande d\u2019<strong>autoriser explicitement l\u2019indexation des fichiers CSS et JS<\/strong><\/p>\n<p><i><div class='et-box et-shadow'>\n\t\t\t\t\t<div class='et-box-content'><\/i>Allow: \/<i>css?<\/i><\/p>\n<p>Allow: \/<i>js?<\/div><\/div><\/i><\/p>\n<div id=\"exemple\"><\/div>\n<h2>Exemple de fichier robots.txt complet pour WordPress<\/h2>\n<p>Si on r\u00e9capitule, voici <strong>le fichier robots.txt complet qu\u2019on obtient apr\u00e8s optimisation<\/strong> :<\/p>\n<p><i><div class='et-box et-shadow'>\n\t\t\t\t\t<div class='et-box-content'><\/i>User-agent: *<\/p>\n<p>Disallow: \/wp-admin\/<\/p>\n<p>Disallow: \/wp-login.php<\/p>\n<p>Disallow: \/cgi-bin<\/p>\n<p>Disallow: \/*?<\/p>\n<p>Disallow: *\/trackback<\/p>\n<p>Disallow: \/*\/comments<\/p>\n<p>Disallow: \/*.php$<\/p>\n<p>Disallow: \/*.inc$<\/p>\n<p>Disallow: \/*.gz<\/p>\n<p>Disallow: \/*.cgi<\/p>\n<p>Disallow: \/wp-includes<\/p>\n<p>Disallow: \/wp-content\/plugins<\/p>\n<p>Disallow: \/wp-content\/cache<\/p>\n<p>Disallow: \/wp-content\/themes<\/p>\n<p>Disallow: *\/feed<\/p>\n<p>Disallow: *\/rss2<\/p>\n<p>Allow: \/<i>css?<\/i><\/p>\n<p>Allow: \/<i>js?<\/div><\/div><\/i><\/p>\n<p>Si vous souhaitez renseigner vos sitemaps, ajoutez les ligne suivantes :<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<ul>\n<li>Sitemap: http:\/\/www.mon-site.com\/post-sitemap.xml<\/li>\n<li>Sitemap: http:\/\/www.mon-site.com\/page-sitemap.xml<\/li>\n<\/ul>\n<p>Personnellement nous pr\u00e9f\u00e9rons indiquer l\u2019emplacement des sitemaps d\u2019un site internet en passant directement par Google Search Console.<\/p>\n<div id=\"tester\"><\/div>\n<h2 id=\"Comment tester votre fichier Robots.txt ?\">Comment tester votre fichier Robots.txt ?<\/h2>\n<p>Une fois que vous aurez optimis\u00e9 votre fichier robots.txt, pensez \u00e0 le v\u00e9rifier.<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<p>Pour cela utilisez<span class=\"Apple-converted-space\">\u00a0 <\/span><a href=\"https:\/\/www.google.com\/webmasters\/tools\/robots-testing-tool\" target=\"_blank\" rel=\"noopener\">l\u2019outil de test du fichier robots.txt<\/a><span class=\"Apple-converted-space\">\u00a0 <\/span>de Google.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-27416\" src=\"https:\/\/doingenia.com\/insights\/wp-content\/uploads\/2026\/02\/outil-google-test-robots-txt.jpg\" alt=\"Outil de test de Google pour le fichier Robots.txt\" width=\"900\" height=\"409\" \/><\/p>\n<p>Pour l\u2019utiliser, vous devez au pr\u00e9alable associer votre site internet \u00e0 <b>Google Search Console<\/b>.<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<p>L\u2019outil vous indiquera les \u00e9ventuelles erreurs de syntaxe ou de logique et vous pourrez les corriger directement dans l\u2019\u00e9diteur de texte.<\/p>\n<p>Effectuez les modifications recommand\u00e9es jusqu\u2019\u00e0 ce qu\u2019il n\u2019y ait plus d\u2019erreurs<\/p>\n<p><strong>Attention l\u2019outil ne modifie pas le fichier en lui-m\u00eame mais juste une copie de votre fichier robots.txt.<span class=\"Apple-converted-space\">\u00a0<\/span><\/strong><\/p>\n<p>Si vous avez corrig\u00e9 des erreurs, copiez-collez le contenu corrig\u00e9 dans un nouveau fichier robots.txt sur votre ordinateur puis remplacer l\u2019actuel fichier en d\u00e9posant la nouvelle version par FTP.<span class=\"Apple-converted-space\">\u00a0<\/span><\/p>\n<p>Vous pouvez \u00e9galement effectuer directement les modifications en ligne comme Yoast (voir ci-dessus).<\/p>\n<p>Que vous souhaitiez le faire manuellement ou en utilisant un plugin d\u00e9di\u00e9, optimiser le fichier Robots.txt est une mani\u00e8re efficace d\u2019am\u00e9liorer l\u2019exploration de votre site par les moteurs de recherche. Mais ce levier reste une brique technique parmi d\u2019autres : c\u2019est la coh\u00e9rence globale entre technique, contenu et maillage qui permet r\u00e9ellement de gagner en visibilit\u00e9, notamment lorsqu\u2019elle est structur\u00e9e par une <a href=\"https:\/\/doingenia.com\/agence-seo\/\">agence SEO<\/a>.<\/p>\n<p>Cet article documente les bonnes pratiques historiques d\u2019optimisation du fichier <code data-start=\"2619\" data-end=\"2631\">robots.txt<\/code> dans un environnement WordPress pour contr\u00f4ler l\u2019exploration des moteurs de recherche. Il constitue une ressource documentaire sur la mani\u00e8re dont les crawlers \u00e9taient traditionnellement guid\u00e9s pour maximiser la visibilit\u00e9 des contenus cibl\u00e9s.<\/p>\n<h2 data-start=\"1307\" data-end=\"1383\">Mise en perspective : <code data-start=\"1333\" data-end=\"1345\">robots.txt<\/code>, exploration et mutations des moteurs<\/h2>\n<blockquote data-start=\"1385\" data-end=\"2209\">\n<p data-start=\"1387\" data-end=\"1881\">Depuis la publication initiale de cet article, les moteurs de recherche et les technologies d\u2019acc\u00e8s \u00e0 l\u2019information ont continu\u00e9 leur \u00e9volution, notamment avec l\u2019int\u00e9gration de syst\u00e8mes d\u2019interpr\u00e9tation plus s\u00e9mantiques et contextuels. Les fichiers <code data-start=\"1636\" data-end=\"1648\">robots.txt<\/code> conservent une fonction de contr\u00f4le d\u2019exploration, mais ils s\u2019inscrivent d\u00e9sormais dans un paysage o\u00f9 les signaux techniques coexistent avec des approches centr\u00e9es sur le <strong data-start=\"1820\" data-end=\"1828\">sens<\/strong>, l\u2019<strong data-start=\"1832\" data-end=\"1844\">autorit\u00e9<\/strong> et la <strong data-start=\"1851\" data-end=\"1878\">relation entre contenus<\/strong>.<\/p>\n<p data-start=\"1888\" data-end=\"2209\">Pour explorer comment les \u00e9volutions r\u00e9centes de l\u2019\u00e9cosyst\u00e8me search influencent la structuration des sites, l\u2019indexation et l\u2019autorit\u00e9 num\u00e9rique dans une \u00e8re domin\u00e9e par les moteurs de r\u00e9ponse intelligents, consultez nos autres <em data-start=\"2117\" data-end=\"2127\">Insights<\/em> qui approfondissent les mutations du r\u00e9f\u00e9rencement et de la visibilit\u00e9 num\u00e9rique.<\/p>\n<\/blockquote>\n","protected":false},"excerpt":{"rendered":"<p>D\u00e9couvrez comment optimiser le fichier robots.txt pour am\u00e9liorer le SEO et l&rsquo;indexation d&rsquo;un site WordPress.<\/p>\n","protected":false},"author":1,"featured_media":565,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_seopress_titles_title":"Robots.txt Wordpress optimis\u00e9 SEO - exemple et instructions","_seopress_titles_desc":"D\u00e9couvrez comment optimiser le fichier robots.txt pour am\u00e9liorer le SEO et l'indexation d'un site WordPress.","_seopress_robots_index":"","_seopress_robots_follow":"","_seopress_robots_imageindex":"","_seopress_robots_snippet":"","_seopress_robots_primary_cat":"none","_seopress_robots_breadcrumbs":"","_seopress_robots_freeze_modified_date":"","_seopress_robots_custom_modified_date":"","_seopress_robots_canonical":"","_seopress_social_fb_title":"Robots.txt Wordpress optimis\u00e9 SEO - exemple et instructions","_seopress_social_fb_desc":"D\u00e9couvrez comment optimiser le fichier robots.txt pour am\u00e9liorer le SEO et l'indexation d'un site WordPress.","_seopress_social_fb_img":"","_seopress_social_fb_img_attachment_id":0,"_seopress_social_fb_img_width":0,"_seopress_social_fb_img_height":0,"_seopress_social_twitter_title":"Robots.txt Wordpress optimis\u00e9 SEO - exemple et instructions","_seopress_social_twitter_desc":"D\u00e9couvrez comment optimiser le fichier robots.txt pour am\u00e9liorer le SEO et l'indexation d'un site WordPress.","_seopress_social_twitter_img":"","_seopress_social_twitter_img_attachment_id":0,"_seopress_social_twitter_img_width":0,"_seopress_social_twitter_img_height":0,"_seopress_redirections_value":"","_seopress_redirections_enabled":"","_seopress_redirections_enabled_regex":"","_seopress_redirections_logged_status":"both","_seopress_redirections_param":"","_seopress_redirections_type":301,"_seopress_analysis_target_kw":"","_seopress_news_disabled":"","_seopress_video_disabled":"","_seopress_video":[],"_seopress_pro_schemas_manual":[{"_seopress_pro_rich_snippets_type":"custom","_seopress_pro_rich_snippets_custom":"<script type=\"application\/ld+json\">\r\n{\r\n  \"@context\": \"https:\/\/schema.org\",\r\n  \"@graph\": [\r\n    {\r\n      \"@type\": \"Article\",\r\n      \"@id\": \"https:\/\/doingenia.com\/insights\/comment-optimiser-le-fichier-wordpress-robots-txt-pour-le-seo\/#article\",\r\n      \"headline\": \"Comment optimiser le fichier WordPress Robots.txt pour le SEO ?\",\r\n      \"description\": \"Guide complet pour optimiser le fichier robots.txt sur WordPress : d\u00e9finition, cr\u00e9ation manuelle ou via plugin, instructions de base, exemple de fichier optimis\u00e9 et m\u00e9thode de test avec Google Search Console.\",\r\n      \"image\": \"https:\/\/doingenia.com\/insights\/wp-content\/uploads\/2026\/02\/optimisation-seo-robot-txt.jpg\",\r\n      \"datePublished\": \"2021-04-06T08:00:00+02:00\",\r\n      \"dateModified\": \"2026-02-16T09:00:00+01:00\",\r\n      \"wordCount\": 1600,\r\n      \"inLanguage\": \"fr-FR\",\r\n      \"isAccessibleForFree\": true,\r\n      \"mainEntityOfPage\": {\r\n        \"@type\": \"WebPage\",\r\n        \"@id\": \"https:\/\/doingenia.com\/insights\/comment-optimiser-le-fichier-wordpress-robots-txt-pour-le-seo\/\"\r\n      },\r\n      \"author\": {\r\n        \"@type\": \"Person\",\r\n        \"@id\": \"https:\/\/doingenia.com\/#denis-degioanni\",\r\n        \"name\": \"Denis Degioanni\",\r\n        \"url\": \"https:\/\/doingenia.com\/le-cabinet\/\",\r\n        \"jobTitle\": \"Fondateur & Architecte d'Autorit\u00e9 Num\u00e9rique\",\r\n        \"worksFor\": {\r\n          \"@id\": \"https:\/\/doingenia.com\/#organization\"\r\n        }\r\n      },\r\n      \"publisher\": {\r\n        \"@id\": \"https:\/\/doingenia.com\/#organization\"\r\n      },\r\n      \"about\": [\r\n        {\r\n          \"@type\": \"Thing\",\r\n          \"name\": \"Fichier robots.txt\",\r\n          \"description\": \"Fichier texte situ\u00e9 \u00e0 la racine d'un site web qui indique aux robots des moteurs de recherche les pages et r\u00e9pertoires \u00e0 explorer ou \u00e0 ignorer\"\r\n        },\r\n        {\r\n          \"@type\": \"Thing\",\r\n          \"name\": \"Budget de crawl\",\r\n          \"description\": \"Nombre maximum de pages qu'un moteur de recherche va explorer sur un site web lors d'une session d'indexation\"\r\n        }\r\n      ],\r\n      \"keywords\": \"robots.txt, WordPress, SEO, fichier robots, budget de crawl, indexation, googlebot, r\u00e9f\u00e9rencement naturel, sitemap, crawl\",\r\n      \"articleSection\": \"Insights\",\r\n      \"speakable\": {\r\n        \"@type\": \"SpeakableSpecification\",\r\n        \"cssSelector\": [\r\n          \"h1\",\r\n          \"article > p:first-of-type\",\r\n          \"h2\"\r\n        ]\r\n      }\r\n    },\r\n    {\r\n      \"@type\": \"Organization\",\r\n      \"@id\": \"https:\/\/doingenia.com\/#organization\",\r\n      \"name\": \"Do Ingenia\",\r\n      \"url\": \"https:\/\/doingenia.com\",\r\n      \"logo\": {\r\n        \"@type\": \"ImageObject\",\r\n        \"url\": \"https:\/\/doingenia.com\/insights\/wp-content\/uploads\/2026\/02\/logo_2026.png\"\r\n      },\r\n      \"description\": \"Cabinet de conseil en autorit\u00e9 num\u00e9rique. Sp\u00e9cialistes GEO et visibilit\u00e9 IA pour les entreprises complexes.\",\r\n      \"address\": {\r\n        \"@type\": \"PostalAddress\",\r\n        \"streetAddress\": \"535 route des Lucioles, B3\",\r\n        \"addressLocality\": \"Valbonne\",\r\n        \"postalCode\": \"06560\",\r\n        \"addressCountry\": \"FR\"\r\n      },\r\n      \"email\": \"info@doingenia.fr\",\r\n      \"sameAs\": []\r\n    },\r\n    {\r\n      \"@type\": \"HowTo\",\r\n      \"@id\": \"https:\/\/doingenia.com\/insights\/comment-optimiser-le-fichier-wordpress-robots-txt-pour-le-seo\/#howto\",\r\n      \"name\": \"Comment optimiser le fichier robots.txt sur WordPress\",\r\n      \"description\": \"Guide \u00e9tape par \u00e9tape pour cr\u00e9er, optimiser et tester un fichier robots.txt sur WordPress afin d'am\u00e9liorer le r\u00e9f\u00e9rencement naturel.\",\r\n      \"totalTime\": \"PT15M\",\r\n      \"tool\": [\r\n        {\r\n          \"@type\": \"HowToTool\",\r\n          \"name\": \"Client FTP (FileZilla, Cyberduck)\"\r\n        },\r\n        {\r\n          \"@type\": \"HowToTool\",\r\n          \"name\": \"\u00c9diteur de texte (Notepad++, Bloc-notes)\"\r\n        },\r\n        {\r\n          \"@type\": \"HowToTool\",\r\n          \"name\": \"Plugin WordPress SEO (All in One SEO, Yoast, RankMath ou SEOPress)\"\r\n        },\r\n        {\r\n          \"@type\": \"HowToTool\",\r\n          \"name\": \"Google Search Console\"\r\n        }\r\n      ],\r\n      \"step\": [\r\n        {\r\n          \"@type\": \"HowToStep\",\r\n          \"position\": 1,\r\n          \"name\": \"Acc\u00e9der au fichier robots.txt\",\r\n          \"text\": \"Connectez-vous \u00e0 votre h\u00e9bergement via un client FTP et localisez le fichier robots.txt dans le r\u00e9pertoire racine de votre site WordPress. Alternativement, utilisez un plugin SEO comme All in One SEO (menu Outils) ou Yoast (SEO > Outils > \u00c9diteur de fichier) pour l'\u00e9diter directement depuis le backoffice.\"\r\n        },\r\n        {\r\n          \"@type\": \"HowToStep\",\r\n          \"position\": 2,\r\n          \"name\": \"Bloquer les r\u00e9pertoires d'administration WordPress\",\r\n          \"text\": \"Ajoutez les instructions Disallow pour emp\u00eacher le crawl de \/wp-admin\/, \/wp-login.php, \/wp-includes, \/wp-content\/plugins, \/wp-content\/cache et \/wp-content\/themes. Cela pr\u00e9serve votre budget de crawl pour les pages importantes.\"\r\n        },\r\n        {\r\n          \"@type\": \"HowToStep\",\r\n          \"position\": 3,\r\n          \"name\": \"Bloquer les URLs non pertinentes\",\r\n          \"text\": \"Interdisez l'exploration des flux RSS (*\/feed, *\/rss2), des trackbacks (*\/trackback), des commentaires (\/*\/comments), et des URLs avec param\u00e8tres (\/*?). Bloquez \u00e9galement les fichiers techniques : \/*.php$, \/*.inc$, \/*.gz, \/*.cgi et \/cgi-bin.\"\r\n        },\r\n        {\r\n          \"@type\": \"HowToStep\",\r\n          \"position\": 4,\r\n          \"name\": \"Autoriser les fichiers CSS et JS\",\r\n          \"text\": \"Ajoutez les instructions Allow: \/*css?* et Allow: \/*js?* pour autoriser explicitement l'indexation des fichiers CSS et JavaScript, ce qui \u00e9vite d'\u00eatre p\u00e9nalis\u00e9 sur la recherche mobile.\"\r\n        },\r\n        {\r\n          \"@type\": \"HowToStep\",\r\n          \"position\": 5,\r\n          \"name\": \"Ajouter les sitemaps (optionnel)\",\r\n          \"text\": \"Ajoutez les lignes Sitemap: avec les URLs de vos fichiers sitemap XML (post-sitemap.xml, page-sitemap.xml). Alternativement, d\u00e9clarez vos sitemaps directement via Google Search Console.\"\r\n        },\r\n        {\r\n          \"@type\": \"HowToStep\",\r\n          \"position\": 6,\r\n          \"name\": \"Tester le fichier robots.txt\",\r\n          \"text\": \"Utilisez l'outil de test du fichier robots.txt de Google (accessible via Google Search Console) pour v\u00e9rifier la syntaxe et la logique de vos instructions. Corrigez les erreurs d\u00e9tect\u00e9es, puis uploadez la version corrig\u00e9e via FTP ou via votre plugin SEO.\"\r\n        }\r\n      ]\r\n    },\r\n    {\r\n      \"@type\": \"FAQPage\",\r\n      \"@id\": \"https:\/\/doingenia.com\/insights\/comment-optimiser-le-fichier-wordpress-robots-txt-pour-le-seo\/#faq\",\r\n      \"mainEntity\": [\r\n        {\r\n          \"@type\": \"Question\",\r\n          \"name\": \"Qu'est-ce que le fichier robots.txt dans WordPress ?\",\r\n          \"acceptedAnswer\": {\r\n            \"@type\": \"Answer\",\r\n            \"text\": \"Le fichier robots.txt est un fichier texte situ\u00e9 \u00e0 la racine d'un site WordPress qui indique aux robots des moteurs de recherche (Googlebot, Bingbot, etc.) quelles pages et r\u00e9pertoires ils peuvent explorer ou doivent ignorer. Par d\u00e9faut, WordPress g\u00e9n\u00e8re un fichier minimal qui bloque uniquement \/wp-admin\/.\"\r\n          }\r\n        },\r\n        {\r\n          \"@type\": \"Question\",\r\n          \"name\": \"Pourquoi optimiser le fichier robots.txt est important pour le SEO ?\",\r\n          \"acceptedAnswer\": {\r\n            \"@type\": \"Answer\",\r\n            \"text\": \"Chaque moteur de recherche alloue un budget de crawl limit\u00e9 \u00e0 chaque site. Sans optimisation du robots.txt, les robots gaspillent ce budget en explorant des pages non pertinentes (administration, plugins, th\u00e8mes, cache). En bloquant ces contenus, vous permettez aux robots de se concentrer sur les pages importantes pour votre r\u00e9f\u00e9rencement et vous \u00e9conomisez les ressources serveur.\"\r\n          }\r\n        },\r\n        {\r\n          \"@type\": \"Question\",\r\n          \"name\": \"Bloquer une URL dans robots.txt la d\u00e9sindexe-t-elle ?\",\r\n          \"acceptedAnswer\": {\r\n            \"@type\": \"Answer\",\r\n            \"text\": \"Non. Sp\u00e9cifier qu'une URL ne doit pas \u00eatre crawl\u00e9e dans le robots.txt ne signifie pas qu'elle sera d\u00e9sindex\u00e9e. Pour d\u00e9sindexer une page, il faut utiliser l'instruction noindex directement dans la page concern\u00e9e via une balise meta robots.\"\r\n          }\r\n        },\r\n        {\r\n          \"@type\": \"Question\",\r\n          \"name\": \"Comment modifier le fichier robots.txt sans connaissances techniques ?\",\r\n          \"acceptedAnswer\": {\r\n            \"@type\": \"Answer\",\r\n            \"text\": \"Le moyen le plus simple est d'utiliser un plugin SEO WordPress comme All in One SEO, Yoast, RankMath ou SEOPress. Ces plugins proposent un \u00e9diteur int\u00e9gr\u00e9 accessible depuis le backoffice WordPress qui permet de modifier le fichier robots.txt en quelques clics, sans manipulations FTP.\"\r\n          }\r\n        }\r\n      ]\r\n    },\r\n    {\r\n      \"@type\": \"BreadcrumbList\",\r\n      \"itemListElement\": [\r\n        {\r\n          \"@type\": \"ListItem\",\r\n          \"position\": 1,\r\n          \"name\": \"Accueil\",\r\n          \"item\": \"https:\/\/doingenia.com\/\"\r\n        },\r\n        {\r\n          \"@type\": \"ListItem\",\r\n          \"position\": 2,\r\n          \"name\": \"Insights\",\r\n          \"item\": \"https:\/\/doingenia.com\/insights\/\"\r\n        },\r\n        {\r\n          \"@type\": \"ListItem\",\r\n          \"position\": 3,\r\n          \"name\": \"Comment optimiser le fichier WordPress Robots.txt pour le SEO\",\r\n          \"item\": \"https:\/\/doingenia.com\/insights\/comment-optimiser-le-fichier-wordpress-robots-txt-pour-le-seo\/\"\r\n        }\r\n      ]\r\n    }\r\n  ]\r\n}\r\n<\/script>"}],"_seopress_pro_rich_snippets_disable_all":"","_seopress_pro_rich_snippets_disable":[],"_seopress_pro_schemas":[],"_et_pb_use_builder":"off","_et_pb_old_content":"","_et_gb_content_width":"","footnotes":""},"categories":[13],"tags":[],"class_list":["post-554","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-optimisation-seo"],"_links":{"self":[{"href":"https:\/\/doingenia.com\/insights\/wp-json\/wp\/v2\/posts\/554","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/doingenia.com\/insights\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/doingenia.com\/insights\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/doingenia.com\/insights\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/doingenia.com\/insights\/wp-json\/wp\/v2\/comments?post=554"}],"version-history":[{"count":12,"href":"https:\/\/doingenia.com\/insights\/wp-json\/wp\/v2\/posts\/554\/revisions"}],"predecessor-version":[{"id":1679,"href":"https:\/\/doingenia.com\/insights\/wp-json\/wp\/v2\/posts\/554\/revisions\/1679"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/doingenia.com\/insights\/wp-json\/wp\/v2\/media\/565"}],"wp:attachment":[{"href":"https:\/\/doingenia.com\/insights\/wp-json\/wp\/v2\/media?parent=554"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/doingenia.com\/insights\/wp-json\/wp\/v2\/categories?post=554"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/doingenia.com\/insights\/wp-json\/wp\/v2\/tags?post=554"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}