Être présent en première page de Google est souvent l’ambition de nombreuses entreprises. Dès lors que l’on met en ligne un site Internet et qu’il n’est pas paramétré spécifiquement pour ne pas être référencé par les moteurs de recherche ; les pages vont progressivement être indexées.

Cela dit les moteurs de recherche parcourent tous les recoins d’un site Internet et il n’est pas rare que l’on retrouve dans l’index Google des éléments (pages, images, documents …) auxquels l’entreprise n’avait pas pensé et qu’elle ne souhaite pas voir remonter dans les pages de recherche.

De plus l’indexation ne se produit pas en temps réel et il se peut qu’il y ait des décalages entre l’état de votre site et l’index Google, surtout si vous avez procédez à des modifications ou à une refonte de votre site. Ceci peut entre autres provoquer des messages d’erreur ou aiguiller vos visiteurs vers une mauvaise information.

Il est donc utile et nécessaire de parcourir régulièrement l’index Google ne serait-ce que pour vérifier si l’état de l’indexation reflète l’existant.

Vérifier les pages présentes dans l’index Google

Pour connaître les pages de votre site Internet indexées dans un moteur de recherche (Google, Yahoo, Bing …), il suffit de taper dans votre navigateur, l’instruction suivante :

site:votre-nom-de-domaione.com

l’index « Mobile First » de Google

Il est à noter que Google est en train d’opérer un virage très important concernant son Index. En effet il faut savoir que l’index Google est unique et identique pour un même site. Il n’y a donc pas une version desktop pour les recherches effectuées sur les ordinateurs de bureau et une version mobile pour les recherches effectuées sur smartphone.

Or cette version unique de l’index google était jusqu’a il n’y a pas longtemps, générée à partir de la version ordinateur du site Internet.

Index google mobile first : la priorité donnée au mobile

Été 2016, Gary Illyes « l’Analyste Google des tendances Web » commençait à évoquer l’importance de la version mobile pour la construction de l’index sans que l’on sache réellement les implications liées.

Ce que l’ont à appris depuis c’est que pour construire son index, Google va maintenant donner la priorité à la version mobile des pages d’un site Internet. Et ce changement dans la construction de l’index Google porte un nom : l’index mobile first.

C’est pourquoi en 2017, pour obtenir un bon référencement dans les moteurs de recherche, il est primordial de disposer d’un site Internet adapté pour le mobile.

Les vérifications de base de l’index Google

Connaitre l’index de Google va vous permettre notamment :

  • d’identifier les sources d’erreur 404. En effet si certaines pages, les médias (images, vidéos, fichiers …) qui demeurent présent dans l’index Google, mais qui sont absents de votre site Internet et donc susceptible des générer des erreurs 404
  • d’identifier les modifications non prises en comptes. Vous avez par exemple déplacé un ensemble de fichiers dans un nouveau répertoire et l’index Google continue de faire pointer ces pages indexées sur l’ancien répertoire. Situation à identifier et à corriger le plus rapidement possible, car le risque encouru est de perdre tout le trafic organique généré par ces pages déplacées. La remarque vaut également pour les répertoires renommés ou les permaliens qui ont été modifiés.
  • De vérifier que toutes les données de votre site internet sont bien prises en comptes par Google. Ceci est particulièrement vrai maintenant avec Mobile First. En effet il se peut que votre site n’affiche pas toutes les informations sur la version mobile de vos pages (pages simplifiées, navigation différente, simplification ou absences des données structurées, balises « canonical » absentes … Si c’est le cas, Google mobile first n’en tiendras pas compte lorsqu’il construira son index et votre visibilité sera tronquée.

Les actions mettre en place pour corriger l’index Google

Désindexer les pages dans Google Search Console

L’index Google contient des pages qui n’existent plus sur votre site Internet ou que vous ne souhaitez pas indexer. Dans ce cas il est possible de procéder à une désindexation de ces pages :

Si vous n’avez que quelques pages à désindexer, Google Search Console va vous permettre de signaler au moteur de recherche les pages qui n’ont plus lieu d’être dans son index.

Désindexer des pages dans Google Search Console :

Ouvrir Google Search Console

Sélectionner votre site

Sélectionner le menu Index Google > URL à supprimer

Cliquer sur Masquer temporairement

Saisir l’URL à masquer

Choisir supprimer une page ou supprimer un répertoire selon le cas de figure

Cela dit ce signalement est temporaire. Cela ne pose pas de problème pour les pages supprimées puisqu’elles ne pourront plus être de nouveau parcourues par les robots des moteurs de recherche et donc indexées de nouveau. En revanche, pour des pages existantes, mais que vous souhaitez ne pas voir remonter dans les résultats de recherche il sera nécessaire de réaliser des modifications sur votre site pour spécifier les nouvelles règles d’indexation.

Signaler à Google les pages qu’il ne doit pas indexer avec le fichier robots.txt

Désindexer manuellement de l’index Google les pages inopportunes peut parfois s’avérer fastidieux. Dans ce cas il est recommandé d’utiliser le fichier robots.txt. Ce fichier placé à la racine du site va permettre de spécifier les règles d’indexation aux moteurs de recherche.

User-agent

L’instruction : User-agent va vous permettre de spécifier à quel moteur de recherche s’adresse vos règles.

Exemple

User-agent: Googlebot pour des instructions à destination de Google uniquement.

User-agent: * pour des instructions à destination des tous les moteurs

Allow / Disallow

Les directives Allow / Disallow permet comme leur nom l’indique de spécifier le contenu qui peut ou ne peut pas être exploré pour indexation

Exemples :

Disallow: / empêchera une indexation de l’intégralité du site.

Disallow: /nom-répertoire/ indiquera de ne pas indexer le contenu du répertoire nommer.

Disallow: /nom* spécifiera de ne pas indexer les répertoires commençant par « nom »

Disallow: /*? bloquera l’indexation des URLs qui contiennent un point d’interrogation.

Disallow: /*.asp$ Le caractère $ spécifie la fin d’une URL. Cette directive indique donc que les URLs se terminant par .asp ne devront pas être indexées.

Allow: / indiquera que tout le contenu du site pourra être indexé

Ainsi en associant différentes directives il sera très facile d’indiquer ce qui devra être indexé ou non par les moteurs de recherche.

Exemple :

User-agent: Googlebot
Disallow: /nom-du-répertoire/

User-agent: *
Disallow:

Cet exemple de fichier robots.txt indiquera que le répertoire « nom-du-répertoire » sera bloqué à Google, mais accessible aux autres moteurs de recherche

Gérer les déplacements, les renommages de fichier ou de répertoire avec le fichier .htaccess

Dans le cas où vous avez changé le nom d’un de vos répertoires ou que vos fichiers ont été déplacés, l’index Google ne pointera plus vers les fichiers en question et générera des erreurs 404 (fichier non trouvé).

La solution pour signaler à Google que ces fichiers existent toujours, mais ont été seulement déplacés est d’utiliser le fichier .htaccess.

Le fichier .htaccess est le premier fichier que va lire un serveur Web Apache. Pour cette raison on l’utilise pour y inclure toutes les fonctions que l’on souhaite exécuter avant d’afficher le site.

L’utilisation du fichier .htaccess est une solution simple pour effectuer toutes sortes de redirections. Il est possible par exemple de rediriger une page, un répertoire voir un domaine.

Exemples de redirection d’une page

Redirection permanente 301 redirect 301 /ancienne-page.htm http://www.votre-domaine.com/nouvelle-page.htm

Exemples de redirection d’un répertoire

Redirection permanente 301 redirect 301 /ancien-repertoire http://www.votre-domaine.com/blog/nouveau-repertoire.htm

WordPress

Si vous utilisez WordPress, il existe d’excellents plug-ins pour gérer vos redirections :

  • Yoast SEO : permets de gérer les URLs canoniques et les changements d’URLs.
  • 404 to 301 : permets de logué les erreurs 404 et d’effectuer des redirections 301.
  • Redirection : permets de définir vos règles de redirection et de vérifier les erreurs 404.

Conclusion

Voilà donc quelques conseils de base pour vérifier l’index Google et demander des corrections si celui-ci ne reflète pas la réalité de votre site Internet.

De plus l’année 2017 sera l’année du mobile et Google en faisant le choix de « Google Mobile First » pour nommer son index annonce clairement la tendance. Outre le fait qu’il va falloir vérifier la mobilité de son site, il faudra s’assurer que le site est également adapté à Google Mobile First.

De simples vérifications, mais qui peuvent vous aider à vraiment optimiser votre référencement naturel (SEO).

Denis Degioanni

Denis Degioanni

Denis Degioanni Gérant associé de l’agence Do Ingenia et Consultant en Marketing Digital depuis plus de 16 ans. Vous avez besoins d'aide ? Posez-moi votre question. Et gardons contact sur Linked-In, Facebook et Twitter