Balise méta robots

Pour pouvoir proposer des informations pertinentes à chaque requête, Google a mis en place des crawlers pour explorer, répertorier, classer et stocker les pages web qui existent sur la toile. Dès qu’une requête est lancée, les robots des moteurs de recherche puisent dans leur base de données et suggèrent en premier lieu les pages les plus performantes dans les résultats de recherche. On parle également du processus d’indexation.

En ce sens, les webmasters redoublent d’effort pour optimiser leur stratégie SEO et répondre au mieux aux exigences de l’algorithme de Google. Parfois, ils sont amenés à bloquer l’accès de l’user-agent à certaines ressources, notamment celles qui n’ont aucune valeur en matière de référencement naturel. Dans ce cas, on utilise la balise meta robots.

La meta robots est une balise située dans la partie head du code HTML d’une page. Elle permet d’indiquer aux spiders les URL Google à indexer en priorité et de transmettre d’autres types d’informations. Dans certains cas, elle est utilisée pour demander aux robots des moteurs de recherche de ne pas indexer la page, si celle-ci est jugée sans intérêt en SEO.

Attention à ne pas confondre la balise meta robots avec le fichier robots.txt. Ce dernier autorise l’accès à une section ou à un groupe de pages sur un site. Il n’a pas la capacité d’empêcher les spiders de parcourir des contenus qui leur sont accessibles. En revanche, la meta robots peut s’appliquer sur une page web spécifique.

En règle générale, la balise meta robots se présente sous la forme suivante : <meta name= »robots » content= »X,Y »>. X indique index et Y équivaut à l’index follow ou nofollow.

La balise méta robots peut également se présenter sous des formes plus complexes, par exemple exemple meta name robots content unavailable_after date, meta name robots content noindex/index, meta name robots content nofollow, meta name robots content noarchive/archive, meta name robots content nosnippet, meta name robots content noodp, meta name robots content noydir, meta name robots content notranslate, meta name robots content noimageindex, meta name robots content unavailable_after date/time, balise meta robots max-snippet, balise meta robots all/none, etc…

L’attribut meta robots est crucial pour contrôler l’accès des spiders à une page. Cela permet une exploration nettement plus efficace. En effet, les crawlers ne perdront pas leur temps à parcourir des pages sans aucune valeur ajoutée.

La méta robots permet aussi de conserver le link juice SEO d’une page. En effet, elle peut être liée au maillage interne d’un site et à l’organisation des liens externes.

L’insertion de cette balise évitera également l’affichage d’une page dans les résultats de recherche alors qu’elle contient par exemple des données confidentielles. Il s’agit d’une solution parfaite pour les pages en cours de création ou encore les pages contenant du contenu dupliqué (duplicate content).  

A la place du meta robots, il est possible d’utiliser la balise x-robots-tag. Celle-ci permet de contrôler l’activité des crawlers sur les sites internet. C’est une alternative intéressante à la Balise Meta Robots, notamment dans le cas des fichiers qui ne sont pas au format HTML : PDF, Word, Excel…