Que signifie disallow ?

Disallow est un terme anglophone qui signifie refuser. En SEO, il s’agit d’une instruction intégrée dans le fichier robots.txt pour spécifier aux robots des moteurs de recherche les pages comme Bingbot ou Googlebot à ne pas explorer. En d’autres termes, il faut utiliser cette commande pour interdire aux robots d’exploration de crawler une page dont l’URL ne présente aucun intérêt pour la stratégie de référencement. Cela permet de maximiser les chances de générer des leads. La directive disallow des moteurs de recherche est utilisée en complément d’autres commandes comme noindex et nofollow.

Comme toutes les commandes que l’on peut utiliser dans le fichier robots.txt, la directive Disallow est une simple requête. Ainsi, elle n’a pas la capacité d’empêcher les robots malveillants d’explorer un site.

L’utilisation de la directive disallow se décline sous différentes formes :

• « Disallow : » : cela signifie qu’il n’y a aucune restriction ;
• « Disallow:/ » : l’intégralité du contenu du site est interdite aux crawlers des moteurs de recherche;
• « Disallow : catégorie » : toute page dont l’URL contient le mot catégorie sera interdite d’accès aux robots d’exploitation ;
• « Disallow:/*.pdf » : Avec le disallow pdf, l’url contenant l’extension pdf ne sera pas explorée.
• « Disallow : blog » : La balise disallow blog permet d’empêcher toute URL qui commence par blog d’être explorée ;
• « Disallow : [path] » : le début de l’URL bloquée pour les crawlers contient la balise path. il s’agit d’une règle spécifique pouvant être interprétée par les user agents indiqués dans le fichier robots.txt ;
• Disallow all : cette directive permet d’indiquer une page bloquée pour tous les robots d’indexation.

Les webmasters utilisent souvent la directive disallow en complément de la balise meta robots noindex. Cette dernière empêche clairement l’indexation.

Les URL bloquées seront toujours accessibles dans les résultats de recherche SERP. En revanche, elles contiendront un message indiquant qu’aucune information n’est disponible pour cette page.