Comment optimiser votre fichier robots.txt pour le SEO ?

Le robots.txt est un fichier texte placé à la racine du site qui indique aux robots d’exploration ce qu’ils peuvent parcourir. Optimiser ce fichier consiste à fermer les zones sans valeur pour concentrer l’exploration sur les pages qui comptent, sans jamais bloquer ce dont les moteurs ont besoin pour comprendre le site. Une précision corrige d’emblée l’erreur la plus répandue : ce fichier gère l’exploration, pas l’indexation. Bloquer une URL n’a jamais suffi à la faire disparaître des résultats.

À bloquer	À ne jamais bloquer	Pourquoi
Filtres et tris à facettes	Les fichiers CSS et JavaScript	Google doit afficher la page comme un visiteur
Recherche interne (/recherche/, ?s=)	Les pages que vous voulez désindexer	Bloquées, elles ne verront jamais la balise noindex
Panier, compte, tunnel de commande	Les images utiles à votre visibilité	La recherche d’images est une source de trafic
Zones d’administration	Le site entier (Disallow: /)	Le grand classique des mises en production ratées

À quoi sert vraiment le robots.txt ?

À économiser l’exploration, rien d’autre. Les robots consacrent à chaque site un volume de visites fini : chaque passage dans un labyrinthe de filtres ou une recherche interne est un passage en moins sur vos pages stratégiques. Le robots.txt ferme ces portes, et notre guide du budget de crawl détaille ce que ce volume change à votre visibilité.

Ce que le fichier ne fait pas mérite d’être écrit, parce que la confusion traîne partout, y compris dans la version précédente de cet article : le robots.txt n’empêche pas l’indexation. Une URL bloquée peut apparaître dans les résultats si d’autres pages la lient, affichée sans description puisque Google n’a pas pu la lire. Pour retirer une page des résultats, la balise noindex fait le travail, et elle exige justement que la page reste explorable. Bloquer et vouloir désindexer sont 2 gestes incompatibles.

Que faut-il bloquer dans un robots.txt ?

Les zones qui multiplient les URL sans apporter de contenu :

les filtres à facettes et les tris, dont chaque combinaison fabrique une adresse de plus, jusqu’à noyer le catalogue réel sous ses propres variantes ;
la recherche interne, dont chaque requête tapée fabrique une URL de plus ;
les tunnels fonctionnels, panier, compte, commande, sans aucun intérêt de recherche ;
les répertoires techniques, administration, scripts internes, environnements de test restés accessibles.

La ligne de conduite : bloquer des gabarits d’URL, pas des pages une à une. Trois à dix règles suffisent à la plupart des sites ; un fichier de 200 lignes signale un site dont l’architecture d’URL n’a jamais été pensée, sujet traité dans notre guide de l’optimisation des URL.

Que ne faut-il jamais bloquer ?

4 interdits, dans l’ordre des dégâts constatés :

les CSS et JavaScript : Google affiche vos pages comme un navigateur ; privé des styles et des scripts, il voit un squelette et évalue un site cassé ;
les pages à désindexer, pour la raison vue plus haut : le noindex doit être lu pour agir ;
les images qui vous rapportent, produits, réalisations, schémas : les retirer de l’exploration vous efface de la recherche d’images, qui amène ses propres visiteurs ;
le site entier. Le Disallow: / global sert en préproduction, et l’oublier au lancement reste l’accident le plus coûteux du métier : le site neuf disparaît des radars pendant que tout le monde cherche un problème compliqué.

Ajoutez au fichier la ligne Sitemap: avec l’adresse complète de votre sitemap XML : c’est l’endroit où les robots la cherchent en premier.

Comment gérer les robots des IA dans le robots.txt ?

La vraie nouveauté du fichier depuis 2 ans. Les collecteurs des services d’IA s’annoncent avec leurs propres noms, GPTBot pour OpenAI, ClaudeBot pour Anthropic, PerplexityBot, Google-Extended pour l’entraînement des modèles de Google, et le robots.txt est l’endroit où vous décidez de leur ouvrir ou non.

La décision est stratégique, pas technique. Bloquer GPTBot, c’est renoncer à ce que ChatGPT lise vos contenus, donc réduire vos chances d’être cité dans ses réponses ; même logique pour chaque assistant. À l’inverse, les autoriser nourrit des systèmes qui redistribuent une partie de leur audience vers leurs sources. Pour un éditeur qui vit de son contenu exclusif, la fermeture se défend ; pour une entreprise qui cherche des clients, être absent des réponses génératives coûte plus que ce que l’ouverture expose. Ce choix, et la mesure de ce qu’il rapporte, sont au cœur de notre travail de référencement IA.

Un piège à connaître : Google-Extended ne concerne que l’entraînement des modèles. Le bloquer ne retire pas vos pages des Aperçus IA de la recherche, qui utilisent le robot classique de Google.

gérer les robots des IA dans le robots.txt

Comment vérifier votre robots.txt ?

3 contrôles, du plus rapide au plus complet :

lire le fichier en tapant votredomaine.fr/robots.txt : il est public, et cette lecture à voix haute suffit à repérer un blocage aberrant ;
la Search Console, qui signale les pages « bloquées par le fichier robots.txt » et permet de vérifier URL par URL ce que Google peut atteindre ;
le rapport dédié aux paramètres du fichier, dans les réglages de la Search Console, qui montre la version que Google utilise et les erreurs de lecture éventuelles.

Le bon rythme : une vérification à chaque mise en production, et une relecture complète deux fois par an, en même temps que l’analyse de vos liens.

Un doute sur l'efficacité de votre fichier robots.txt ?

Un mauvais paramétrage peut masquer vos pages stratégiques ou gaspiller votre budget de crawl sur des URL inutiles. Nos experts SEO analysent votre fichier, identifient les blocages critiques et optimisent vos règles d'exploration y compris pour les robots d'IA.

Faire vérifier mon robots.txt par un expert

10 lignes qui décident de ce que les robots voient

Le robots.txt bien fait est court, stable et ennuyeux : quelques gabarits fermés, la ligne Sitemap, les robots d’IA arbitrés selon votre stratégie, et rien d’autre. L’essentiel du travail consiste à ne pas y toucher pour de mauvaises raisons, et à ne jamais lancer une mise en production sans l’avoir relu.

Si vous voulez savoir ce que les robots font réellement chez vous, ce que votre fichier ferme, ce qu’il laisse explorer pour rien, et ce que les collecteurs d’IA y trouvent, ce relevé fait partie des audits techniques de notre agence SEO.

Robots.txt : ce qu’on nous demande souvent

Le fichier robots.txt est-il obligatoire ?

Non : sans fichier, les robots explorent tout. Mais son absence sur un site marchand ou à forte volumétrie laisse l'exploration se disperser dans les filtres et les recherches internes. Dès qu'un site dépasse quelques centaines d'URL, le fichier devient un outil de pilotage, plus un accessoire.

Peut-on cacher une page confidentielle avec le robots.txt ?

Non, le fichier produit l'effet inverse : il est public, et y lister un répertoire « secret » revient à l'indiquer à tout le monde. Une page confidentielle se protège par un mot de passe ou une authentification, jamais par une ligne de robots.txt.

À quoi sert la directive crawl-delay ?

À rien pour Google, qui l'ignore. Elle ralentit certains autres robots. Si votre serveur souffre du passage des robots, le problème est presque toujours ailleurs, dans l'hébergement ou dans le volume d'URL explorables, et le fichier n'y changera rien durablement.

Les jokers ( et $) fonctionnent-ils dans le robots.txt ?

Oui, pour les principaux moteurs : l'astérisque remplace n'importe quelle suite de caractères, le dollar marque la fin d'une URL. Une règle comme Disallow: /*?tri= ferme tous les tris d'un coup. Testez chaque motif dans la Search Console avant de le déployer : un joker mal placé ferme plus que prévu.

Faut-il un robots.txt différent pour les sous-domaines ?

Oui, chaque sous-domaine a le sien : celui de www.votresite.fr ne s'applique pas à blog.votresite.fr. Le réflexe utile : dès qu'un sous-domaine reste invisible dans Google malgré un contenu correct, lire son fichier à lui est la première vérification, pas la dernière.