Robots.txt
Fichier robots.txt
Définition
Le fichier robots.txt, placé à la racine d'un site, indique aux robots des moteurs quelles zones ils peuvent ou non explorer.
Placé à la racine (votresite.fr/robots.txt), il donne des règles d'exploration aux robots : quelles URL ignorer, où trouver le sitemap. Il contrôle le crawl, pas l'indexation directe.
Bloquer une page dans le robots.txt n'équivaut pas à la désindexer : pour retirer une page des résultats, on utilise plutôt noindex.
Voir où vous en êtes, pour de vrai
Werariou scanne votre visibilité sur Google Maps rue par rue et vous dit précisément quoi améliorer. Premier scan gratuit.
Scanner ma visibilitéTermes liés
- Crawl budgetLe crawl budget (budget d'exploration) est le nombre de pages qu'un moteur explore sur votre site dans un laps de temps donné.
- NoindexNoindex est une directive qui demande aux moteurs de ne pas afficher une page dans leurs résultats de recherche.
- IndexationL'indexation est le processus par lequel un moteur enregistre une page dans son index pour pouvoir la proposer dans les résultats.