Vous terminez votre sitemap, vous mettez sitemap.xml en ligne, puis vous vous arrêtez juste avant le petit détail qui facilite la vie des moteurs : comment les robots vont-ils trouver ce fichier ? Un robots.txt propre avec une ligne Sitemap: correcte règle ce problème sans bruit.
Ce guide explique comment utiliser un générateur robots.txt pour indiquer votre sitemap aux moteurs de recherche, ce que le fichier doit contenir, et comment éviter l'erreur classique : bloquer par accident les pages que vous voulez justement voir indexées.
Ce que fait robots.txt, et ce qu'il ne fait pas
robots.txt est un simple fichier texte placé à la racine de votre domaine :
https://example.com/robots.txtSon rôle principal est de donner des consignes aux robots d'exploration. Vous pouvez autoriser le crawl, bloquer quelques chemins peu utiles, ou pointer vers votre sitemap. Beaucoup de robots lisent ce fichier avant de demander d'autres URL, donc un mauvais fichier peut créer de vrais soucis SEO.
Mais ce n'est pas une mesure de sécurité. Une règle Disallow demande aux robots conformes de ne pas demander un chemin ; elle ne cache pas le contenu aux humains, aux navigateurs, ni aux robots malveillants. Si une page est confidentielle, protégez-la par authentification, retirez-la du web public, ou retournez le bon statut serveur. Ne traitez pas robots.txt comme un cadenas.
La ligne Sitemap : ce dont la plupart des sites ont besoin
Pour beaucoup de petits sites, le fichier utile ressemble à ceci :
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlLa ligne Sitemap: indique aux robots où se trouve votre sitemap XML. Utilisez l'URL absolue complète, avec https://. Elle peut être placée n'importe où dans le fichier et n'a pas besoin d'être à l'intérieur d'un bloc User-agent.
Cette seule ligne aide Google, Bing et d'autres moteurs à découvrir votre liste d'URL sans attendre que chaque page soit trouvée par les liens internes. Vous pouvez toujours soumettre le sitemap dans Google Search Console. En pratique, utiliser les deux est plus solide : robots.txt pour la découverte automatique, Search Console pour l'état et les erreurs.
Comment générer robots.txt à partir de votre sitemap
Le flux le plus propre consiste à créer le sitemap et l'extrait robots.txt correspondant au même endroit.
- Rassemblez vos URL canoniques. Incluez seulement les pages que vous voulez indexer. Évitez les URL de suivi, les pages de test, les routes admin et les pages de recherche interne.
- Générez le sitemap. Collez les URL dans le NasrTech Sitemap Generator. Il crée
sitemap.xml, un sitemap HTML et un extraitrobots.txtdans votre navigateur, sans téléversement ni inscription. - Définissez l'emplacement du sitemap. Utilisez l'URL publique finale, souvent
https://example.com/sitemap.xml. - Copiez la sortie robots.txt. Gardez-la courte, sauf si vous avez de vrais chemins à bloquer.
- Publiez les deux fichiers à la racine du site. Ils doivent être accessibles via
/sitemap.xmlet/robots.txt. - Testez les URL. Ouvrez les deux dans votre navigateur. Si l'une renvoie une connexion, une boucle de redirection, une 404 ou une page HTML d'erreur, corrigez avant de soumettre.
Si vous partez de zéro, commencez par le guide complet sur comment créer un sitemap. Si le sitemap existe déjà, l'étape robots.txt est rapide.
Les bons réglages par défaut
La plupart des sites n'ont pas besoin d'un long robots.txt. Les fichiers interminables viennent souvent d'un copier-coller d'une configuration SEO que personne n'a relue.
Voici un défaut sûr :
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlUtilisez-le lorsque vos pages publiques doivent être explorables et que votre sitemap contient uniquement des URL canoniques à indexer. C'est sobre, lisible et difficile à mal interpréter.
Ajoutez des règles Disallow seulement si vous avez une raison. Exemples courants :
| Chemin | Pourquoi le bloquer |
|---|---|
/admin/ | Les routes d'administration n'ont pas besoin d'être explorées |
/cart/ | Les parcours de panier sont personnels et gaspillent le crawl |
/search/ | Les recherches internes peuvent créer des pages faibles ou dupliquées |
/?sort= | Les tris et filtres multiplient les variantes proches |
Bloquer un chemin ne le retire pas de l'index Google s'il est déjà connu. Pour supprimer ou désindexer, il faut des contrôles au niveau de la page et un comportement HTTP correct. robots.txt contrôle le crawl, pas tous les résultats d'indexation.
Les erreurs qui cassent le SEO en silence
La ligne dangereuse est souvent celle-ci :
Disallow: /Elle demande aux robots de ne rien demander sous le domaine. C'est utile pour un site de préproduction privé. Sur un site public, cela peut couper l'exploration entière. Avant de publier un fichier généré, cherchez cette ligne et vérifiez qu'elle est vraiment voulue.
Surveillez aussi :
- Bloquer le sitemap lui-même. Si vous interdisez le dossier où vit
sitemap.xml, les robots risquent de ne pas le lire. - Utiliser une URL Sitemap relative. Écrivez
Sitemap: https://example.com/sitemap.xml, pas seulement/sitemap.xml. - Pointer vers l'ancien domaine. Cela arrive après une migration de domaine ou un passage de non-www à www.
- Lister des URL que vous ne voulez pas indexer. Le sitemap est une liste de recommandations. Gardez-la propre.
- Oublier HTTPS. Si votre site est en HTTPS, les références au sitemap doivent l'être aussi.
Pour l'étape suivante, consultez le guide sur la soumission d'un sitemap à Google. Il explique ce que signifie vraiment le statut « Success » dans Search Console.
Checklist avant publication
Avant de publier robots.txt, vérifiez ceci :
- Pouvez-vous ouvrir
https://yourdomain.com/robots.txtsans connexion ? - Pouvez-vous ouvrir l'URL exacte du sitemap indiquée dans le fichier ?
- Le sitemap renvoie-t-il bien du XML, pas une jolie page 404 ?
- Le fichier de production évite-t-il un
Disallow: /accidentel ? - Les URL Sitemap sont-elles absolues et en HTTPS ?
- Le sitemap contient-il seulement des pages canoniques et indexables ?
Si les six réponses sont oui, votre configuration de découverte par les robots est probablement saine.
Questions fréquentes
Ai-je besoin de robots.txt si j'ai déjà soumis mon sitemap à Google ?
Oui, c'est toujours utile. Search Console donne à Google un chemin direct et des rapports. La ligne Sitemap dans robots.txt fournit un indice de découverte automatique, y compris pour les moteurs où vous n'avez pas créé de compte.
robots.txt peut-il forcer Google à indexer mes pages ?
Non. Un sitemap aide la découverte, et robots.txt peut pointer vers ce sitemap, mais l'indexation dépend encore de la qualité du contenu, de l'accessibilité, des signaux canoniques, des liens internes et des choix du robot.
Faut-il bloquer les pages dupliquées dans robots.txt ?
Parfois, mais avec prudence. Pour beaucoup de pages filtrées ou dupliquées, les balises canonical, les règles noindex ou une meilleure gestion des paramètres sont préférables. Bloquer le crawl peut empêcher les robots de voir les signaux de la page.
L'outil NasrTech est-il privé ?
Oui. Le Sitemap Generator fonctionne dans votre navigateur. Votre liste d'URL n'est pas téléversée, et l'outil formate le sitemap XML, le sitemap HTML et l'extrait robots.txt localement.
En résumé
Un bon fichier robots.txt est souvent court. Laissez les robots accéder au site public, pointez-les vers sitemap.xml, et n'ajoutez pas de règles fortes sans raison précise. Utilisez un générateur robots.txt pour limiter les erreurs de format, puis testez les deux URL publiques avant de soumettre quoi que ce soit. Petit fichier, grandes conséquences : autant le faire proprement.
