Le fichier robots.txt garde-t-il une page hors de Google ?

Non. Google peut toujours lister une URL interdite qu'il découvre via des liens, souvent avec peu ou pas d'extrait — et il ne peut pas voir un noindex sur une page dont l'exploration lui est bloquée. Pour exclure une page publique, autorisez l'exploration et utilisez une balise noindex ou un en-tête X-Robots-Tag ; le changement prend effet une fois la page réexplorée. Pour le contenu confidentiel, exigez une authentification — noindex n'est pas un contrôle d'accès.

Quelle est la différence entre robots.txt, noindex et canonique ?

robots.txt contrôle les chemins que les robots conformes peuvent demander ; noindex dit aux moteurs compatibles de ne pas indexer une page qu'ils peuvent explorer ; une balise canonique signale l'URL que vous préférez parmi des pages en double ou très similaires, le moteur faisant le choix final. Les trois peuvent servir sur un même site — mais n'interdisez jamais une URL dont le robot doit lire le noindex ou la canonique.

Comment savoir ce qui est réellement indexé ?

Utilisez le rapport « Indexation des pages » de la Search Console pour repérer des tendances, et l'inspection d'URL pour vérifier des URL précises que vous connaissez. Aucun des deux n'est un inventaire complet — le rapport couvre les URL que Google connaît et échantillonne ses listes — et une recherche site: n'est qu'un diagnostic approximatif. Protégez le contenu privé par un contrôle d'accès et auditez-le séparément ; un outil SEO n'est pas un contrôle de confidentialité.

Les moteurs de recherche peuvent-ils trouver et indexer les bonnes pages ?

Être trouvé dans les moteurs de recherche, ce sont deux chantiers : laisser les robots découvrir vos pages, et faire indexer les bonnes pages tout en gardant les mauvaises dehors. Le fichier robots.txt n’est qu’une petite partie de l’histoire — et le prendre pour toute l’histoire, c’est comme ça que des sites se cachent par accident ou laissent fuiter des pages qu’ils voulaient garder privées.

Les outils, et à quoi sert chacun

robots.txt — guidage de l’exploration. Il demande aux robots conformes d’ignorer certains chemins et leur indique votre sitemap. Ce n’est pas un moyen d’exclure une URL des résultats — une URL interdite trouvée via des liens peut quand même être listée, et Google ne voit jamais un noindex sur une page dont l’exploration lui est bloquée — et ce n’est pas de la sécurité : tout ce que vous « bloquez » reste accessible au public. Ses règles ne valent en outre que pour le protocole, le nom d’hôte et le port exacts qui servent le fichier — vérifiez donc chaque nom d’hôte accessible au public.
Sitemap XML — découverte. Une liste des URL canoniques et indexables que vous voulez que les moteurs découvrent et envisagent d’explorer. Un sitemap est une suggestion, pas une garantie d’exploration ou d’indexation. Pointez vers lui depuis le robots.txt.
noindex — exclusion de l’indexation. Une balise meta ou un en-tête qui garde une page explorable hors des résultats de recherche compatibles — le bon outil pour une page de remerciement ou une page qui, selon vous, n’a rien à faire dans les résultats. Il prend effet une fois la page réexplorée, ne s’applique qu’aux robots qui le respectent et ne change rien à qui peut ouvrir l’URL : le contenu confidentiel exige une authentification, pas un noindex.
canonique — signal d’URL préférée. Une balise <link rel="canonical"> sur des URL en double ou très similaires, qui signale la version que vous préférez. C’est le moteur qui fait la sélection finale — gardez la balise cohérente avec vos redirections, vos liens internes et votre sitemap, pour que les signaux concordent.

Le piège classique : bloquer ce que vous voulez voir trouvé

Une erreur de lancement dangereuse : emporter le Disallow: / de l’environnement de test en production. Les robots conformes ne peuvent alors plus rien récupérer, et le nouveau site n’arrive pas à se faire indexer correctement — tandis que les URL déjà connues peuvent traîner dans les résultats avec peu ou pas d’extrait. Juste derrière : bloquer les CSS/JS dont les pages ont besoin pour s’afficher. Ces erreurs peuvent passer inaperçues jusqu’à ce que l’indexation ou le trafic bouge — testez donc le robots.txt et inspectez les URL importantes avant et après le lancement. Pour comparaison, un robots.txt minimal et sain ne bloque rien et pointe vers votre sitemap :

User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap.xml

Et vérifiez la base : ouvrez /robots.txt dans une fenêtre privée et confirmez qu’il renvoie bien le fichier texte prévu — pas une page de connexion, une boucle de redirection ou une erreur serveur.

Vérifiez ce qui est réellement indexé

Ne partez pas du principe que votre configuration a fonctionné : confrontez-la à la réalité. Le rapport « Indexation des pages » de la Search Console montre les tendances d’indexation, et l’inspection d’URL montre le statut que Google attribue à une URL précise que vous lui donnez. Servez-vous-en pour examiner vos pages importantes — en sachant que le rapport ne couvre que les URL que Google a vues, et qu’il échantillonne ses listes. Une recherche site: est, au mieux, un diagnostic approximatif.

À retenir : gérez la découverte et l’indexation dans leur ensemble — sitemap et robots.txt pour guider l’exploration, noindex pour exclure, balises canoniques pour dire votre préférence — puis vérifiez ce que Google détient vraiment, et ne prenez jamais tout cela pour du contrôle d’accès.

Ce qu'il faut faire

Publiez un sitemap XML de vos URL canoniques et indexables, référencez-le depuis /robots.txt, et confirmez que le fichier répond correctement sur chaque nom d’hôte public.
N’utilisez le robots.txt que pour écarter les robots du vrai contenu sans intérêt — résultats de recherche interne, URL de panier — en testant d’abord chaque règle sur des URL représentatives, pour qu’un motif trop large n’attrape pas aussi des pages utiles ou des ressources indispensables. Le fichier est public : n’y affichez pas de chemins d’administration ou privés ; protégez-les par une authentification.
Utilisez noindex, pas Disallow, pour les pages explorables qui ne doivent pas être listées — et ne combinez jamais les deux sur une même URL, sinon la balise reste invisible.
Ajoutez des balises canoniques exactes aux URL en double ou très similaires, et utilisez l’URL préférée systématiquement dans les liens internes et le sitemap — le moteur garde quand même le dernier mot.
Ne bloquez jamais les CSS/JS dont la page a besoin pour s’afficher.
Vérifiez la réalité dans la Search Console — le rapport « Indexation des pages » et l’inspection d’URL — avant et après les changements, et surtout juste après la mise en ligne.