Hält robots.txt eine Seite aus Google heraus?

Nein. Google kann eine gesperrte URL, die es über Links entdeckt, trotzdem listen – oft mit wenig oder gar keinem Snippet (Textauszug). Und ein noindex auf einer Seite, deren Crawling blockiert ist, bleibt für Google unsichtbar. Um eine öffentliche Seite auszuschließen: Crawling erlauben und ein noindex-Tag oder einen X-Robots-Tag-Header setzen; die Änderung greift, sobald die Seite neu gecrawlt wurde. Vertrauliche Inhalte brauchen einen Login – noindex ist keine Zugriffskontrolle.

Was ist der Unterschied zwischen robots.txt, noindex und canonical?

robots.txt regelt, welche Pfade regelkonforme Crawler abrufen dürfen; noindex sagt Suchmaschinen, die es beachten, dass sie eine crawlbare Seite nicht in den Index aufnehmen sollen; ein Canonical-Hinweis nennt unter doppelten oder sehr ähnlichen Seiten Ihre bevorzugte URL – die endgültige Wahl trifft die Suchmaschine. Alle drei können auf einer Website nützlich sein. Nur: Sperren Sie nie eine URL, deren noindex oder canonical der Crawler lesen muss.

Finden und indexieren Suchmaschinen die richtigen Seiten?

Q: Woher weiß ich, was tatsächlich indexiert ist?

Nutzen Sie in der Search Console den Bericht zur Seitenindexierung, um Muster zu erkennen, und die URL-Prüfung für einzelne bekannte URLs. Vollständig ist beides nicht – der Bericht kennt nur URLs, die Google gesehen hat, und zeigt Stichproben – und eine site:-Suche ist höchstens eine grobe Diagnose. Schützen Sie private Inhalte mit Zugriffskontrolle und prüfen Sie sie getrennt; ein SEO-Tool ist keine Datenschutzprüfung.

In Suchmaschinen gefunden zu werden sind zwei Aufgaben: Crawler müssen Ihre Seiten entdecken, und die richtigen Seiten müssen in den Index – während die falschen draußen bleiben. Eine robots.txt ist dabei nur ein kleiner Baustein. Wer sie für die ganze Geschichte hält, versteckt seine Website versehentlich – oder verrät Seiten, die privat bleiben sollten.

Die Werkzeuge – und wofür jedes da ist

robots.txt – Crawling-Lenkung. Die Datei bittet regelkonforme Crawler, bestimmte Pfade auszulassen, und verweist auf Ihre Sitemap. Sie ist kein Weg, eine URL aus den Ergebnissen fernzuhalten – eine gesperrte URL, die über Links gefunden wird, kann trotzdem gelistet werden, und ein noindex auf einer blockierten Seite sieht Google nie. Und Sicherheit ist sie auch nicht: Alles, was Sie „blockieren“, bleibt öffentlich abrufbar. Ihre Regeln gelten außerdem nur für genau das Protokoll, den Hostnamen und den Port, unter dem die Datei ausgeliefert wird – prüfen Sie also jeden öffentlich erreichbaren Hostnamen.
XML-Sitemap – Entdeckung. Eine Liste der kanonischen (also der von Ihnen bevorzugten), indexierbaren URLs, die Suchmaschinen entdecken und fürs Crawling in Betracht ziehen sollen. Eine Sitemap ist ein Hinweis, keine Garantie für Crawling oder Indexierung. Verweisen Sie aus der robots.txt darauf.
noindex – Ausschluss aus dem Index. Ein Meta-Tag oder Header, der eine crawlbare Seite aus den Ergebnissen der Suchmaschinen heraushält, die ihn unterstützen – das richtige Werkzeug für eine Danke-Seite oder eine Seite, die nach Ihrem Urteil nicht gelistet werden soll. Er wirkt erst, wenn die Suchmaschine die Seite neu gecrawlt hat, gilt nur für Crawler, die ihn beachten – und ändert nichts daran, wer die URL öffnen kann: Vertrauliches braucht einen Login, kein noindex.
canonical – Signal für die bevorzugte URL. Ein <link rel="canonical"> auf doppelten oder sehr ähnlichen URLs, das sagt, welche Version Sie bevorzugen. Die endgültige Wahl trifft die Suchmaschine – halten Sie den Hinweis konsistent mit Ihren Weiterleitungen, internen Links und der Sitemap, damit alle Signale dasselbe sagen.

Die klassische Falle: blockieren, was gefunden werden soll

Ein gefährlicher Fehler beim Livegang: Disallow: / wandert aus der Testumgebung mit in die Produktion. Regelkonforme Crawler dürfen dann nichts abrufen – eine neue Website wird nicht richtig indexiert, während früher bekannte URLs mit wenig oder gar keinem Snippet in den Ergebnissen hängen bleiben können. Dicht dahinter: CSS/JS blockieren, das die Seiten zum Darstellen brauchen. Solche Fehler können unbemerkt bleiben, bis Indexierung oder Besucherzahlen kippen – testen Sie die robots.txt also und prüfen Sie wichtige URLs vor und nach dem Livegang. Zum Vergleich: Eine gesunde, minimale robots.txt blockiert nichts und verweist auf die Sitemap:

User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap.xml

Und prüfen Sie die Grundlagen: Öffnen Sie /robots.txt in einem privaten Fenster und schauen Sie, ob wirklich die gewollte Textdatei zurückkommt – keine Login-Seite, keine Weiterleitungsschleife, kein Serverfehler.

Prüfen Sie, was wirklich im Index ist

Verlassen Sie sich nicht darauf, dass Ihre Einstellungen greifen – prüfen Sie die Realität. Der Bericht zur Seitenindexierung in der Search Console zeigt Muster, die URL-Prüfung den Google-Status einer konkreten URL. Nutzen Sie beides für Ihre wichtigen Seiten – und wissen Sie dabei: Der Bericht kennt nur URLs, die Google gesehen hat, und zeigt Stichproben. Eine site:-Suche ist bestenfalls eine grobe Diagnose.

Fazit: Behandeln Sie Entdeckung und Indexierung als Ganzes – Sitemap und robots.txt lenken das Crawling, noindex schließt aus, Canonical-Tags nennen Ihre Präferenz. Prüfen Sie dann, was Google wirklich hat – und verwechseln Sie nichts davon mit Zugriffskontrolle.

Was zu tun ist

Veröffentlichen Sie eine XML-Sitemap Ihrer kanonischen, indexierbaren URLs, verweisen Sie aus /robots.txt darauf und prüfen Sie, ob die Datei auf jedem öffentlichen Hostnamen korrekt antwortet.
Nutzen Sie robots.txt nur, um Crawler von echtem Ballast fernzuhalten – interne Suchergebnisse, Warenkorb-URLs. Testen Sie jede Regel erst an typischen URLs, damit ein breites Muster nicht auch nützliche Seiten oder nötige Ressourcen erwischt. Die Datei ist öffentlich: Schreiben Sie keine Admin- oder Privatpfade hinein – schützen Sie die mit einem Login.
Nehmen Sie noindex, nicht Disallow, für crawlbare Seiten, die nicht gelistet werden sollen – und kombinieren Sie beides nie auf einer URL, sonst bleibt das Tag ungesehen.
Setzen Sie korrekte Canonical-Hinweise auf doppelte oder sehr ähnliche URLs und verwenden Sie die bevorzugte URL konsequent in internen Links und in der Sitemap – die letzte Entscheidung trifft trotzdem die Suchmaschine.
Blockieren Sie nie CSS/JS, das die Seite zum Darstellen braucht.
Prüfen Sie die Realität in der Search Console – Bericht zur Seitenindexierung und URL-Prüfung – vor und nach Änderungen, und besonders direkt nach dem Livegang.