Robots.txt

Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Domain, die Suchmaschinen- und anderen Crawlern mitteilt, welche Bereiche einer Website sie abrufen dürfen und welche nicht.

Sie ist die älteste und meistgenutzte Steuerungsdatei des Webs — und zugleich diejenige, deren Wirkung am häufigsten falsch eingeschätzt wird. Die Datei regelt das Abrufen, nicht das Erscheinen in Suchergebnissen.

Aufbau

Die Datei folgt dem Robots Exclusion Protocol, seit 2022 als RFC 9309 formal standardisiert. Jeder Block beginnt mit einem User-agent und enthält darunter Disallow– und Allow-Anweisungen:

• User-agent: * — gilt für alle Crawler, sofern kein spezifischerer Block existiert
• Disallow: /intern/ — sperrt einen Pfad
• Allow: /intern/oeffentlich/ — hebt eine Sperre für einen Unterpfad wieder auf
• Sitemap: — meldet die vollständige URL der XML-Sitemap

Bei widersprüchlichen Regeln gewinnt die spezifischere, nicht die zuerst genannte. Ein Crawler wählt außerdem stets den am genauesten passenden User-agent-Block und ignoriert dann alle anderen — auch den mit dem Sternchen.

Der entscheidende Irrtum

Ein Disallow verhindert das Crawling, aber nicht zwingend die Indexierung. Kennt Google eine URL aus anderen Quellen — etwa aus einem externen Link —, kann sie in den Suchergebnissen erscheinen, ohne dass die Seite je abgerufen wurde. Angezeigt wird sie dann ohne Beschreibung.

Wer eine Seite zuverlässig aus dem Index halten will, braucht deshalb das Gegenteil: die Seite muss crawlbar sein, damit die Anweisung noindex im Seitenkopf überhaupt gelesen werden kann. Beides gleichzeitig zu setzen, hebt sich auf.

Der letzte Punkt verdient Nachdruck: Die robots.txt ist öffentlich lesbar. Wer dort einen Pfad sperrt, veröffentlicht damit dessen Existenz. Als Sicherheitsmaßnahme ist sie ungeeignet.

Steuerung von KI-Crawlern

Seit große Sprachmodelle Webinhalte auswerten, wird die Datei auch dafür genutzt, den Zugriff einzelner AI Crawler zu regeln. Anbieter haben dafür eigene Kennungen veröffentlicht — etwa GPTBot, ClaudeBot, PerplexityBot oder Google-Extended.

Zwei Einschränkungen sind dabei wesentlich. Erstens ist die Befolgung freiwillig: Das Protokoll kennt keine technische Durchsetzung, seriöse Anbieter halten sich daran, andere nicht. Zweitens bedeutet ein Ausschluss regelmäßig auch den Verzicht auf Sichtbarkeit im jeweiligen System — wer nicht gelesen wird, wird nicht zitiert.

Typische Fehler

• Sperre statt noindex. Der häufigste Fehler überhaupt, mit dem Ergebnis, dass die Seite ohne Beschreibung im Index bleibt.
• CSS und JavaScript gesperrt. Google rendert Seiten. Werden Stylesheets oder Skripte blockiert, wird eine unvollständige Seite bewertet.
• Testumgebung übernommen. Ein Disallow: / aus der Entwicklungsumgebung, das beim Livegang mitwandert, nimmt eine Website vollständig aus der Suche.
• Falsche Ablage. Die Datei wirkt nur im Wurzelverzeichnis und nur für ihr eigenes Protokoll samt Subdomain.

Häufige Fragen

Braucht jede Website eine robots.txt?

Zwingend nein. Fehlt die Datei, dürfen Crawler alles abrufen — für kleine Websites ist das oft genau richtig. Sinnvoll wird sie, sobald Bereiche vom Crawling ausgenommen werden sollen oder die Sitemap dort gemeldet wird.

Wie lässt sich prüfen, ob die Datei korrekt ist?

Die Google Search Console enthält einen Bericht zur robots.txt, der die zuletzt abgerufene Fassung und erkannte Fehler anzeigt. Zusätzlich lässt sich für einzelne URLs mit der URL-Prüfung feststellen, ob ein Abruf erlaubt ist.

Verhindert eine Sperre, dass Inhalte in KI-Antworten auftauchen?

Nur bei Anbietern, die das Protokoll befolgen, und nur für künftige Abrufe. Bereits verarbeitete Inhalte verschwinden dadurch nicht. Zudem verliert man mit dem Ausschluss auch die Möglichkeit, in diesem System als Quelle genannt zu werden.

Was gehört außer Sperren noch hinein?

Die Angabe der XML-Sitemap. Sie ist die einzige Zeile, die keine Beschränkung ausspricht, sondern eine Information anbietet — und sie wirkt unabhängig davon, ob die Sitemap zusätzlich in der Search Console eingereicht wurde.