Ein AI Crawler ist ein automatisiertes Programm, das Webinhalte abruft, um sie für Systeme der künstlichen Intelligenz nutzbar zu machen — sei es zum Training von Sprachmodellen, zur Beantwortung einer konkreten Nutzerfrage in Echtzeit oder zum Aufbau eines durchsuchbaren Index.
Die Bezeichnung fasst dabei drei Vorgänge zusammen, die technisch ähnlich aussehen, aber völlig verschiedene Folgen haben. Wer sie nicht trennt, trifft bei der Steuerung zwangsläufig die falsche Entscheidung.
Drei Arten, die man auseinanderhalten muss
| Zweck | Was geschieht | Nutzen für die Website |
|---|---|---|
| Training | Inhalte fließen in ein Modell ein | keiner, keine Nennung |
| Abruf zur Laufzeit | Seite wird für eine konkrete Frage geladen | Zitierung mit Verweis möglich |
| Indexaufbau | Seite wird für spätere Antworten erfasst | Voraussetzung für Sichtbarkeit |
Hier liegt die eigentliche Entscheidung. Wer Trainingszugriffe ausschließt, verliert nichts Messbares. Wer den Abruf zur Laufzeit oder den Indexaufbau ausschließt, verzichtet auf jede Chance, in den Antworten dieses Systems als Quelle genannt zu werden.
Die wichtigsten Kennungen
- GPTBot — sammelt Inhalte für das Modelltraining von OpenAI.
- OAI-SearchBot — baut den Index für die Suchfunktion in ChatGPT auf; getrennt vom Training steuerbar.
- ChatGPT-User — ruft eine Seite ab, weil eine Nutzerin gerade danach gefragt hat.
- ClaudeBot — Crawler von Anthropic.
- PerplexityBot — erfasst Inhalte für den Index von Perplexity.
- Google-Extended — Sonderfall: kein eigener User-Agent, sondern ein reines Steuerungs-Token in der robots.txt. Es regelt die Verwendung für Gemini und verwandte Dienste, ohne das Crawling für die Google-Suche zu berühren.
Dass OpenAI und Google getrennte Kennungen für Training und für Suche eingeführt haben, ist die praktisch wichtigste Entwicklung der letzten Jahre: Sie macht die differenzierte Entscheidung überhaupt erst möglich.
Steuerung
Gesteuert wird über die robots.txt, mit einem Block je Kennung. Drei Einschränkungen gehören zur ehrlichen Darstellung:
- Freiwilligkeit. Das Protokoll kennt keine Durchsetzung. Große Anbieter halten sich daran, weil ihr Ruf daran hängt; Betreiber unbekannter Bots nicht.
- Keine Rückwirkung. Bereits verarbeitete Inhalte verschwinden durch eine spätere Sperre nicht aus einem trainierten Modell.
- Unvollständige Liste. Es entstehen laufend neue Kennungen. Eine Positivliste veraltet schneller, als sie gepflegt werden kann.
Wer eine harte Grenze braucht, muss auf Serverebene arbeiten — über Zugriffsregeln oder einen vorgelagerten Dienst. Die robots.txt ist eine Bitte, keine Sperre.
Typische Fehler
- Alles pauschal aussperren. Der häufigste Reflex, und meist der teuerste: Er trifft die Systeme, in denen man gefunden werden möchte.
- Training und Suche verwechseln.
GPTBotzu sperren hat nichts mit der Sichtbarkeit in ChatGPT Search zu tun — dafür istOAI-SearchBotzuständig. - Google-Extended für einen Crawler halten. Es ruft nichts ab; es ist ausschließlich ein Schalter.
- Sperre als Datenschutz. Was öffentlich erreichbar ist, wird auch von Bots gelesen, die sich nicht ausweisen.
Häufige Fragen
Soll man AI Crawler aussperren?
Differenziert. Ein Ausschluss reiner Trainingszugriffe kostet keine Sichtbarkeit. Ein Ausschluss der Suchindex- und Laufzeit-Kennungen bedeutet, in den Antworten dieser Systeme nicht mehr vorzukommen. Für Unternehmen, die auf Sichtbarkeit angewiesen sind, ist der pauschale Ausschluss selten die richtige Wahl.
Wie erkennt man Zugriffe von AI Crawlern?
In den Server-Logfiles über den User-Agent. Weil eine Kennung frei gefälscht werden kann, veröffentlichen die seriösen Anbieter zusätzlich IP-Bereiche, gegen die sich ein Zugriff prüfen lässt. Ohne diese Gegenprüfung ist die Zuordnung eine Vermutung.
Verhindert eine Sperre, dass Inhalte in KI-Antworten erscheinen?
Nur teilweise. Sie verhindert künftige eigene Abrufe der befolgenden Anbieter. Inhalte, die über Dritte zitiert oder aus älteren Datenbeständen stammen, bleiben davon unberührt.
Kostet häufiges Crawling Serverleistung?
Es kann. Bei umfangreichen Websites verursachen KI-Crawler inzwischen einen spürbaren Anteil des Traffics. Statt eines vollständigen Ausschlusses lässt sich das über Rate Limiting auf Serverebene begrenzen — die Sichtbarkeit bleibt erhalten, die Last sinkt.
Weiterführend: Welche Zugriffe im Serverprotokoll auftauchen und wie echte von gefälschten unterschieden werden, steht im Ratgeber KI-Sichtbarkeit messen.