GPTBot ist der Webcrawler von OpenAI, der öffentlich zugängliche Seiten abruft, um daraus Trainingsmaterial für die Sprachmodelle des Unternehmens zu gewinnen. Er identifiziert sich mit dem Kennzeichen GPTBot im User-Agent und lässt sich über die robots.txt gezielt steuern.
Wer über GPTBot spricht, meint häufig „den Crawler von ChatGPT“ — und übersieht dabei, dass OpenAI mehrere getrennte Zugriffsarten betreibt, die unterschiedliche Zwecke verfolgen und einzeln geregelt werden.
Drei Kennzeichen, drei Zwecke
- GPTBot sammelt Material für das Training künftiger Modelle. Ein Ausschluss wirkt langfristig und betrifft nicht die Anzeige in aktuellen Antworten.
- OAI-SearchBot baut den Suchindex auf, aus dem Antworten mit Quellenangaben gespeist werden. Wer diesen ausschließt, verzichtet auf Sichtbarkeit in der Suchfunktion.
- ChatGPT-User ruft eine Seite ab, weil eine Nutzerin sie im Gespräch angefordert oder verlinkt hat. Dieser Zugriff ist kein Crawling, sondern die Folge einer konkreten Handlung.
Die Unterscheidung ist folgenreich: Ein pauschaler Ausschluss aller drei nimmt einem Unternehmen auch die Zitation in Antworten, die auf abgerufenen Quellen beruhen. Die aktuelle Aufstellung der Kennzeichen und die zugehörigen IP-Bereiche veröffentlicht OpenAI in der offiziellen Bot-Dokumentation.
Steuerung in der robots.txt
GPTBot beachtet das Robots Exclusion Protocol. Ein Ausschluss erfolgt über einen eigenen Abschnitt mit dem jeweiligen Kennzeichen; ein Eintrag für GPTBot gilt nicht automatisch für OAI-SearchBot. Beide sind eigenständige Namen und müssen einzeln adressiert werden.
Zwei Einschränkungen gehören zur ehrlichen Darstellung. Erstens ist die robots.txt eine Bitte, keine Sperre — Einhaltung ist Selbstverpflichtung, technisch durchgesetzt wird sie erst auf Serverebene. Zweitens wirkt ein Ausschluss nur nach vorn: Bereits verarbeitete Inhalte verschwinden dadurch nicht aus einem fertigen Modell.
Überprüfung im Logfile
Der User-Agent allein ist kein Nachweis, da er sich beliebig setzen lässt. Belastbar ist die Prüfung der abrufenden IP-Adresse gegen die von OpenAI veröffentlichten Bereiche. Wer im Logfile auffällige Zugriffe unter dem Namen eines AI Crawlers sieht, sollte diesen Abgleich vornehmen, bevor Maßnahmen ergriffen werden.
Blocken oder zulassen?
Die Entscheidung hängt vom Geschäftsmodell ab. Wer Inhalte verkauft oder deren Weiterverwendung ausschließen will, hat ein nachvollziehbares Interesse am Ausschluss des Trainingscrawlers. Wer über Auffindbarkeit gefunden wird, verliert durch einen pauschalen Ausschluss mehr, als er schützt.
In den meisten Fällen ist die differenzierte Lösung die richtige: Trainingszugriff nach eigenem Ermessen regeln, Zugriffe für Suche und nutzerausgelöste Abrufe offen halten.
Häufige Fragen
Schadet es dem Google-Ranking, GPTBot auszuschließen?
Nein. GPTBot hat mit der Google-Suche nichts zu tun; beide Systeme sind vollständig getrennt. Betroffen sind allein Verarbeitung und Sichtbarkeit innerhalb der OpenAI-Dienste.
Verschwinden bereits gelernte Inhalte nach einem Ausschluss?
Nein. Ein Eintrag in der robots.txt verhindert künftige Abrufe. Was in einem bereits trainierten Modell steckt, bleibt dort.
Woran erkennt man echte Zugriffe von GPTBot?
Am Abgleich der IP-Adresse mit den von OpenAI veröffentlichten Bereichen. Der Name im User-Agent lässt sich fälschen und wird von Scrapern regelmäßig missbraucht.
Reicht ein Ausschluss von GPTBot, um alle KI-Zugriffe zu unterbinden?
Nein. Andere Anbieter betreiben eigene Crawler unter eigenen Namen, und OpenAI selbst nutzt weitere Kennzeichen. Wer alle erfassen will, muss sie einzeln benennen und die Liste regelmäßig prüfen.