GPTBot ist der Webcrawler von OpenAI, der öffentlich zugängliche Seiten abruft, um daraus Trainingsmaterial für die Sprachmodelle des Unternehmens zu gewinnen. Er identifiziert sich mit dem Kennzeichen GPTBot im User-Agent und lässt sich über die robots.txt gezielt steuern. Wer über GPTBot spricht, meint häufig „den Crawler von ChatGPT“ — und übersieht dabei, dass OpenAI mehrere … Weiterlesen