llms.txt ist eine vorgeschlagene Textdatei im Wurzelverzeichnis einer Website, die Sprachmodellen in strukturierter Form mitteilen soll, welche Inhalte die Website enthält und welche davon für eine Auswertung besonders geeignet sind.
Die Datei ist kein Standard, sondern ein Vorschlag — und einer, dessen praktischer Nutzen derzeit offen ist. Wer sie einsetzt, sollte wissen, worauf er sich einlässt.
Herkunft und Idee
Der Vorschlag stammt von Jeremy Howard und wurde im September 2024 veröffentlicht. Die Spezifikation beschreibt eine Datei unter /llms.txt im Markdown-Format: eine Überschrift mit dem Namen des Projekts, eine kurze Beschreibung und darunter thematisch gegliederte Listen mit Links und einer Zeile Erläuterung je Eintrag.
Die Begründung ist einleuchtend. Sprachmodelle arbeiten mit einem begrenzten Kontextfenster. HTML-Seiten enthalten Navigation, Werbung, Skripte und Layoutgerüst — Material, das Platz kostet und keine Information trägt. Eine kompakte, bereinigte Übersicht würde diesen Aufwand ersparen.
Was llms.txt nicht ist
| robots.txt | XML-Sitemap | llms.txt | |
|---|---|---|---|
| Zweck | Zugriff steuern | URLs melden | Inhalte erschließen |
| Status | etablierte Konvention | etablierter Standard | Vorschlag |
| Format | Textdirektiven | XML | Markdown |
| Von der Google-Suche genutzt | ja | ja | nein |
| In Lighthouse geprüft | nein | nein | ja |
Die häufigste Verwechslung betrifft die erste Zeile: robots.txt regelt, ob ein Bot etwas abrufen darf. llms.txt macht keine Zugriffsaussage. Wer verhindern will, dass ein AI Crawler Inhalte einliest, erreicht das über robots.txt — nicht über llms.txt.
Der Stand: Google widerspricht sich — scheinbar
Zum Stellenwert der Datei gibt es aus dem Hause Google zwei Aussagen, die sich auf den ersten Blick ausschließen. Beide sind richtig, weil sie von verschiedenen Dingen sprechen.
Das Chrome-Team prüft die Datei. Mit Lighthouse 13.3 kam die Kategorie Agentic Browsing hinzu, derzeit ausdrücklich als in Entwicklung gekennzeichnet. Sie umfasst vier Prüfungen: den Aufbau des Accessibility-Baums, die Auszeichnung von Formularen über WebMCP, die Layoutstabilität — und die Konformität der llms.txt, also ob Überschriften, Umfang und Links den Empfehlungen entsprechen. Die Begründung in der Dokumentation: ohne llms.txt brauchen Agenten länger, um Struktur und Kernangebot einer Website zu erfassen.
Die Google-Suche verneint eine Wirkung. Im Leitfaden zur Sichtbarkeit in generativen Suchergebnissen steht, es brauche keine zusätzlichen maschinenlesbaren Dateien, kein besonderes Markup und kein Markdown, um dort zu erscheinen. John Mueller hat es zugespitzt: Es geschehe nicht für die Suche. Der Vergleich, den er zieht, trifft die Sache — ein gut platzierter Handlungsaufruf verbessert die Abschlussquote, ohne das Ranking zu berühren.
Aufgelöst wird der Widerspruch durch die Frage, wann die Datei wirkt. Für das Gefundenwerden leistet sie nichts. Für die Arbeit eines Agenten, der bereits auf der Website ist, kann sie den Weg abkürzen. Das sind zwei verschiedene Phasen — und wer llms.txt als Rankingmaßnahme verkauft, verwechselt sie.
Der ältere Einwand bleibt daneben bestehen: Eine Datei, in der ein Betreiber selbst erklärt, welche Inhalte die wichtigsten sind, ist eine Behauptung ohne Prüfinstanz. Suchsysteme haben sich historisch von selbstdeklarierten Angaben weg- und zu beobachtbaren Signalen hinbewegt — das Meta-Keywords-Tag ist das bekannteste Beispiel.
Wann sich der Aufwand trotzdem lohnt
Trotz der ungeklärten Wirkung gibt es Fälle, in denen die Datei sinnvoll ist:
- Umfangreiche Dokumentationen. Bei technischen Produktdokumentationen ist eine kuratierte Übersicht auch für Menschen und für eigene Anwendungen nützlich. Der Nutzen entsteht unabhängig davon, ob ein Modell die Datei liest.
- Der Aufwand ist gering. Eine gepflegte llms.txt für eine mittelgroße Website ist eine Stunde Arbeit, kein Projekt.
- Optionswert. Sollte sich das Format durchsetzen, ist man vorbereitet. Das Risiko beschränkt sich auf die investierte Zeit.
Entscheidend ist die Reihenfolge. llms.txt ist eine Ergänzung, nachdem die tragenden Arbeiten erledigt sind — saubere strukturierte Daten, verarbeitbare Inhalte, eine erkennbare Entität. Als Ersatz für diese Grundlagen taugt sie nicht, und als Abkürzung schon gar nicht.
Aufbau einer llms.txt
Die Spezifikation sieht vier Bestandteile vor: eine H1 mit dem Namen der Website, ein Zitatblock mit einer Kurzbeschreibung, optional erläuternde Absätze und schließlich H2-Abschnitte mit Linklisten. Jeder Link erhält eine knappe Erklärung, wozu die Seite dient. Ein optionaler Abschnitt Optional markiert Inhalte, die bei Platzmangel entfallen dürfen.
Verbreitet ist zusätzlich eine llms-full.txt, die nicht nur verlinkt, sondern die Inhalte selbst enthält. Bei größeren Websites entstehen dabei sehr umfangreiche Dateien, deren Pflege schnell zur Last wird und die schon deshalb häufig veralten.
Typische Fehler
- Als Zugriffssteuerung missverstanden. Die Datei sperrt nichts und erlaubt nichts.
- Einmal erstellt, nie gepflegt. Eine veraltete Übersicht ist schlechter als keine, weil sie auf nicht mehr existierende Inhalte verweist.
- Alles hineingeschrieben. Die Datei lebt von Auswahl. Eine vollständige Liste aller URLs ist eine Sitemap, keine Erschließung.
- Als Rankingmaßnahme verkauft. Die Prüfung in Lighthouse wird gelegentlich als Beleg dafür angeführt, dass die Datei das Ranking beeinflusse. Sie tut es nicht — Google sagt das ausdrücklich.
Häufige Fragen
Wird llms.txt von Google ausgewertet?
Das kommt darauf an, welchen Teil von Google man fragt. Lighthouse prüft die Datei seit Version 13.3 in der Kategorie Agentic Browsing auf Konformität. Die Google-Suche dagegen stellt ausdrücklich fest, dass keine zusätzlichen maschinenlesbaren Dateien nötig sind, um in generativen Suchergebnissen zu erscheinen. Für das Ranking ist die Datei ohne Belang; für die Arbeit eines Agenten auf der Website kann sie nützlich sein.
Schadet eine llms.txt?
Nein. Sie ist eine zusätzliche Textdatei ohne Einfluss auf Crawling, Indexierung oder Ranking. Das einzige reale Risiko ist eine veraltete Datei, die auf nicht mehr vorhandene Seiten verweist — und der Zeitaufwand, der an anderer Stelle mehr gebracht hätte.
Ersetzt llms.txt die XML-Sitemap?
Nein, die beiden erfüllen verschiedene Aufgaben. Die Sitemap meldet Suchmaschinen vollständig, welche URLs existieren, und wird nachweislich verwendet. llms.txt trifft eine redaktionelle Auswahl für maschinelle Leser und wird bislang von niemandem nachweislich verwendet.
Wo muss die Datei liegen?
Im Wurzelverzeichnis der Domain, erreichbar unter /llms.txt, ausgeliefert als text/plain oder text/markdown. Eine Ablage in Unterverzeichnissen sieht die Spezifikation nicht vor.