Ein Large Language Model (LLM, deutsch: großes Sprachmodell) ist ein statistisches Modell, das aus sehr großen Textmengen gelernt hat, welche Wortfolgen aufeinander wahrscheinlich sind. Es erzeugt Sprache, indem es Schritt für Schritt das jeweils nächste Textstück vorhersagt.
Diese Beschreibung klingt unspektakulär, erklärt aber sowohl die Stärken als auch die Schwächen. Ein Sprachmodell hat keine Datenbank, in der Fakten nachgeschlagen werden. Es hat Muster. Was formuliert wie eine Auskunft klingt, ist eine Wahrscheinlichkeitsrechnung über Zeichenfolgen.
Wie ein Sprachmodell entsteht
Die Entwicklung verläuft in drei Phasen. Im Pretraining verarbeitet das Modell einen großen Textkorpus und lernt dabei Grammatik, Weltwissen, Stilebenen und Zusammenhänge — ohne Aufgabenstellung, allein durch das Vorhersagen fehlender Textteile.
Im Finetuning wird es auf konkrete Verwendungen ausgerichtet, etwa auf das Beantworten von Fragen statt auf das Fortsetzen von Sätzen. In der dritten Phase, dem Alignment, bewerten Menschen Antworten und das Modell wird auf die bevorzugten Muster hin nachjustiert.
Technische Grundlage ist seit 2017 die Transformer-Architektur, vorgestellt in der Arbeit Attention Is All You Need. Ihr Kern ist der Attention-Mechanismus: Das Modell gewichtet, welche Teile des bisherigen Textes für die nächste Vorhersage wichtig sind, statt nur die unmittelbar vorangehenden Wörter zu betrachten.
Kontextfenster und Wissensstand
Zwei Begrenzungen prägen die Praxis. Das Kontextfenster bestimmt, wie viel Text ein Modell gleichzeitig berücksichtigen kann — alles, was darüber hinausgeht, existiert für die aktuelle Antwort nicht. Der Wissensstand (Knowledge Cutoff) markiert das Ende der Trainingsdaten: Ereignisse danach kennt das Modell nicht.
Beide Grenzen werden in der Anwendung umgangen, indem dem Modell zur Laufzeit Material mitgegeben wird — durch eine Websuche, eine Dokumentenübergabe oder Retrieval Augmented Generation. Was in modernen Systemen wie Antworten aus dem Gedächtnis aussieht, ist häufig eine Zusammenfassung von Quellen, die Sekunden zuvor abgerufen wurden.
Warum das für Websites relevant ist
Ein Sprachmodell begegnet Inhalten auf zwei ganz verschiedenen Wegen, die regelmäßig verwechselt werden.
- Als Trainingsmaterial. Texte fließen in das Pretraining ein und prägen, welche Zusammenhänge das Modell als üblich ansieht. Eine einzelne Seite hat hier praktisch keinen Einfluss; wiederkehrende, übereinstimmende Aussagen über viele Quellen hinweg schon.
- Als abgerufene Quelle. Bei einer konkreten Anfrage werden Seiten geladen, gelesen und in der Antwort verarbeitet — teils mit Quellenangabe. Hier entscheidet sich, ob eine Website in generativen Antworten überhaupt vorkommt.
Der zweite Weg ist der beeinflussbare. Er hängt davon ab, ob ein AI Crawler die Seite abrufen darf, ob die Aussagen darauf eindeutig genug formuliert sind, um übernommen zu werden, und ob das Unternehmen als Entität überhaupt eingeordnet werden kann.
Typische Fehler in der Einschätzung
- Das Modell als Wissensdatenbank verstehen. Es speichert keine Fakten, sondern Wahrscheinlichkeiten. Daraus folgt die Halluzination — nicht als Fehlfunktion, sondern als Nebenwirkung des Verfahrens.
- Größe mit Qualität gleichsetzen. Mehr Parameter bedeuten nicht automatisch bessere Antworten. Datenqualität, Alignment und der Zugriff auf aktuelle Quellen wiegen in der Praxis oft schwerer.
- Antworten für reproduzierbar halten. Dieselbe Frage kann unterschiedliche Antworten erzeugen. Wer die Sichtbarkeit in generativen Systemen prüfen will, braucht wiederholte Messungen statt einer Stichprobe.
Häufige Fragen
Woher weiß ein Sprachmodell etwas?
Es weiß im engeren Sinn nichts. Es hat aus Texten gelernt, welche Formulierungen in welchem Zusammenhang wahrscheinlich sind. Was wie Wissen wirkt, ist die statistische Verdichtung vieler übereinstimmender Quellen — deshalb ist ein Modell dort zuverlässig, wo es breite Übereinstimmung gab, und unzuverlässig bei seltenen oder widersprüchlichen Angaben.
Sind LLM und Suchmaschine dasselbe?
Nein. Eine Suchmaschine sucht Dokumente und verweist darauf, ein Sprachmodell erzeugt Text. Moderne Systeme kombinieren beides: Die Suche liefert das Material, das Modell formuliert daraus die Antwort. Sichtbar wird diese Kombination etwa in den AI Overviews.
Kann man beeinflussen, was ein Modell über ein Unternehmen sagt?
Nicht direkt, aber mittelbar. Das Trainingsmaterial ist nicht steuerbar, die abrufbaren Quellen dagegen schon: konsistente Angaben über die eigene Website, Verzeichnisse und Erwähnungen Dritter hinweg erhöhen die Wahrscheinlichkeit, korrekt wiedergegeben zu werden.
Wie aktuell sind die Angaben eines Sprachmodells?
Ohne Websuche nur so aktuell wie die Trainingsdaten, deren Ende Monate zurückliegen kann. Mit Websuche so aktuell wie die abgerufenen Seiten. Ob im Einzelfall gesucht wurde, ist an den ausgewiesenen Quellen erkennbar.