DEV Community

Tsari Bombelli
Tsari Bombelli

Posted on • Edited on • Originally published at bombelli-analytics.ch

llms.txt erklärt: Der Standard für KI-Crawler und LLMs

Ich werde in letzter Zeit oft gefragt, ob eine llms.txt jetzt Pflicht sei. Meine ehrliche Antwort: Nein, noch nicht. Die Datei ist schnell gebaut, sie schadet nie, und trotzdem verkauft die halbe GEO-Branche sie gerade als den einen Hebel, der Sie in ChatGPT sichtbar macht. Das ist sie nicht. Wer sie anlegt, sollte wissen, was sie realistisch leistet und was nicht.

Fangen wir bei dem an, was llms.txt überhaupt ist. Es ist eine simple Textdatei im Markdown-Format, die im Root-Verzeichnis Ihrer Website liegt, also unter ihre-domain.ch/llms.txt. Vorgeschlagen hat den Standard Jeremy Howard von Answer.AI, am 3. September 2024. Der Aufbau ist bewusst minimal: eine H1 mit dem Namen der Website, darunter optional ein kurzer Zusammenfassungssatz als Blockquote, und dann ein paar H2-Abschnitte mit Linklisten zu Ihren wichtigsten Seiten, jeweils mit einem Satz Beschreibung. Mehr braucht es nicht. Wer die ganze Dokumentation in einem Rutsch ausliefern will, kann zusätzlich eine llms-full.txt bereitstellen, die das gesamte Material als ein Markdown-Dokument bündelt. Anthropic macht das für die eigene Entwickler-Doku vor.

Konkret liest sich so eine Datei wie eine kurze Inhaltsübersicht: oben der Name mit einer Raute, darunter der Einzeiler, was Sie tun, dann Abschnitte wie "Services" oder "Ressourcen" mit je drei, vier Links und einem Satz Erklärung dahinter. Kein HTML, keine Verschachtelung, nichts Proprietäres. Genau diese Schlichtheit ist der Punkt: Ein KI-System kann das ohne Umschweife lesen und sieht auf einen Blick, worum es bei Ihnen geht.

So weit die Theorie, warum die Datei für GEO zählt. Sie spart dem System das Raten. Statt sich durch Ihre Navigation zu arbeiten, bekommt es Ihre eigene Priorisierung serviert, samt dem Kontext, in den Sie Ihre Seiten stellen. Bei einer grossen, verschachtelten Website ist das plausibel wertvoll. Bei einer schlanken Firmenseite mit zwölf Unterseiten sehe ich den Nutzen ehrlich gesagt kaum. Ob es die Zitierhäufigkeit in den Antworten wirklich hebt, kann ich Ihnen für einzelne Mandate nicht sauber belegen, dazu ist der Effekt zu klein und von allem anderen überlagert. Ich halte die llms.txt darum für saubere Fleissarbeit, nicht für einen Wachstumshebel.

Wer die Datei wirklich abholt

Jetzt der Teil, den die meisten Anleitungen weglassen. Eine Datei bereitzustellen heisst nämlich nicht, dass die grossen Crawler sie auch lesen. In den Logs, die ich mir angeschaut habe, taucht der GPTBot von OpenAI ab und zu bei der llms.txt auf, vereinzelt, nicht systematisch. Von ClaudeBot und PerplexityBot sehe ich keinen verlässlichen Zugriff auf die Datei selbst; deren Quellenauswahl läuft über ganz normales Crawling und Indexieren. Und Google sagt es offen: Gary Illyes von Google Search Central hat am 24. Juli 2025 klargestellt, dass Google llms.txt für die Suche nicht unterstützt und das auch nicht plant. Für die AI Overviews gilt schlicht normales SEO. Ob und wie die grossen KI-Crawler die Datei wirklich abholen, zeigt am Ende nur der eigene Server-Log, dazu habe ich einen eigenen Test mit echten Logdaten gemacht. Das ist die unbequeme Lage: Der Standard existiert, die flächendeckende Abholung nicht.

Wenn Sie sie bauen, dann richtig

Gegen eine llms.txt spricht trotzdem nichts, sie kostet ja fast nichts. Nur bauen Sie sie richtig. Kürze schlägt Vollständigkeit. Ich sehe immer wieder Dateien, in die jemand die halbe Sitemap gekippt hat, fünfzig Links ohne Rangfolge. Das macht das Gegenteil von dem, wofür die Datei da ist: Es verwischt Ihre Prioritäten, statt sie zu zeigen. Wenn ich so eine Datei auf fünf, sechs Kernseiten eindampfe, wird aus einer beliebigen Linkwand wieder eine klare Aussage, und genau das soll die Datei ja sein. Nehmen Sie also eine Handvoll Seiten, die wirklich zählen, und schreiben Sie zu jeder einen sachlichen Satz, was dort steht. "GEO-Audit: einmalige Analyse Ihrer KI-Sichtbarkeit" ist brauchbar, "revolutionäre Lösung" ist Lärm. Halten Sie die Links aktuell, tote Verweise geben dem System widersprüchliche Signale.

Noch kurz zur robots.txt, weil das oft durcheinandergeht: Die robots.txt sagt Crawlern, wo sie nicht hindürfen. Die llms.txt sagt KI-Systemen, was sie zuerst anschauen sollen. Beide vertragen sich, Sie können den Login-Bereich in der robots.txt sperren und in der llms.txt Ihre besten Seiten listen. Datenschutzrechtlich ist die Datei unkritisch, jedenfalls nach Schweizer DSG. Sie liegt öffentlich im Root, jeder kann sie im Browser aufrufen (sie versteckt nichts), und sie verarbeitet keine Personendaten. Genau deshalb gehört da nichts rein, was nicht ohnehin öffentlich ist: keine internen Pfade, keine Kundendaten. Behandeln Sie die llms.txt wie eine Visitenkarte, die am Empfang ausliegt.

Lohnt sich der Aufwand also heute schon? Für zwanzig Minuten Arbeit: ja, legen Sie die Datei an, sie ist bereit, falls die Crawler nachziehen. Nur erwarten Sie sich davon keine Sichtbarkeit, die Sie nicht ohnehin über gute, sauber strukturierte Inhalte bekommen. Die llms.txt ist die Kür. Wer seine KI-Sichtbarkeit ernsthaft bewegen will, fängt bei dem an, was die Crawler heute schon lesen.

Top comments (1)

Collapse
 
citedy profile image
Dmitry Sergeev

interessanter ansatz, frage mich nur ob die crawler das wirklich zuverlässig lesen oder ob sie trotzdem einfach den ganzen html-salat crawlen lol