Liest ChatGPT meine Website überhaupt?

OpenAI betreibt drei Crawler mit getrennten Aufgaben. Der OAI-SearchBot holt Seiten für die Suche in ChatGPT. Wird er ausgesperrt, erscheint die Seite nicht in den Suchantworten, höchstens als Link. Der GPTBot sammelt Inhalte für das Modelltraining. ChatGPT-User ruft eine Seite ab, wenn jemand in ChatGPT eine Aktion auslöst, und gehört nicht zur Suche. Nach der Doku von OpenAI sind die Einstellungen voneinander unabhängig (gelesen am 03.11.2026).

Für die Frage, ob du in ChatGPT auftauchen kannst, zählt also vor allem der OAI-SearchBot. Andere Anbieter haben eigene Crawler, bei uns stehen unter anderem Claude-SearchBot und PerplexityBot in der robots.txt.

Öffne deine-domain.de/robots.txt im Browser. Suche nach den Namen der Crawler und nach einem allgemeinen Block mit User-agent: *. Steht unter einem dieser Einträge Disallow: /, ist der Zugriff gesperrt. Einige Systeme, Plugins und Hoster tragen solche Sperren von sich aus ein, ohne dass jemand es bewusst entschieden hat.

Ändere die Datei, dauert es nach Angabe von OpenAI etwa 24 Stunden, bis die Systeme sich anpassen (gelesen am 03.11.2026). Zum Vergleich: Unsere eigene robots.txt nennt zwölf KI-Crawler namentlich und erlaubt sie (abgerufen am 03.11.2026).

Das ist die Stelle, an der es am häufigsten unbemerkt hakt. Eine Firewall, ein Bot-Schutz beim Hoster oder in einem CDN und Sicherheits-Plugins in WordPress entscheiden unabhängig von der robots.txt. Die Datei kann alles erlauben, und trotzdem kommt der Crawler nicht durch.

Ein eigener Befund dazu: Bei unserer Vercel-Firewall haben wir am 09.09.2026 von außen getestet. Um 05:38 Uhr antworteten unsere Seiten auf alle acht getesteten Crawler-Kennungen mit Status 200. Nach rund 60 Abrufen von derselben Adresse antworteten sie um 05:42 Uhr auf jede Kennung mit Status 403 und einer Sicherheitsprüfung, auch auf dieselbe Browser-Kennung, die vier Minuten vorher noch durchkam. Die Sperre hing an der IP-Adresse, nicht an der Kennung.

Daraus folgen zwei Dinge. Erstens: Ein Test mit einer vorgetäuschten Crawler-Kennung vom eigenen Rechner beweist nicht, dass der echte Crawler durchkommt, denn ein Schutz kann nach Herkunft und Verhalten entscheiden. Zweitens: Wer viele Testabrufe hintereinander schickt, sperrt sich womöglich selbst aus und misst dann die eigene Sperre. Ob der echte OAI-SearchBot bei uns durchkommt, haben wir damit nicht gemessen. Laut Vercel-Doku nimmt der Bot-Schutz geprüfte Bots automatisch aus (gelesen am 09.09.2026).

Als Gegenprobe haben wir am 03.11.2026 vier einzelne Abrufe mit den Kennungen OAI-SearchBot, GPTBot, ClaudeBot und PerplexityBot auf schoenegge.io geschickt, mit Pausen. Alle vier bekamen Status 200. Das zeigt nur, dass die Kennung allein nicht gesperrt wird, mehr nicht.

So kommst du ohne eigene Testflut an eine belastbare Antwort:

• Schau in das Log deiner Firewall oder deines Hosters, ob dort Abrufe mit den Crawler-Namen auftauchen und wie sie beantwortet wurden.
• Prüfe in den Einstellungen von Cloudflare, Hoster oder Sicherheits-Plugin, ob ein Bot-Schutz aktiv ist und ob er KI-Crawler gesondert behandelt. Die Bezeichnungen ändern sich je Anbieter, deshalb nennen wir hier keine Menüpunkte.
• Wenn du unsicher bist, frag den Hoster oder die Agentur, die die Seite betreut, konkret nach dem OAI-SearchBot.

Wenn der Zugriff frei ist, hast du die Voraussetzung erfüllt, mehr nicht. Ein Beispiel aus unserer Arbeit: Bei einem Onlineshop für Lebensmittel und Imkereibedarf erreichen GPTBot, ClaudeBot und PerplexityBot die Seite ohne Sperre (Analyse vom 09.10.2026). ChatGPT nennt den Shop trotzdem nur in 10 Prozent der zehn beobachteten Fragen und verlinkt ihn in 10 Prozent (SE Ranking AI Result Tracker, Prüfung vom 01.10.2026). Zehn Fragen sind eine kleine Stichprobe, sie zeigen eine Richtung und keine genaue Quote.

Ob dich ein KI-System nennt, hängt davon ab, ob die Antwort auf die Frage klar im Text steht und ob andere Seiten dich im gleichen Zusammenhang erwähnen. Eine Garantie für eine Nennung gibt es nicht, und kein Anbieter kann sie ehrlich geben.

Die llms.txt ist eine Textdatei im Stammverzeichnis, die einem KI-System kurz sagt, wer du bist und welche Seiten wichtig sind. Brauchen tust du sie nicht: Kein KI-System ist verpflichtet, sie zu lesen, und ihr Nutzen ist in der Branche umstritten. Sie ersetzt auch keine freie Zugangsprüfung. Ist der Crawler ausgesperrt, hilft die schönste Datei nicht.

Wichtiger ist, dass eine vorhandene Datei stimmt. Bei einem Shop auf Shopify lag die automatisch erzeugte, allgemeine Fassung vor, die weder Sortiment noch Betrieb beschreibt (Analyse vom 09.10.2026). In unseren Analysen achten wir bei solchen Dateien auf typische Fehler:

• Tote Links: jede URL in der Datei muss erreichbar sein.
• Navigationsreste als Titel, etwa „Skip to main content“ oder „mehr erfahren“, die dem Leser nichts über die Zielseite sagen.
• Doppelte Einträge und fehlerhafte Mailadressen.
• Aussagen, die so auf keiner Seite stehen. Eine falsche Datei ist schlechter als keine.

Prüfe außerdem, woher die Datei kommt. Erzeugt ein Plugin sie, überschreibt der nächste Lauf deine Handarbeit. Wir betreiben die llms.txt auf schoenegge.io selbst und prüfen jede URL darin, bevor sie live geht.

1. 01

   robots.txt lesen

   Steht für OAI-SearchBot oder für alle Crawler ein Disallow: / in der Datei? Dann Eintrag ändern und rund 24 Stunden warten.

2. 02

   Firewall und Plugins prüfen

   Bot-Schutz bei Hoster, CDN und in WordPress-Plugins ansehen und im Log nach den Crawler-Namen suchen.

3. 03

   llms.txt prüfen, falls vorhanden

   Jede URL öffnen, Beschreibung gegen deine echte Leistung lesen, Herkunft der Datei klären.

Warum findet ChatGPT meine Website nicht?

Häufige Ursachen sind eine Sperre in der robots.txt, eine Firewall oder ein Sicherheits-Plugin, das den Crawler abweist, oder schlicht, dass keine andere Quelle dich im Zusammenhang mit der Frage nennt. Die ersten beiden Ursachen prüfst du selbst, die dritte ist eine Frage von Inhalt und Erwähnungen.

Welche Crawler muss ich für ChatGPT erlauben?

Für ChatGPT Search zählt der OAI-SearchBot. GPTBot sammelt Inhalte für das Modelltraining, und ChatGPT-User ruft Seiten ab, wenn jemand in ChatGPT eine Aktion auslöst. Nach der Doku von OpenAI sind die Einstellungen voneinander unabhängig (gelesen am 03.11.2026).

Braucht meine Website eine llms.txt?

Nein. Kein KI-System ist verpflichtet, die Datei zu lesen. Wenn du eine anbietest, muss sie stimmen: richtige Beschreibung, funktionierende Links, keine Aussagen, die auf deiner Seite nicht stehen.

Reicht es, wenn die Seite gelesen werden darf?

Nein. Lesen dürfen ist die Voraussetzung, genannt werden ist etwas anderes. Bei einem Shop, den wir betreuen, erreichen die Crawler die Seite ohne Sperre, und ChatGPT nennt ihn trotzdem nur in einer von zehn beobachteten Fragen (SE Ranking AI Result Tracker, Prüfung vom 01.10.2026).