Kurzantwort: Mit der robots.txt legst du fest, welche KI-Crawler deine Website lesen dürfen. Wer in KI-Antworten genannt werden möchte, sollte die Such- und Antwort-Crawler zulassen. Die Trainings-Crawler zu sperren ist eine legitime Entscheidung und verhindert für sich genommen keine Nennung. Achtung: Eine Firewall oder ein CDN kann Bots unabhängig von der robots.txt abweisen.
Stand: Oktober 2026. Crawler-Namen und Verhalten ändern sich; prüfe die Dokumentation der Anbieter.
Training oder Suche: der entscheidende Unterschied
KI-Anbieter betreiben mehrere Crawler mit unterschiedlichem Zweck. Trainings-Crawler sammeln Inhalte für das Modelltraining. Such- und Antwort-Crawler rufen Seiten ab, um aktuelle Fragen zu beantworten und Quellen zu nennen. Nur Letztere entscheiden darüber, ob du in Antworten zitiert werden kannst.
Die wichtigsten KI-Crawler im Überblick
| Crawler | Anbieter | Zweck |
|---|---|---|
| GPTBot | OpenAI | Training |
| OAI-SearchBot | OpenAI | Suche in ChatGPT |
| ChatGPT-User | OpenAI | Abruf auf Nutzeranfrage |
| ClaudeBot | Anthropic | Training |
| Claude-SearchBot | Anthropic | Suche |
| Claude-User | Anthropic | Abruf auf Nutzeranfrage |
| PerplexityBot | Perplexity | Suchindex |
| Perplexity-User | Perplexity | Abruf auf Nutzeranfrage |
| Google-Extended | Steuerung der Nutzung für Gemini-Modelle, kein Einfluss auf Suchindex | |
| CCBot | Common Crawl | Offenes Web-Archiv, von vielen Modellen genutzt |
Beispiele für die robots.txt
Alles erlauben (Standard, wenn nichts eingetragen ist):
User-agent: *
Allow: /Training sperren, Suche und Antworten erlauben:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Wenn die robots.txt nicht reicht: Firewall und CDN
Die robots.txt ist nur eine Bitte an Crawler. Dienste wie Cloudflare bieten Voreinstellungen wie „KI-Bots blockieren“, die Crawler unabhängig von der robots.txt abweisen. Dann sieht deine robots.txt offen aus, die Bots bekommen die Seite aber nicht. Prüfe die Einstellungen deines CDN oder Hosters, ob KI-Bots durchgelassen werden, wenn du das möchtest.
Wie prüfst du, ob alles stimmt?
- robots.txt unter
deine-domain.de/robots.txtaufrufen und Regeln für die Crawler lesen - Firewall- und CDN-Einstellungen auf Bot-Blockaden prüfen
- Mit einem Audit-Tool testen, etwa SEOnautik oder Sitequiry, die KI-Crawler-Zugang prüfen
Den größeren Zusammenhang erklärt der Beitrag Was ist GEO?.
Häufige Fragen
Sollte ich KI-Crawler grundsätzlich sperren?
Das ist eine Abwägung. Wer nicht möchte, dass Inhalte für das Modelltraining genutzt werden, sperrt die Trainings-Crawler. Wer in KI-Antworten genannt werden will, sollte Such- und Antwort-Crawler zulassen.
Hat Google-Extended Einfluss auf mein Google-Ranking?
Nein, es steuert die Nutzung für Gemini-Modelle und beeinflusst den Suchindex nicht.
Halten sich alle Crawler an die robots.txt?
Seriöse Anbieter dokumentieren das. Garantiert ist es nicht; für harte Sperren braucht es technische Maßnahmen.
Fazit
Unterscheide Training und Suche, trage deine Entscheidung in die robots.txt ein und prüfe zusätzlich Firewall und CDN. Nur dann entspricht das technische Verhalten deiner Absicht.
