Recherche-Ratgeber · Website/Hosting

KI-Crawler steuern: GPTBot, ClaudeBot und Google-Extended in der robots.txt

Recherche-Ratgeber · Stand Oktober 2026 · kein Praxistest · veröffentlicht 22.10.2026 · aktualisiert 26.10.2026 · 8 Min · CompareAI Editorial

Teil der Themenübersicht Website & Hosting für Freelancer: Alle Ratgeber im Überblick

Hinweis: Dieser Beitrag ist eine Recherche auf Basis öffentlicher Anbieterangaben und Gesetzestexte (Stand Okt 2026), kein Praxistest. Preise und Limits können sich ändern, prüfe sie vor dem Kauf auf der verlinkten Quelle. Keine Rechts- oder Steuerberatung.

Immer mehr Besuche auf Websites stammen nicht von Menschen, sondern von Crawlern der KI-Anbieter. Manche sammeln Inhalte fürs Training, andere bauen einen Suchindex für ChatGPT oder Claude auf, wieder andere rufen eine Seite nur ab, weil ein Nutzer im Chat danach gefragt hat. Für Freelancer mit Portfolio, Blog oder Fachartikeln stellt sich die Frage: Will ich das – und wenn ja, wofür? Dieser Ratgeber erklärt die wichtigsten Bots nach den Dokumentationen von OpenAI, Anthropic und Google (Stand Oktober 2026) und zeigt, wie du sie per robots.txt getrennt steuerst. Ob sich jeder Crawler daran hält, haben wir nicht überprüft.

Die robots.txt in einem Absatz

Die robots.txt ist eine Textdatei im Hauptverzeichnis deiner Domain (zum Beispiel https://deine-domain.de/robots.txt). Darin legst du pro „User-agent“ fest, welche Pfade ein Crawler abrufen darf. Sie ist eine Bitte, keine technische Sperre: Seriöse Anbieter halten sich nach eigener Aussage daran, Zugriffsschutz für vertrauliche Inhalte ersetzt sie nicht. Bei Baukästen wie Wix oder WordPress.com bearbeitest du die Datei meist über die SEO-Einstellungen, bei klassischem Hosting wie Hostinger direkt im Dateimanager.

Die wichtigsten KI-Bots

Token in robots.txt	Anbieter	Zweck laut Anbieter
GPTBot	OpenAI	Inhalte, die für das Training generativer Foundation-Modelle genutzt werden können
OAI-SearchBot	OpenAI	Websites in den Suchergebnissen von ChatGPT anzeigen
ChatGPT-User	OpenAI	Abruf einzelner Seiten, wenn Nutzer in ChatGPT danach fragen; kein automatisches Crawlen, robots.txt gilt hier laut OpenAI möglicherweise nicht
ClaudeBot	Anthropic	Sammeln von Trainingsdaten
Claude-SearchBot	Anthropic	Indexierung für die Suchqualität
Claude-User	Anthropic	Abruf von Seiten auf Anfrage von Nutzern
Google-Extended	Google	Steuert Training künftiger Gemini-Modelle und Grounding in Gemini-Apps und Vertex AI; eigener Token, kein eigener Crawler

Laut OpenAI „Overview of OpenAI Crawlers“, Anthropic-Hilfecenter und Google „Common crawlers“ (Abruf 22.10.2026).

Training und Suche sind getrennt

Der wichtigste Punkt: Bei OpenAI sind die Einstellungen laut Dokumentation unabhängig voneinander. Du kannst OAI-SearchBot erlauben, damit deine Seiten in ChatGPT-Suchantworten auftauchen, und gleichzeitig GPTBot sperren, um zu signalisieren, dass deine Inhalte nicht fürs Training genutzt werden sollen. Seiten, die OAI-SearchBot sperren, erscheinen laut OpenAI nicht in ChatGPT-Suchantworten, höchstens noch als Navigationslink. Änderungen an der robots.txt brauchen bei OpenAI nach eigener Angabe rund 24 Stunden, bis sie in der Suche greifen.

Bei Google ist es anders: Google-Extended beeinflusst laut Google weder die Aufnahme in die Google-Suche noch das Ranking. Wer Google-Extended sperrt, verschwindet also nicht aus der Suche. Die KI-Übersichten in der Google-Suche selbst steuerst du dagegen nicht über Google-Extended, sondern über die normalen Googlebot-Regeln und Snippet-Angaben – mehr dazu im Ratgeber Google KI-Übersichten und SEO.

Beispiel: Suche erlauben, Training sperren

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://deine-domain.de/sitemap.xml

Das ist ein Beispiel, keine Empfehlung für jede Website. Wer möglichst oft in KI-Antworten zitiert werden möchte, sperrt eher gar nichts. Wer Texte, Fotos oder Illustrationen verkauft, möchte dagegen eher nicht, dass sie ins Training einfließen. Anthropic weist darauf hin, dass die Regeln für jede Subdomain einzeln in deren robots.txt stehen müssen und dass das Sperren von IP-Adressen kein zuverlässiger Weg zum Ausschluss ist.

Was die robots.txt nicht kann

Nicht rückwirkend: Bereits gesammelte Inhalte werden durch eine neue Regel nicht aus bestehenden Modellen entfernt.
Nutzer-Abrufe: Fragt jemand in ChatGPT direkt nach deiner Seite, kann ChatGPT-User sie abrufen; OpenAI schreibt, dass robots.txt hier möglicherweise nicht gilt.
Andere Anbieter: Es gibt viele weitere Crawler. Die Liste oben deckt nur drei große Anbieter ab.
Kein Rechtsvorbehalt im engeren Sinn geprüft: Ob und wie eine robots.txt als maschinenlesbarer Nutzungsvorbehalt nach § 44b Urheberrechtsgesetz wirkt, ist eine juristische Frage, die wir hier nicht beantworten.

Und was ist mit llms.txt?

Manche Tools und Agenturen empfehlen eine zusätzliche Datei llms.txt. Google schreibt in seiner Dokumentation zu KI-Funktionen in der Suche ausdrücklich, dass keine neuen maschinenlesbaren Dateien, KI-Textdateien oder spezielles Markup nötig sind, um dort zu erscheinen. Eine llms.txt kann für andere Dienste nützlich sein, ist für Google aber kein Ranking- oder Aufnahmekriterium.

Checkliste

Entscheiden: Sichtbarkeit in KI-Suche, Training oder beides?
Aktuelle robots.txt im Browser aufrufen und sichern.
Gewünschte Regeln pro Bot ergänzen, Sitemap-Zeile beibehalten.
Mit dem robots.txt-Bericht der Google Search Console prüfen, ob Googlebot nicht versehentlich gesperrt ist.
Server-Logs oder Statistik gelegentlich auf neue Bots prüfen.

Anbieterseiten

Affiliate-Hinweis (Werbung): Links mit Partnerstatus sind als „sponsored“ markiert. Für dich ändert sich der Preis nicht.

Hostinger öffnen Profil
WordPress.com öffnen Profil
Wix öffnen Profil

FAQ

Verliere ich Google-Rankings, wenn ich Google-Extended sperre?

Laut Google nein. Google-Extended beeinflusst weder die Aufnahme in die Google-Suche noch das Ranking.

Wie sperre ich nur das KI-Training von OpenAI?

Mit einer Regel für den User-agent GPTBot. OAI-SearchBot kannst du getrennt erlauben, damit deine Seiten weiter in der ChatGPT-Suche erscheinen können.

Halten sich alle KI-Crawler an die robots.txt?

OpenAI, Anthropic und Google geben an, die Regeln zu beachten, mit Ausnahmen für nutzerinitiierte Abrufe. Für andere Crawler können wir das nicht bestätigen.

Muss ich jede Subdomain einzeln konfigurieren?

Ja, die robots.txt gilt jeweils nur für die Domain oder Subdomain, unter der sie liegt. Anthropic weist ausdrücklich darauf hin.

Brauche ich eine llms.txt?

Für Google laut dessen Dokumentation nicht. Ob andere Dienste die Datei auswerten, ist von Anbieter zu Anbieter verschieden.