AI-Crawler-Check — welche AI-Bots Ihre Website erreichen und was jede Sperre kostet

Geben Sie oben die Domain ein. Der Check ruft /robots.txt ab und ermittelt die Regel, die für GPTBot tatsächlich gilt: die eigene User-agent-Gruppe, falls die Datei eine hat, sonst die Wildcard-Gruppe — nie beide, denn ein Bot, der in einer eigenen Gruppe genannt ist, liest die Wildcard-Gruppe überhaupt nicht mehr. Sie erhalten das Ergebnis und die genaue Zeile, die es ausgelöst hat. GPTBot ist der Trainings-Crawler; eine Sperre ist hier also eine Entscheidung über die Lizenzierung Ihrer Inhalte, keine Entscheidung über die Suche.

Verschiedene Aufgaben, getrennte Regeln. GPTBot sammelt Seiten, um OpenAI-Modelle zu trainieren. OAI-SearchBot baut den Index auf, aus dem ChatGPT Search schöpft, wenn es mit Links antwortet. Sperren Sie GPTBot, bleiben Ihre Texte aus dem Training heraus, und daran, ob ChatGPT Sie zitieren kann, ändert sich nichts; sperren Sie OAI-SearchBot, fallen Sie aus dem Quellenpool. Websites, die das Erste wollten und eine einzige Pauschalregel geschrieben haben, haben versehentlich das Zweite getan.

Ja — und das ist die nützlichste Information auf dieser Seite. ChatGPT Search erreicht Seiten über OAI-SearchBot für die Indexierung und über ChatGPT-User für einen Live-Abruf während eines Gesprächs. Lassen Sie diese beiden zu und sperren Sie GPTBot, dann haben Sie das Training ausgeschlossen und bleiben trotzdem voll zitierfähig.

Der Abrufdienst, den Nutzer auslösen. Er lädt genau eine Seite in dem Moment, in dem jemand nach dieser URL fragt oder das Modell für ihn im Web recherchiert — Ihre Website crawlt er nicht flächendeckend. Sperren Sie ihn, kann ChatGPT Ihre Seite in einem Gespräch nicht live öffnen, selbst wenn jemand den Link selbst eingefügt hat.

Dieselbe Trennung zwischen Indexierung und Live-Abruf wie bei OpenAI. PerplexityBot baut den Antwortindex auf; Perplexity-User ruft eine Seite auf Anfrage ab, wenn ein Nutzer auf sie verweist. Wer den ersten sperrt, verschwindet aus den indexierten Quellen von Perplexity. Wer nur den zweiten sperrt, bleibt indexiert, ist im entscheidenden Moment aber nicht erreichbar.

Weder noch. Google-Extended ist ein Trainingsschalter für Gemini und Vertex AI. Googlebot crawlt, rankt und speist AI Overviews, ganz gleich, was Sie für Google-Extended festlegen — eine Sperre kostet Sie in der Suche also nichts und bringt Ihnen in AI-Antworten nichts. Behandeln Sie sie als Frage der Rechte, nicht als Hebel für Sichtbarkeit.

Geben Sie ihm eine Gruppe mit User-agent: ClaudeBot und entweder keinem passenden Disallow oder einem expliziten Allow: /. Ein Haken, über den viele stolpern: Anthropic betreibt drei Agents — ClaudeBot für das allgemeine Crawling, Claude-SearchBot für den Suchindex, Claude-User für Live-Abrufe. Eine Regel nur für ClaudeBot überlässt die beiden anderen dem, was in der Wildcard-Gruppe steht.

Ja, und zwar unabhängig von der robots.txt. Cloudflare und andere CDN- oder WAF-Schichten können Bots nach User-Agent, ASN oder über verwaltete Regelsätze vom Typ «AI-Bots blockieren» mit einer Challenge prüfen oder abweisen. Deshalb meldet dieses Tool «Laut robots.txt erlaubt» und nie «AI erreicht Ihre Website» — das sind zwei verschiedene Aussagen, und die zweite kann dieser Check nicht treffen.

Fast nie wegen der robots.txt, die nur höflich bittet und selbst nichts zurückweist. Ein 403 kommt von einer Firewall, vom Bot-Management eines CDN, von einem Rate-Limiter oder von einer Serverregel, die den User-Agent oder den IP-Bereich abweist. Besteht Ihre robots.txt hier den Check und sehen Bots trotzdem 403, liegt die Lösung in Ihrer WAF-Konfiguration, nicht in dieser Datei.

Sperren Sie die Trainings-Agents — GPTBot, Google-Extended, CCBot, Applebot-Extended, Meta-ExternalAgent — und lassen Sie die Agents für Suche und Abruf zu: OAI-SearchBot, PerplexityBot, Claude-SearchBot, ChatGPT-User, Claude-User. Geben Sie jedem eine eigene User-agent-Gruppe. Regeln werden über Gruppen hinweg nicht zusammengeführt; das funktioniert also nur, wenn jeder Agent ausdrücklich genannt ist. Weiter oben finden Sie eine Vorlage zum Kopieren.

Nein, und der Irrtum ist teuer. Die robots.txt steuert das Crawling; eine gesperrte URL kann trotzdem als blosser Link indexiert werden, wenn andere Seiten auf sie verweisen, und sie wirkt dann schlechter, weil sie keinen Inhalt hat. Um eine Seite aus einem Index herauszuhalten, brauchen Sie noindex in einem Meta-Robots-Tag oder einem X-Robots-Tag-Header — und den kann der Crawler nur lesen, wenn er die Seite abrufen darf.

Bei jedem Deployment, das die robots.txt berührt, nach jeder Änderung am CDN oder an der WAF und nach einer Plattformmigration — dort entstehen stille Sperren. Darüber hinaus genügt ein Quartalsrhythmus, um die User-Agents zu erfassen, die Anbieter ohne Ankündigung hinzufügen; das Register hinter diesem Tool wird im selben Rhythmus mit der Dokumentation der Anbieter abgeglichen.

Die robots.txt verrät das nicht; sie sagt nur, was erlaubt ist. Öffnen Sie Ihr Server- oder CDN-Log und filtern Sie nach den User-Agent-Strings GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot und Perplexity-User. In Cloudflare zeigt Security → Analytics mit einem User-Agent-Filter jeden davon pro Tag; unter nginx oder Apache leistet ein grep über das Access-Log dasselbe. Keine Treffer bedeuten, dass der Bot nicht gekommen ist — ganz gleich, was die robots.txt erlaubt.

Prüfen Sie die Quell-IP, nicht den String. OpenAI veröffentlicht JSON-Listen der IP-Bereiche von GPTBot, OAI-SearchBot und ChatGPT-User, und Perplexity veröffentlicht die Bereiche seiner Bots; Googlebot wird über einen Reverse-DNS-Lookup bestätigt, der auf googlebot.com oder google.com auflöst. Anthropic hat keine feste Liste veröffentlicht, ClaudeBot wird deshalb nach seinem Verhalten beurteilt: Er liest zuerst die robots.txt und crawlt in gleichmässigem Tempo. Eine Anfrage mit dem richtigen User-Agent von einer Adresse ausserhalb der veröffentlichten Bereiche stammt von einem Scraper, der sich den Namen leiht — Sie können ihn sperren, ohne den echten Crawler zu treffen.

Ihr Log, kein öffentlicher Checker. OAI-SearchBot und ChatGPT-User hinterlassen gewöhnliche HTTP-Anfragen im Access-Log, mit ihrem User-Agent und einer OpenAI-IP; ein Log-Analyse-Tool, die Bot-Analytics von Cloudflare oder ein einzeiliger grep zeigen also die genauen Seiten und Zeitpunkte. Dieser Check beantwortet die Frage davor: ob diese Bots überhaupt hineindürfen.