Sehen Sie, ob Ihre Website KI-Crawler blockiert.
Eine Zeile in der robots.txt entscheidet, ob ChatGPT, Claude und Perplexity Ihre Website lesen und Ihre Marke zitieren können. Geben Sie die Domain ein und sehen Sie die 10 wichtigen Agenten, einzeln.
- Modul
- AEO/GEO
- Eingabe
- Eine Domain
- Läuft auf
- Rovemark-Server
- Kosten
- Kostenlos, ohne Anmeldung
Die Datei, die entscheidet, ob KI Sie zitieren darf
Die robots.txt liegt im Stammverzeichnis der Domain und ist das Erste, was jeder Crawler abfragt, bevor er eine Seite öffnet. Darin erklärt die Website, wer hinein darf und wer nicht. Bis 2023 hatte diese Liste nur ein Publikum: Suchmaschinen. Heute hat sie zwei, und die meisten Websites haben sie nie voneinander getrennt.
Das Tool ruft Ihre robots.txt ab, wendet die Regeln des Protokolls an, eine Gruppe mit Agentenname hat Vorrang vor dem Platzhalter, Allow hat auf demselben Pfad Vorrang vor Disallow, und liefert das Urteil für die 10 KI-Agenten, die heute am häufigsten unterwegs sind, getrennt nach ihrer jeweiligen Funktion.
- 01
Sie geben die Domain ein
Nur die Domain, ohne Anmeldung. Das Tool holt die robots.txt direkt von der Quelle, so wie es ein Crawler täte.
- 02
Die Regeln werden pro Agent angewendet
Es ist keine Textsuche: Die Datei wird so ausgewertet, wie das Protokoll es verlangt, samt Vorrang der spezifischen Gruppe vor dem Platzhalter.
- 03
Das Urteil kommt nach Rolle getrennt
Such- und Trainings-Crawler erscheinen in getrennten Blöcken, denn die einen zu blockieren ist eine Marketing-Entscheidung, die anderen zu blockieren eine Entscheidung über geistiges Eigentum.
- 01
Was ist die robots.txt und warum zählt sie für KI?
- Es ist eine Textdatei im Stammverzeichnis der Website, die festlegt, welche Roboter auf welche Pfade zugreifen dürfen. KI-Assistenten respektieren diese Datei: Wenn Ihre Domain den OAI-SearchBot blockiert, kann ChatGPT Ihre Seite nicht öffnen, um sie in einer Antwort zu zitieren, selbst wenn sie die beste Quelle zum Thema ist.
- 02
Was ist der Unterschied zwischen Such- und Trainings-Crawler?
- Der Such-Crawler (OAI-SearchBot, PerplexityBot, Claude-SearchBot) liest Ihre Seite in dem Moment, in dem jemand fragt, um die Antwort zu bauen und die Quelle mit einem Link zu nennen. Der Trainings-Crawler (GPTBot, Google-Extended, CCBot) sammelt Inhalte für künftige Modelle, ohne Rücklink. Den Trainings-Crawler zu sperren schützt Ihre Inhalte; den Such-Crawler zu sperren nimmt Sie aus der Antwort.
- 03
Entfernt das Sperren von GPTBot meine Marke aus ChatGPT?
- Nicht direkt. GPTBot ist der Trainings-Crawler von OpenAI. In Echtzeit suchen und Quellen zitieren OAI-SearchBot und ChatGPT-User. Sie können das Training blockieren und trotzdem weiterhin zitiert werden, mehrere Nachrichtenmedien machen genau das.
- 04
Meine Website hat keine robots.txt. Ist das schlecht?
- Nach dem Protokoll bedeutet das Fehlen der Datei, dass alles erlaubt ist. Daher ist kein KI-Roboter blockiert. Das ist kein Sichtbarkeitsproblem. Es ist ein Problem, wenn Sie dachten, Sie hätten Kontrolle, obwohl das nicht der Fall war.
- 05
Meine Website sperrt alles. Wie lasse ich nur die richtigen Crawler zu?
- Deklarieren Sie eine Gruppe mit dem Namen jedes Agenten, den Sie zulassen wollen. Die Regel des Protokolls lautet: Die benannte Gruppe schlägt den Platzhalter-User-agent, egal ob davor oder danach. Eine Gruppe mit leerem Disallow erlaubt den Agenten vollständig.
- 06
Wie oft sollte ich das prüfen?
- Immer wenn Sie CMS, CDN oder E-Commerce-Plattform wechseln, viele davon erzeugen die robots.txt selbst und überschreiben Ihre. Prüfen Sie auch, wenn ein neuer Agent erscheint: Die Liste der KI-Roboter hat sich seit 2023 mehrfach geändert.
Die robots.txt ist die Tür. Und dahinter?
KI hereinzulassen ist das Minimum. Zu wissen, was sie antwortet, wenn nach Ihrer Marke gefragt wird, und diese Antwort zu ändern, das leistet die Plattform.