自社サイトがAI クローラーを遮断していないか。

robots.txtはドメインのルートにあり、どのクローラーもページを開く前に最初に確認します。ここでサイトは、誰を入れ、誰を入れないかを宣言します。2023年までは、この一覧の対象は検索エンジンだけでした。今は二つあり、大半のサイトは両者を分けていません。

このツールはrobots.txtを取得し、プロトコルのルールを適用します。エージェント名付きのグループがワイルドカードより優先され、同じパスではAllowがDisallowより優先されます。現在最も使われている10のAIエージェントについて、それぞれの役割ごとに判定を返します。