robots.txt란 무엇이고 왜 AI에 중요한가요?

사이트 루트에 있는 텍스트 파일로, 어떤 로봇이 어떤 경로에 접근할 수 있는지 선언합니다. AI 어시스턴트는 이 파일을 따릅니다. 도메인에서 OAI-SearchBot을 차단하면, 해당 주제에 관해 최고의 출처여도 ChatGPT는 답변에서 인용하기 위해 페이지를 열 수 없습니다.

검색 크롤러와 학습 크롤러는 어떻게 다른가요?

검색 크롤러(OAI-SearchBot, PerplexityBot, Claude-SearchBot)는 누군가 질문하는 그 순간 페이지를 읽어 답변을 구성하고 링크로 출처를 밝힙니다. 학습 크롤러(GPTBot, Google-Extended, CCBot)는 미래의 모델을 학습시키려 내용을 수집하며, 링크는 돌려주지 않습니다. 학습 쪽을 막으면 콘텐츠를 지키게 되고, 검색 쪽을 막으면 답변에서 빠지게 됩니다.

GPTBot을 막으면 브랜드가 ChatGPT에서 사라지나요?

직접적으로는 아닙니다. GPTBot은 OpenAI의 학습 수집기입니다. 실시간으로 검색하고 출처를 인용하는 것은 OAI-SearchBot과 ChatGPT-User입니다. 학습은 차단하면서 계속 인용될 수 있으며, 여러 뉴스 매체가 정확히 그렇게 하고 있습니다.

사이트에 robots.txt가 없습니다. 나쁜 건가요?

프로토콜상 파일이 없으면 모든 것이 허용된다는 뜻이므로, 차단된 AI 로봇은 없습니다. 가시성 문제는 아닙니다. 통제하고 있다고 생각했지만 실제로는 그렇지 않았다는 것이 문제입니다.

사이트가 전부 막고 있습니다. 필요한 크롤러만 어떻게 여나요?

허용하려는 에이전트마다 그 이름을 딴 그룹을 선언하세요. 프로토콜 규칙상 이름이 붙은 그룹이 와일드카드 User-agent를 이깁니다. 앞에 있든 뒤에 있든 마찬가지입니다. Disallow를 비워 둔 그룹은 해당 에이전트를 전면 허용합니다.

얼마나 자주 확인해야 하나요?

CMS, CDN 또는 전자상거래 플랫폼을 바꿀 때마다 확인하세요. 많은 서비스가 robots.txt를 자동으로 생성해 기존 파일을 덮어씁니다. 새 에이전트가 등장할 때도 확인할 가치가 있습니다. AI 로봇 목록은 2023년 이후 여러 번 바뀌었습니다.

도구

사이트가 다음을 하는지 확인하세요 AI 크롤러를 막고 있는지 확인하세요.

robots.txt의 한 줄이 ChatGPT, Claude, Perplexity가 사이트를 읽고 브랜드를 인용할 수 있는지를 결정합니다. 도메인을 입력하고 중요한 10개 에이전트를 하나씩 확인하세요.

모듈: AEO/GEO
입력: 도메인 하나
실행 위치: Rovemark 서버
비용: 무료, 가입 불필요

이 도구가 읽는 것

AI가 당신을 인용할 수 있는지 결정하는 파일

robots.txt는 도메인 루트에 있으며, 모든 크롤러가 페이지를 열기 전에 가장 먼저 요청하는 항목입니다. 여기서 사이트는 누가 들어올 수 있고 누가 들어올 수 없는지 선언합니다. 2023년까지 이 목록의 대상은 검색엔진 하나뿐이었습니다. 지금은 둘이며, 대부분의 사이트는 이를 구분하지 않았습니다.

도구는 robots.txt를 가져와 프로토콜 규칙을 적용합니다. 에이전트 이름이 있는 그룹이 와일드카드보다 우선하고, 같은 경로에서는 Allow가 Disallow보다 우선합니다. 그리고 현재 가장 널리 쓰이는 AI 에이전트 10개의 판정을, 각 에이전트의 역할별로 나누어 제공합니다.

작동 방식

도메인을 입력합니다

도메인만, 가입은 필요 없습니다. 도구는 크롤러가 그러듯 원본에서 robots.txt를 직접 가져옵니다.

규칙을 에이전트별로 적용합니다

텍스트 검색이 아닙니다. 프로토콜이 요구하는 대로 파일을 해석하며, 개별 그룹과 와일드카드 사이의 우선순위를 지킵니다.

결과는 역할별로 나뉘어 나옵니다

검색 크롤러와 학습 크롤러가 따로 표시됩니다. 앞의 것을 막는 건 마케팅 결정이고, 뒤의 것을 막는 건 지식재산 결정이기 때문입니다.

자주 묻는 질문

01 robots.txt란 무엇이고 왜 AI에 중요한가요?: 사이트 루트에 있는 텍스트 파일로, 어떤 로봇이 어떤 경로에 접근할 수 있는지 선언합니다. AI 어시스턴트는 이 파일을 따릅니다. 도메인에서 OAI-SearchBot을 차단하면, 해당 주제에 관해 최고의 출처여도 ChatGPT는 답변에서 인용하기 위해 페이지를 열 수 없습니다.
02 검색 크롤러와 학습 크롤러는 어떻게 다른가요?: 검색 크롤러(OAI-SearchBot, PerplexityBot, Claude-SearchBot)는 누군가 질문하는 그 순간 페이지를 읽어 답변을 구성하고 링크로 출처를 밝힙니다. 학습 크롤러(GPTBot, Google-Extended, CCBot)는 미래의 모델을 학습시키려 내용을 수집하며, 링크는 돌려주지 않습니다. 학습 쪽을 막으면 콘텐츠를 지키게 되고, 검색 쪽을 막으면 답변에서 빠지게 됩니다.
03 GPTBot을 막으면 브랜드가 ChatGPT에서 사라지나요?: 직접적으로는 아닙니다. GPTBot은 OpenAI의 학습 수집기입니다. 실시간으로 검색하고 출처를 인용하는 것은 OAI-SearchBot과 ChatGPT-User입니다. 학습은 차단하면서 계속 인용될 수 있으며, 여러 뉴스 매체가 정확히 그렇게 하고 있습니다.
04 사이트에 robots.txt가 없습니다. 나쁜 건가요?: 프로토콜상 파일이 없으면 모든 것이 허용된다는 뜻이므로, 차단된 AI 로봇은 없습니다. 가시성 문제는 아닙니다. 통제하고 있다고 생각했지만 실제로는 그렇지 않았다는 것이 문제입니다.
05 사이트가 전부 막고 있습니다. 필요한 크롤러만 어떻게 여나요?: 허용하려는 에이전트마다 그 이름을 딴 그룹을 선언하세요. 프로토콜 규칙상 이름이 붙은 그룹이 와일드카드 User-agent를 이깁니다. 앞에 있든 뒤에 있든 마찬가지입니다. Disallow를 비워 둔 그룹은 해당 에이전트를 전면 허용합니다.
06 얼마나 자주 확인해야 하나요?: CMS, CDN 또는 전자상거래 플랫폼을 바꿀 때마다 확인하세요. 많은 서비스가 robots.txt를 자동으로 생성해 기존 파일을 덮어씁니다. 새 에이전트가 등장할 때도 확인할 가치가 있습니다. AI 로봇 목록은 2023년 이후 여러 번 바뀌었습니다.