정의
기준이 되는 답.
AI 크롤러는 검색 색인, 모델 학습, 사용자 요청에 따른 검색 같은 특정 목적을 위해 웹페이지를 가져옵니다. OAI-SearchBot과 PerplexityBot은 검색에 쓰이고, GPTBot과 ClaudeBot은 학습과 관련됩니다. Google-Extended는 robots.txt 정책 토큰이며 별도의 크롤링 사용자 에이전트가 아닙니다.
실제 사례
실무에서는 이렇게.
사이트는 OAI-SearchBot을 허용하면서 GPTBot은 따로 결정할 수 있습니다. robots.txt, 서버 응답, 운영자의 확인된 신원을 함께 점검하세요. 직접 검색을 차단하면 출처 접근이 제한될 수 있지만, 브랜드는 다른 출처나 기존 색인 데이터를 통해 여전히 나타날 수 있습니다.
이 일을 하는 서비스: AI 검색 최적화