Canonical: https://www.strataigize.com/ko/glossary/ai-crawler/
Description: AI 크롤러는 검색 색인, 모델 학습, 사용자 요청에 따른 검색 같은 특정 목적을 위해 웹페이지를 가져옵니다.

[홈](https://www.strataigize.com/ko/) / [용어집](https://www.strataigize.com/ko/glossary/) / AI 크롤러

AI 검색

# AI 크롤러.

정의

## 기준이 되는 _답._

AI 크롤러는 검색 색인, 모델 학습, 사용자 요청에 따른 검색 같은 특정 목적을 위해 웹페이지를 가져옵니다. OAI-SearchBot과 PerplexityBot은 검색에 쓰이고, GPTBot과 ClaudeBot은 학습과 관련됩니다. Google-Extended는 robots.txt 정책 토큰이며 별도의 크롤링 사용자 에이전트가 아닙니다.

실제 사례

## 실무에서는 _이렇게._

사이트는 OAI-SearchBot을 허용하면서 GPTBot은 따로 결정할 수 있습니다. robots.txt, 서버 응답, 운영자의 확인된 신원을 함께 점검하세요. 직접 검색을 차단하면 출처 접근이 제한될 수 있지만, 브랜드는 다른 출처나 기존 색인 데이터를 통해 여전히 나타날 수 있습니다.

이 일을 하는 서비스: [AI 검색 최적화](https://www.strataigize.com/ko/generative-engine-optimization/)

관련 용어

-   [AI 인용](https://www.strataigize.com/ko/glossary/ai-citation/)
-   [테크니컬 SEO](https://www.strataigize.com/ko/glossary/technical-seo/)
-   [AI 가시성](https://www.strataigize.com/ko/glossary/ai-visibility/)

## 이것이 귀사의 _제약인가요?_

무료 30분 상담에서 귀사의 퍼널을 보며 바로 알려 드립니다.

[성장 상담 예약하기 →](https://www.strataigize.com/ko/audit/)