AI 爬虫。

AI 爬虫出于特定目的抓取网页，例如搜索索引、模型训练，或由用户主动发起的检索。OAI-SearchBot 和 PerplexityBot 服务于搜索；GPTBot 和 ClaudeBot 与训练有关。Google-Extended 是一个 robots.txt 策略标识，不是一个单独的爬虫 user agent。

一个网站可以允许 OAI-SearchBot，同时对 GPTBot 作出另一个决定。robots.txt、服务器响应和已验证的运营方身份要放在一起核对。封锁直接抓取可以限制来源访问，但品牌仍可能通过其他来源或已有的索引数据出现。