AI 爬虫。

AI爬虫为了特定目的获取网页，例如搜索索引、模型训练或用户请求的检索。OAI-SearchBot和PerplexityBot支持搜索；GPTBot和ClaudeBot涉及训练。Google-Extended是robots.txt中的政策标记，没有独立的爬虫用户代理。

一个网站可以允许 OAI-SearchBot，同时对 GPTBot 作出另一个决定。robots.txt、服务器响应和已验证的运营方身份要放在一起核对。封锁直接抓取可以限制来源访问，但品牌仍可能通过其他来源或已有的索引数据出现。