AIクローラー。

AIクローラーは、検索インデックス、モデルの学習、ユーザーの依頼による取得など、特定の目的のためにウェブページを取得します。OAI-SearchBotとPerplexityBotは検索に使われ、GPTBotとClaudeBotは学習に関わります。Google-Extendedはrobots.txtのポリシートークンであり、別のクロール用ユーザーエージェントではありません。

サイトはOAI-SearchBotを許可しつつ、GPTBotについては別に判断できます。robots.txt、サーバーの応答、運営者の確認済みの身元をあわせて確認してください。直接の取得をブロックすると情報源へのアクセスは制限されますが、ブランドは他の情報源や既存のインデックスデータを通じて表示されることがあります。