Definição
A resposta canônica.
Um rastreador de IA busca páginas da web para uma finalidade específica, como indexação para buscas, treinamento de modelos ou recuperação de conteúdo solicitada por um usuário. OAI-SearchBot e PerplexityBot servem à busca; GPTBot e ClaudeBot dizem respeito ao treinamento. Google-Extended é um token de política do robots.txt e não tem um agente de usuário de
Exemplo prático
Na prática.
Um site pode permitir o OAI-SearchBot e tomar uma decisão separada sobre o GPTBot. Verifique robots.txt, respostas do servidor e a identidade verificada do operador em conjunto. Bloquear a recuperação direta pode limitar o acesso às fontes, mas a marca ainda pode aparecer por outras fontes ou por dados de índice
Onde esse trabalho acontece: Otimização para busca
Esta é a sua restrição?
A consulta gratuita de 30 minutos mostra isso ao vivo, no seu