Definição
A resposta canônica.
Um rastreador de IA busca páginas web para um propósito específico, como indexação de busca, treinamento de modelo ou recuperação pedida por um usuário. OAI-SearchBot e PerplexityBot servem à busca; GPTBot e ClaudeBot dizem respeito ao treinamento. Google-Extended é um token de política do robots.txt, não um user agent de rastreamento separado.
Exemplo prático
Na prática.
Um site pode permitir o OAI-SearchBot e tomar uma decisão separada sobre o GPTBot. Verifique robots.txt, respostas do servidor e a identidade verificada do operador em conjunto. Bloquear a recuperação direta pode limitar o acesso às fontes, mas a marca ainda pode aparecer por outras fontes ou por dados de índice já existentes.
Onde esse trabalho acontece: Otimização para busca com IA
Esta é a sua restrição?
A consulta gratuita de 30 minutos mostra isso ao vivo, no seu próprio funil.
Agendar uma consulta de crescimento →