Robot d’exploration IA.

Un robot d’exploration IA récupère des pages Web dans un but précis, comme l’indexation pour la recherche, l’entraînement d’un modèle ou la récupération de contenu à la demande d’un utilisateur. OAI-SearchBot et PerplexityBot servent à la recherche; GPTBot et ClaudeBot concernent l’entraînement. Google-Extended est un jeton de politique dans robots.txt et ne possède aucun agent utilisateur d’exploration qui lui soit propre.

Un site peut autoriser OAI-SearchBot tout en prenant une décision distincte pour GPTBot. Vérifiez ensemble le fichier robots.txt, les réponses du serveur et l’identité vérifiée de l’opérateur. Bloquer l’extraction directe peut limiter l’accès aux sources, mais une marque peut encore apparaître par d’autres sources ou par des données d’index déjà présentes.