Definitie
Het maatgevende antwoord.
Een AI-crawler haalt webpagina's op voor een specifiek doel, zoals zoekindexering, modeltraining of ophalen op verzoek van een gebruiker. OAI-SearchBot en PerplexityBot dienen zoeken; GPTBot en ClaudeBot hebben met training te maken. Google-Extended is een beleidstoken in robots.txt, geen aparte crawl-user-agent.
Praktijkvoorbeeld
In de praktijk.
Een site kan OAI-SearchBot toestaan en over GPTBot apart beslissen. Controleer robots.txt, serverantwoorden en de geverifieerde identiteit van de beheerder samen. Direct ophalen blokkeren kan de toegang tot bronnen beperken, maar het merk kan nog steeds verschijnen via andere bronnen of bestaande indexgegevens.
Hier gebeurt dit werk: Optimalisatie voor AI-zoeken
Is dit uw knelpunt?
Het gratis consult van 30 minuten laat het u live zien, in uw eigen funnel.
Plan een groeiconsult →