Definizione
La risposta di riferimento.
Un crawler AI recupera pagine web per uno scopo preciso, come l'indicizzazione per la ricerca, l'addestramento dei modelli o il recupero richiesto da un utente. OAI-SearchBot e PerplexityBot servono la ricerca; GPTBot e ClaudeBot riguardano l'addestramento. Google-Extended è un token di policy del robots.txt, non uno user agent di scansione separato.
Esempio pratico
In pratica.
Un sito può consentire OAI-SearchBot e prendere una decisione separata su GPTBot. Controllate insieme robots.txt, risposte del server e identità verificata dell'operatore. Bloccare il recupero diretto può limitare l'accesso alle fonti, ma il brand può comunque comparire tramite altre fonti o dati di indice già esistenti.
Dove si svolge questo lavoro: Ottimizzazione per la ricerca AI
È questo il vostro vincolo?
La consulenza gratuita di 30 minuti ve lo dice in diretta, sul vostro funnel.
Prenota una consulenza di crescita →