Aggiornato al · a cura della redazione di SEO.it
Oltre a Googlebot e Bingbot, oggi visitano i siti decine di crawler legati all'intelligenza artificiale. Con il file robots.txt puoi decidere quali ammettere.
Crawler di addestramento e crawler di ricerca
È utile distinguere due famiglie:
- Addestramento: raccolgono contenuti per allenare i modelli. Esempi: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (token che regola l'uso per Gemini), Applebot-Extended, Meta-ExternalAgent, CCBot (Common Crawl), Bytespider.
- Ricerca e richieste degli utenti: recuperano le pagine per rispondere a una domanda e citarle come fonte. Esempi: OAI-SearchBot e ChatGPT-User (OpenAI), Claude-SearchBot e Claude-User (Anthropic), PerplexityBot e Perplexity-User, DuckAssistBot.
Esempio: no all'addestramento, sì alle citazioni
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Allow: / Sitemap: https://www.tuosito.it/sitemap.xml
Attenzione: bloccare Googlebot o Bingbot esclude il sito dai risultati di ricerca e, di conseguenza, da gran parte delle risposte AI che si basano su di essi. Le regole del robots.txt sono indicazioni rispettate dai crawler dichiarati, non una protezione tecnica.
Controlla la configurazione attuale con Verifica crawler AI o creane una nuova con il generatore robots.txt.
Domande frequenti
Google-Extended blocca anche Google Search?
No: Google-Extended non è un crawler separato ma un token che regola l'uso dei contenuti per i modelli Gemini. La scansione per la Ricerca Google resta affidata a Googlebot.
Quanto tempo serve perché le modifiche abbiano effetto?
I crawler rileggono il robots.txt periodicamente, in genere entro 24 ore.