Generatore robots.txt per motori di ricerca e AI
Scegli quali crawler ammettere, indica le cartelle da escludere e la sitemap: il file è pronto da pubblicare.
Crawler AI ammessi
Googlebot e Bingbot restano sempre ammessi: bloccarli escluderebbe il sito dai risultati di ricerca.
Il tuo robots.txt