Robots.txt Generator
Genera il file robots.txt con preset pronti o regole personalizzate per user-agent. Blocca bot AI, crawlers indesiderati e aggiungi direttive Sitemap e Crawl-delay.
Configura
Output
Nessun output generato
Compila il modulo e premi il pulsante per generare l'output.
Cos'è il file robots.txt e a cosa serve?
Il file robots.txt è un file di testo nella root del sito che istruisce i crawler (bot) su quali pagine possono o non possono visitare. Viene usato per escludere aree private, ridurre il carico del server e controllare l'indicizzazione.
Come blocco solo i bot AI come GPTBot e CCBot?
Usa il preset "Blocca bot AI comuni" per generare regole Disallow per GPTBot, ChatGPT-User, CCBot, anthropic-ai e Google-Extended, mantenendo l'accesso aperto ai normali crawler di ricerca come Googlebot.
Il file robots.txt garantisce la privacy delle pagine escluse?
No. robots.txt è una convenzione volontaria: i bot rispettosi lo seguono, ma bot malevoli o scrapers non obbediti no. Per proteggere contenuti sensibili usa autenticazione, password o restrizioni di accesso server-side.
Dove devo posizionare il file robots.txt?
Il file deve stare esattamente alla radice del dominio: https://example.com/robots.txt. Non funziona in sottocartelle. Se gestisci più sottodomini (blog.example.com) ogni sottodominio deve avere il proprio robots.txt.