Free Robots.txt Generator for SEO & AI Crawlers

robots.txt vertelt conforme crawlers welke URL-paden ze mogen aanvragen op een specifieke schema, host en poort. Het beheert crawlen; het is geen authenticatie en garandeert niet dat een ontdekte URL buiten een index blijft.

Plaats het in de root van de exacte host, bijvoorbeeld https://example.com/robots.txt. Een bestand in een submap controleert de hele host niet, en regels worden niet automatisch overgedragen tussen subdomeinen.

Nee. Een geblokkeerde URL kan nog steeds worden ontdekt via links en kan verschijnen zonder een snippet. Gebruik een geschikte noindex-directive wanneer je indexeringscontrole nodig hebt, en blokkeer de crawler niet om die directive te lezen.

Nee. Google documenteert User-agent, Allow, Disallow en Sitemap als ondersteunde robots.txt-velden en ondersteunt geen Crawl-delay, dus deze generator voegt het opzettelijk niet toe.

De meest specifieke overeenkomstige pad wint. Als een Toestaan en Verbieden regel gelijkwaardig zijn, moet Toestaan winnen. Overeenkomsten zijn hoofdlettergevoelig.

Ja. Voeg een of meer complete HTTP of HTTPS sitemap URL's toe. De Sitemap waarde moet absoluut zijn, en het kan naar een andere host wijzen.

Je kunt een crawler targeten die zichzelf identificeert met een producttoken, maar alleen crawlers die het Robots Exclusion Protocol herkennen en respecteren zullen zich houden aan de regels. Behandel het bestand niet als een garantie tegen toegang, training of hergebruik.

Beslis op basis van doel. OAI-SearchBot, Claude-SearchBot en PerplexityBot ondersteunen zoekontdekking of citaten; GPTBot, ClaudeBot en Google-Extended bieden aparte controles met betrekking tot modelontwikkeling of Gemini-grondslagen. Beleid verandert, dus verifieer de huidige documentatie van elke provider voordat je publiceert.

Meestal niet. Begin met het bestand of virtuele output die wordt onderhouden door de geïnstalleerde platformversie, voeg dan alleen geverifieerde project-specifieke wijzigingen toe. Shopify raadt aan zijn gegenereerde Liquid-standaarden te behouden, terwijl Drupal Composer Scaffold het rootbestand kan beheren en bijwerken.

Nee. Deze generator draait volledig client-side in uw browser. Niets wat u typt wordt naar een server gestuurd, dus het is veilig om te gebruiken op privé-inhoud.

Ja, zonder account. Een Novaverb-werkruimte is alleen nodig wanneer je deze bestanden op je live site wilt verifiëren, monitoren en volgen in de loop van de tijd.