Free Robots.txt Generator for SEO & AI Crawlers

robots.txt sagt konformen Crawlern, welche URL-Pfade sie auf einem bestimmten Schema, Host und Port anfordern dürfen. Es verwaltet das Crawlen; es ist keine Authentifizierung und garantiert nicht, dass eine entdeckte URL aus einem Index ausgeschlossen bleibt.

Platzieren Sie es im Stamm des genauen Hosts, z. B. https://example.com/robots.txt. Eine Datei in einem Unterordner steuert nicht den gesamten Host, und Regeln werden nicht automatisch zwischen Subdomains übertragen.

Nein. Eine blockierte URL kann weiterhin über Links entdeckt werden und kann ohne Snippet erscheinen. Verwenden Sie eine geeignete noindex-Direktive, wenn Sie die Indizierungskontrolle benötigen, und blockieren Sie den Crawler nicht daran, diese Direktive zu lesen.

Nein. Google dokumentiert User-agent, Allow, Disallow und Sitemap als unterstützte robots.txt-Felder und unterstützt kein Crawl-delay, daher fügt dieser Generator es absichtlich nicht hinzu.

Der spezifischste übereinstimmende Pfad gewinnt. Wenn eine Erlauben- und eine Verweigern-Regel gleichwertig sind, sollte Erlauben gewinnen. Die Übereinstimmung ist groß-/kleinschreibungssensitiv.

Ja. Fügen Sie eine oder mehrere vollständige HTTP- oder HTTPS-Sitemap-URLs hinzu. Der Sitemap-Wert muss absolut sein und kann auf einen anderen Host verweisen.

Sie können einen Crawler anvisieren, der sich mit einem Produkt-Token identifiziert, aber nur Crawler, die das Robots Exclusion Protocol erkennen und respektieren, werden sich daran halten. Behandeln Sie die Datei nicht als Garantie gegen Zugriff, Schulung oder Wiederverwendung.

Entscheiden Sie nach Zweck. OAI-SearchBot, Claude-SearchBot und PerplexityBot unterstützen die Entdeckung oder Zitation von Suchanfragen; GPTBot, ClaudeBot und Google-Extended bieten separate Kontrollen in Bezug auf die Modellentwicklung oder Gemini-Grundlage. Richtlinien ändern sich, also überprüfen Sie die aktuelle Dokumentation jedes Anbieters vor der Veröffentlichung.

In der Regel nein. Beginne mit der Datei oder virtuellen Ausgabe, die von der installierten Plattformversion verwaltet wird, und füge dann nur verifizierte projektspezifische Änderungen hinzu. Shopify empfiehlt, die generierten Liquid-Standards zu bewahren, während Drupal Composer Scaffold die Stammdatei verwalten und aktualisieren kann.

Nein. Dieser Generator läuft vollständig clientseitig in Ihrem Browser. Nichts, was Sie eingeben, wird an einen Server gesendet, daher ist es sicher, ihn für private Inhalte zu verwenden.

Ja, ohne Konto. Ein Novaverb-Arbeitsbereich ist nur erforderlich, wenn Sie diese Dateien über die Zeit auf Ihrer Live-Website verifizieren, überwachen und verfolgen möchten.