Free Robots.txt Generator for SEO & AI Crawlers

robots.txt indique aux robots conformes quels chemins d'URL ils peuvent demander sur un schéma, un hôte et un port spécifiques. Il gère le crawl ; ce n'est pas une authentification et ne garantit pas qu'une URL découverte restera hors d'un index.

Placez-le à la racine de l'hôte exact, par exemple https://example.com/robots.txt. Un fichier dans un sous-dossier ne contrôle pas l'ensemble de l'hôte, et les règles ne se transfèrent pas automatiquement entre les sous-domaines.

Non. Une URL bloquée peut toujours être découverte à partir de liens et peut apparaître sans extrait. Utilisez une directive noindex appropriée lorsque vous avez besoin de contrôle d'indexation, et ne bloquez pas le crawler de lire cette directive.

Non. Google documente User-agent, Allow, Disallow et Sitemap comme des champs robots.txt pris en charge et ne supporte pas Crawl-delay, donc ce générateur ne l'ajoute pas intentionnellement.

Le chemin de correspondance le plus spécifique l'emporte. Si une règle Autoriser et une règle Interdire sont équivalentes, Autoriser doit l'emporter. La correspondance est sensible à la casse.

Oui. Ajoutez une ou plusieurs URL de sitemap HTTP ou HTTPS complètes. La valeur Sitemap doit être absolue et peut pointer vers un hôte différent.

Vous pouvez cibler un robot qui s'identifie avec un jeton de produit, mais seuls les robots qui reconnaissent et respectent le Protocole d'Exclusion des Robots se conformeront. Ne considérez pas le fichier comme une garantie contre l'accès, la formation ou la réutilisation.

Décidez par objectif. OAI-SearchBot, Claude-SearchBot et PerplexityBot soutiennent la découverte de recherche ou les citations ; GPTBot, ClaudeBot et Google-Extended fournissent des contrôles séparés liés au développement de modèles ou à la base de Gemini. Les politiques changent, donc vérifiez la documentation actuelle de chaque fournisseur avant de publier.

En général, non. Commencez par le fichier ou la sortie virtuelle maintenue par la version de plateforme installée, puis ajoutez uniquement des modifications spécifiques au projet vérifiées. Shopify recommande de préserver ses défauts Liquid générés, tandis que Drupal Composer Scaffold peut gérer et mettre à jour le fichier racine.

Non. Ce générateur fonctionne entièrement côté client dans votre navigateur. Rien de ce que vous tapez n'est envoyé à un serveur, donc il est sûr à utiliser sur du contenu privé.

Oui, sans compte. Un espace de travail Novaverb n'est nécessaire que lorsque vous souhaitez vérifier, surveiller et suivre ces fichiers sur votre site en direct au fil du temps.