Free Robots.txt Generator for SEO & AI Crawlers

robots.txt indica a los rastreadores compatibles qué rutas de URL pueden solicitar en un esquema, host y puerto específicos. Gestiona el rastreo; no es autenticación y no garantiza que una URL descubierta se mantenga fuera de un índice.

Colócalo en la raíz del host exacto, por ejemplo https://example.com/robots.txt. Un archivo en una subcarpeta no controla todo el host, y las reglas no se transfieren automáticamente entre subdominios.

No. Una URL bloqueada aún puede ser descubierta a partir de enlaces y puede aparecer sin un fragmento. Usa una directiva noindex apropiada cuando necesites control de indexación, y no bloquees al rastreador de leer esa directiva.

No. Google documenta Agente de usuario, Permitir, Denegar y Sitemap como campos soportados de robots.txt y no soporta Crawl-delay, por lo que este generador intencionalmente no lo agrega.

La ruta de coincidencia más específica gana. Si una regla de Permitir y una de No permitir son equivalentes, la de Permitir debe ganar. La coincidencia es sensible a mayúsculas y minúsculas.

Sí. Agrega una o más URLs de sitemap HTTP o HTTPS completas. El valor del Sitemap debe ser absoluto y puede apuntar a un host diferente.

Puedes dirigirte a un rastreador que se identifica con un token de producto, pero solo los rastreadores que reconocen y respetan el Protocolo de Exclusión de Robots cumplirán. No trates el archivo como una garantía contra el acceso, entrenamiento o reutilización.

Decide por propósito. OAI-SearchBot, Claude-SearchBot y PerplexityBot apoyan el descubrimiento de búsqueda o citas; GPTBot, ClaudeBot y Google-Extended proporcionan controles separados relacionados con el desarrollo de modelos o la fundamentación de Gemini. Las políticas cambian, así que verifica la documentación actual de cada proveedor antes de publicar.

Generalmente no. Comienza desde el archivo o salida virtual mantenida por la versión de plataforma instalada, luego añade solo cambios específicos del proyecto verificados. Shopify recomienda preservar sus predeterminados de Liquid generados, mientras que Drupal Composer Scaffold puede gestionar y actualizar el archivo raíz.

No. Este generador se ejecuta completamente del lado del cliente en tu navegador. Nada de lo que escribas se envía a un servidor, por lo que es seguro usarlo en contenido privado.

Sí, sin cuenta. Un espacio de trabajo de Novaverb solo es necesario cuando deseas verificar, monitorear y rastrear estos archivos en tu sitio en vivo a lo largo del tiempo.