Herramienta gratuita · no se requiere cuenta

Free Robots.txt Tester & Validator

Test and validate robots.txt rules, User-Agent directives, blocked paths and AI bot access policies for search engines and AI crawlers.

También conocido como: robots.txt tester · validator

Evidencia mostrada con fuenteNo se requiere cuentaSin métricas inventadas

Ejecutar un chequeo real arriba

Envía una URL pública, dominio o palabra clave. Novaverb mostrará solo la evidencia que esta herramienta puede realmente recuperar o medir.

Modelo de evidencia

Conoce lo que prueba el resultado

This check proves what a site's robots.txt actually says and which rules apply to which crawler, including conflicting or overly broad Disallow blocks and any declared Sitemap directives. It proves crawl permission, not indexing: a URL that is disallowed here can still appear in search results, and one that is allowed is not thereby crawled.

1. Fuente

Live robots.txt fetch. The result identifies where its evidence came from.

2. Límite

The checker fetches /robots.txt and reads its directives. robots.txt is a crawl directive, not access control or index removal; this tool does not simulate a specific crawler's policy.

3. Próxima acción

Usa el hallazgo para verificar un problema, luego conecta un espacio de trabajo cuando necesites historial, monitoreo o análisis a nivel de sitio.

Explicación de robots.txt

Prueba tu robots.txt sin sobreestimar lo que hace

robots.txt indica a los rastreadores cumplidores qué rutas pueden solicitar. Es el primer archivo que la mayoría de los rastreadores obtienen, por lo que una línea incorrecta puede mantener silenciosamente todo un sitio fuera de la búsqueda - o permitir que se rastreen rutas privadas.

Qué verificar

Ubicación - el archivo debe estar en la raíz del dominio y devolver HTTP 200 como texto plano.
Grupos de agentes de usuario - las reglas Allow/Disallow de cada grupo se aplican solo a los agentes que nombra; un Disallow vacío después de User-agent: * puede bloquear todo.
Sitemaps declarados - publica la URL absoluta del sitemap aquí para que los rastreadores puedan descubrirlo.
Límite de validación - esta página verifica la accesibilidad HTTP y evidencia de directivas; no es un analizador RFC 9309 completo ni una inspección de Search Console.

Por qué es importante para SEO y descubrimiento de IA

Un robots.txt claro reduce la ambigüedad para los rastreadores de búsqueda y de IA. Novaverb puede usar esta señal como parte de un modelo más amplio de evidencia de rastreo y técnica, junto con indexabilidad, canónicos y enlaces internos.

Obtén la respuesta correcta

Qué enviar - y qué evitar

Submit the domain, or any URL on it; the host is resolved and robots.txt is fetched from the root, which is the only location the specification recognises. A file placed in a subdirectory is not a robots.txt and will be reported as missing, which is the same conclusion every real crawler reaches.

Úsalo así

yourdomain.comCualquier forma de dirección funciona - obtenemos /robots.txt en la raíz del host por ti. http o https, con o sin www, un dominio desnudo o una ruta completa - lo normalizamos por ti.

https://www.yourdomain.com/anythingIncluso una URL profunda está bien; resolvemos al host y leemos su robots.txt raíz.

Evita esto

Expecting a subfolder robots.txt to countrobots.txt solo se respeta en la raíz del host; una copia dentro de una subcarpeta es ignorada por los rastreadores.

Metodología pública

Exactamente cómo se produce este resultado

The host is resolved from the input and robots.txt is fetched from its root. User-agent, Allow and Disallow groups are parsed per RFC 9309, and the rules that apply to each major crawler are resolved the way that crawler resolves them. Conflicting or overly broad Disallow blocks are flagged, and Sitemap directives are noted.

Resolvemos el host de tu entrada y obtenemos robots.txt desde su raíz.
Analizamos User-agent, grupos Allow y Disallow según RFC 9309 y resolvemos qué reglas se aplican a los principales rastreadores.
Marcamos bloques Disallow conflictivos o demasiado amplios y anotamos cualquier directiva Sitemap:.

Construido sobre estándares públicos

Los estándares internacionales a los que se aplica esta verificación.

RFC 9309 has defined the Robots Exclusion Protocol as a published standard since 2022, and this parse follows it rather than folklore, including its precedence rules for Allow against Disallow. Google's own robots.txt documentation is applied where it defines behaviour the RFC leaves to the implementation.

IETFRFC 9309

Robots Exclusion Protocol

Analiza tus directivas Allow / Disallow / user-agent según el estándar formal de robots.txt.

Lee la especificación

Googlerobots.txt

Google robots.txt specification

Notas dónde la interpretación de Googlebot extiende el estándar base.

Lee la especificación

Listamos un estándar solo donde esta herramienta realmente lee o mide en contra de él. Donde una señal está fuera de una verificación en vivo, el resultado lo indica en lugar de implicar cobertura.

Preguntas comunes

Robots.txt Checker FAQ

What does the Robots.txt Checker check?

It fetches your /robots.txt file, reports the HTTP status, and lists crawl rules grouped by user-agent, counting every Allow and Disallow directive plus any declared Sitemap lines so you see exactly what crawlers are told.

What is robots.txt?

Robots.txt is a plain-text file at your domain root that follows the Robots Exclusion Protocol (RFC 9309). It tells cooperating crawlers like Googlebot which paths they may or may not request, grouped by user-agent.

Why does robots.txt matter for SEO?

Robots.txt controls crawler access to your paths. A mistaken Disallow can stop search engines from crawling important pages, so verifying the rules prevents accidentally hiding content you actually want discovered and ranked.

Does robots.txt remove a page from Google?

No. Robots.txt only requests that crawlers skip a path; it is a crawl directive, not index removal. A disallowed URL can still be indexed from external links. Use a noindex meta tag or removal request instead.

How do I stop robots.txt from blocking my whole site?

Look for a Disallow: / line under User-agent: *, which blocks every path. Remove or narrow it, then re-check. The tool flags this specific site-wide block so you can catch it fast.

What is a good HTTP status for robots.txt?

A 200 OK means the file was served and its rules apply. A 404 means no file exists, so crawlers assume full access. Persistent 5xx errors can cause crawlers to pause crawling entirely.

What's the difference between Allow and Disallow?

Disallow lists paths crawlers should not request; Allow re-permits a sub-path inside a broader Disallow. The most specific matching rule wins, so Allow can carve exceptions out of a blocked directory.

Should robots.txt list my sitemap?

Yes. A Sitemap: directive with the full URL helps crawlers discover your XML sitemap independently of any submission. The checker reports every Sitemap line it finds so you can confirm it is declared.

Is robots.txt a security or access-control tool?

No. Robots.txt is a public, voluntary instruction for cooperating crawlers, not access control. Anyone can read it, and it cannot protect private content. Use authentication or server rules to actually restrict access.

Does this checker simulate exactly how Googlebot reads my file?

It parses and reports your directives as written, but it does not replicate any single crawler's full internal matching policy. Treat the grouped rules and counts as an accurate readout, not a crawler-specific simulation.

Más verificaciones gratuitas