Outil gratuit · aucun compte requis

Free Robots.txt Tester & Validator

Test and validate robots.txt rules, User-Agent directives, blocked paths and AI bot access policies for search engines and AI crawlers.

Aussi connu sous le nom de: robots.txt tester · validator

Preuve montrée avec sourceAucun compte requisAucune métrique inventée

Exécutez un contrôle réel ci-dessus

Soumettez une URL publique, un domaine ou un mot-clé. Novaverb ne montrera que les preuves que cet outil peut réellement récupérer ou mesurer.

Modèle de preuve

Savoir ce que le résultat prouve

This check proves what a site's robots.txt actually says and which rules apply to which crawler, including conflicting or overly broad Disallow blocks and any declared Sitemap directives. It proves crawl permission, not indexing: a URL that is disallowed here can still appear in search results, and one that is allowed is not thereby crawled.

1. Source

Live robots.txt fetch. The result identifies where its evidence came from.

2. Limite

The checker fetches /robots.txt and reads its directives. robots.txt is a crawl directive, not access control or index removal; this tool does not simulate a specific crawler's policy.

3. Prochaine action

Utilisez la découverte pour vérifier un problème, puis connectez un espace de travail lorsque vous avez besoin d'historique, de surveillance ou d'analyse à l'échelle du site.

Robots.txt expliqué

Testez votre robots.txt sans exagérer ce qu'il fait

robots.txt indique aux robots conformes quels chemins ils peuvent demander. C'est le premier fichier que la plupart des robots récupèrent, donc une seule ligne incorrecte peut silencieusement empêcher un site entier d'apparaître dans les résultats de recherche - ou laisser des chemins privés être explorés.

Ce qu'il faut vérifier

Emplacement - le fichier doit se trouver à la racine du domaine et renvoyer HTTP 200 en texte brut.
Groupes d'agents utilisateurs - les règles Allow/Disallow de chaque groupe s'appliquent uniquement aux agents qu'il nomme ; un Disallow vide après User-agent: * peut bloquer tout.
Sitemaps déclarés - publiez l'URL absolue du sitemap ici afin que les robots puissent la découvrir.
Limite de validation - cette page vérifie la connectivité HTTP et les preuves de directive ; ce n'est pas un analyseur RFC 9309 complet ou une inspection de Search Console.

Pourquoi cela compte pour le SEO et la découverte de l'IA

Un fichier robots.txt clair réduit l'ambiguïté pour les crawlers de recherche et d'IA. Novaverb peut utiliser ce signal dans le cadre d'un modèle de crawl et de preuves techniques plus large, aux côtés de l'indexabilité, des canonicals et des liens internes.

Obtenez la bonne réponse

Ce qu'il faut soumettre - et ce qu'il faut éviter

Submit the domain, or any URL on it; the host is resolved and robots.txt is fetched from the root, which is the only location the specification recognises. A file placed in a subdirectory is not a robots.txt and will be reported as missing, which is the same conclusion every real crawler reaches.

Utilisez-le comme ceci

yourdomain.comToute forme d'adresse fonctionne - nous récupérons /robots.txt à la racine de l'hôte pour vous. http ou https, avec ou sans www, un domaine nu ou un chemin complet - nous le normalisons pour vous.

https://www.yourdomain.com/anythingMême une URL profonde est correcte ; nous résolvons l'hôte et lisons son robots.txt racine.

Évitez cela

Expecting a subfolder robots.txt to countrobots.txt n'est respecté qu'à la racine de l'hôte ; une copie dans un sous-dossier est ignorée par les robots d'exploration.

Méthodologie publique

Exactement comment ce résultat est produit

The host is resolved from the input and robots.txt is fetched from its root. User-agent, Allow and Disallow groups are parsed per RFC 9309, and the rules that apply to each major crawler are resolved the way that crawler resolves them. Conflicting or overly broad Disallow blocks are flagged, and Sitemap directives are noted.

Nous résolvons l'hôte à partir de votre entrée et récupérons robots.txt depuis sa racine.
Nous analysons User-agent, groupes Allow et Disallow selon la RFC 9309 et résolvons quelles règles s'appliquent aux principaux crawlers.
Nous signalons les blocs Disallow conflictuels ou trop larges et notons les directives Sitemap : .

Construit sur des normes publiques

Les normes internationales auxquelles cette vérification s'applique.

RFC 9309 has defined the Robots Exclusion Protocol as a published standard since 2022, and this parse follows it rather than folklore, including its precedence rules for Allow against Disallow. Google's own robots.txt documentation is applied where it defines behaviour the RFC leaves to the implementation.

IETFRFC 9309

Robots Exclusion Protocol

Analyse vos directives Allow / Disallow / user-agent selon la norme formelle robots.txt.

Lisez la spécification

Googlerobots.txt

Google robots.txt specification

Note où l'interprétation de Googlebot étend la norme de base.

Lisez la spécification

Nous listons un standard uniquement lorsque cet outil le lit ou le mesure réellement. Lorsqu'un signal est en dehors d'une vérification en direct, le résultat le dit plutôt que d'impliquer une couverture.

Questions courantes

Robots.txt Checker FAQ

What does the Robots.txt Checker check?

It fetches your /robots.txt file, reports the HTTP status, and lists crawl rules grouped by user-agent, counting every Allow and Disallow directive plus any declared Sitemap lines so you see exactly what crawlers are told.

What is robots.txt?

Robots.txt is a plain-text file at your domain root that follows the Robots Exclusion Protocol (RFC 9309). It tells cooperating crawlers like Googlebot which paths they may or may not request, grouped by user-agent.

Why does robots.txt matter for SEO?

Robots.txt controls crawler access to your paths. A mistaken Disallow can stop search engines from crawling important pages, so verifying the rules prevents accidentally hiding content you actually want discovered and ranked.

Does robots.txt remove a page from Google?

No. Robots.txt only requests that crawlers skip a path; it is a crawl directive, not index removal. A disallowed URL can still be indexed from external links. Use a noindex meta tag or removal request instead.

How do I stop robots.txt from blocking my whole site?

Look for a Disallow: / line under User-agent: *, which blocks every path. Remove or narrow it, then re-check. The tool flags this specific site-wide block so you can catch it fast.

What is a good HTTP status for robots.txt?

A 200 OK means the file was served and its rules apply. A 404 means no file exists, so crawlers assume full access. Persistent 5xx errors can cause crawlers to pause crawling entirely.

What's the difference between Allow and Disallow?

Disallow lists paths crawlers should not request; Allow re-permits a sub-path inside a broader Disallow. The most specific matching rule wins, so Allow can carve exceptions out of a blocked directory.

Should robots.txt list my sitemap?

Yes. A Sitemap: directive with the full URL helps crawlers discover your XML sitemap independently of any submission. The checker reports every Sitemap line it finds so you can confirm it is declared.

Is robots.txt a security or access-control tool?

No. Robots.txt is a public, voluntary instruction for cooperating crawlers, not access control. Anyone can read it, and it cannot protect private content. Use authentication or server rules to actually restrict access.

Does this checker simulate exactly how Googlebot reads my file?

It parses and reports your directives as written, but it does not replicate any single crawler's full internal matching policy. Treat the grouped rules and counts as an accurate readout, not a crawler-specific simulation.

Plus de vérifications gratuites