Gratis tool · geen account vereist

Free Robots.txt Tester & Validator

Test and validate robots.txt rules, User-Agent directives, blocked paths and AI bot access policies for search engines and AI crawlers.

Ook bekend als: robots.txt tester · validator

Bewijs getoond met bronGeen account vereistGeen uitgevonden metrics

Voer een echte controle hierboven uit

Dien een openbare URL, domein of zoekwoord in. Novaverb toont alleen het bewijs dat deze tool daadwerkelijk kan ophalen of meten.

Bewijsmodel

Weet wat het resultaat bewijst

This check proves what a site's robots.txt actually says and which rules apply to which crawler, including conflicting or overly broad Disallow blocks and any declared Sitemap directives. It proves crawl permission, not indexing: a URL that is disallowed here can still appear in search results, and one that is allowed is not thereby crawled.

1. Bron

Live robots.txt fetch. The result identifies where its evidence came from.

2. Grens

The checker fetches /robots.txt and reads its directives. robots.txt is a crawl directive, not access control or index removal; this tool does not simulate a specific crawler's policy.

3. Volgende actie

Gebruik de bevinding om een probleem te verifiëren, verbind vervolgens een werkruimte wanneer je geschiedenis, monitoring of site-brede analyse nodig hebt.

Robots.txt uitgelegd

Test je robots.txt zonder te overdrijven wat het doet

robots.txt vertelt conforme crawlers welke paden ze mogen aanvragen. Het is het eerste bestand dat de meeste crawlers ophalen, dus een enkele verkeerde regel kan een hele site stilletjes uit de zoekresultaten houden - of privé paden laten crawlen.

Wat te controleren

Locatie - het bestand moet zich op de domeinroot bevinden en HTTP 200 als platte tekst retourneren.
User-agent groepen - de toestemmings-/weigeringregels van elke groep zijn alleen van toepassing op de agents die het noemt; een lege Weigeren na User-agent: * kan alles blokkeren.
Verklaring sitemaps - publiceer de absolute URL van de sitemap hier zodat crawlers deze kunnen ontdekken.
Validatiegrens - deze pagina controleert HTTP-bereikbaarheid en richtlijnbewijs; het is geen volledige RFC 9309-parser of een Search Console-inspectie.

Waarom het belangrijk is voor SEO en AI ontdekking

Een duidelijke robots.txt vermindert de ambiguïteit voor zoek- en AI-crawlers. Novaverb kan dit signaal gebruiken als onderdeel van een breder crawl- en technisch bewijsmodel, naast indexeerbaarheid, canonicals en interne links.

Krijg het juiste antwoord

Wat in te dienen - en wat te vermijden

Submit the domain, or any URL on it; the host is resolved and robots.txt is fetched from the root, which is the only location the specification recognises. A file placed in a subdirectory is not a robots.txt and will be reported as missing, which is the same conclusion every real crawler reaches.

Gebruik het zo

yourdomain.comElke adresvorm werkt - we halen /robots.txt op bij de host root voor je. http of https, met of zonder www, een blote domein of een volledige pad - we normaliseren het voor je.

https://www.yourdomain.com/anythingZelfs een diepe URL is prima; we lossen op naar de host en lezen zijn root robots.txt.

Vermijd dit

Expecting a subfolder robots.txt to countrobots.txt wordt alleen gerespecteerd op de hostroot; een kopie binnen een submap wordt genegeerd door crawlers.

Openbare methodologie

Exact hoe dit resultaat wordt geproduceerd

The host is resolved from the input and robots.txt is fetched from its root. User-agent, Allow and Disallow groups are parsed per RFC 9309, and the rules that apply to each major crawler are resolved the way that crawler resolves them. Conflicting or overly broad Disallow blocks are flagged, and Sitemap directives are noted.

We lossen de host op vanuit jouw invoer en halen robots.txt op vanuit de root.
We parseren User-agent, Allow en Disallow-groepen per RFC 9309 en bepalen welke regels van toepassing zijn op belangrijke crawlers.
We markeren conflicterende of te brede Disallow-blokken en noteren eventuele Sitemap: richtlijnen.

Gebaseerd op openbare standaarden

De internationale normen waarop deze controle van toepassing is.

RFC 9309 has defined the Robots Exclusion Protocol as a published standard since 2022, and this parse follows it rather than folklore, including its precedence rules for Allow against Disallow. Google's own robots.txt documentation is applied where it defines behaviour the RFC leaves to the implementation.

IETFRFC 9309

Robots Exclusion Protocol

Parset je Allow / Disallow / user-agent richtlijnen volgens de formele robots.txt standaard.

Lees de specificatie

Googlerobots.txt

Google robots.txt specification

Opmerkt waar Googlebot's interpretatie de basisstandaard uitbreidt.

Lees de specificatie

We vermelden een standaard alleen waar deze tool daadwerkelijk leest of meet tegen deze standaard. Waar een signaal buiten een live controle valt, zegt het resultaat dat in plaats van impliciet dekking te suggereren.

Veelgestelde vragen

Robots.txt Checker FAQ

What does the Robots.txt Checker check?

It fetches your /robots.txt file, reports the HTTP status, and lists crawl rules grouped by user-agent, counting every Allow and Disallow directive plus any declared Sitemap lines so you see exactly what crawlers are told.

What is robots.txt?

Robots.txt is a plain-text file at your domain root that follows the Robots Exclusion Protocol (RFC 9309). It tells cooperating crawlers like Googlebot which paths they may or may not request, grouped by user-agent.

Why does robots.txt matter for SEO?

Robots.txt controls crawler access to your paths. A mistaken Disallow can stop search engines from crawling important pages, so verifying the rules prevents accidentally hiding content you actually want discovered and ranked.

Does robots.txt remove a page from Google?

No. Robots.txt only requests that crawlers skip a path; it is a crawl directive, not index removal. A disallowed URL can still be indexed from external links. Use a noindex meta tag or removal request instead.

How do I stop robots.txt from blocking my whole site?

Look for a Disallow: / line under User-agent: *, which blocks every path. Remove or narrow it, then re-check. The tool flags this specific site-wide block so you can catch it fast.

What is a good HTTP status for robots.txt?

A 200 OK means the file was served and its rules apply. A 404 means no file exists, so crawlers assume full access. Persistent 5xx errors can cause crawlers to pause crawling entirely.

What's the difference between Allow and Disallow?

Disallow lists paths crawlers should not request; Allow re-permits a sub-path inside a broader Disallow. The most specific matching rule wins, so Allow can carve exceptions out of a blocked directory.

Should robots.txt list my sitemap?

Yes. A Sitemap: directive with the full URL helps crawlers discover your XML sitemap independently of any submission. The checker reports every Sitemap line it finds so you can confirm it is declared.

Is robots.txt a security or access-control tool?

No. Robots.txt is a public, voluntary instruction for cooperating crawlers, not access control. Anyone can read it, and it cannot protect private content. Use authentication or server rules to actually restrict access.

Does this checker simulate exactly how Googlebot reads my file?

It parses and reports your directives as written, but it does not replicate any single crawler's full internal matching policy. Treat the grouped rules and counts as an accurate readout, not a crawler-specific simulation.

Meer gratis controles