Kostenloses Tool · kein Konto erforderlich

Free Robots.txt Tester & Validator

Test and validate robots.txt rules, User-Agent directives, blocked paths and AI bot access policies for search engines and AI crawlers.

Auch bekannt als: robots.txt tester · validator

Beweis angezeigt mit QuelleKein Konto erforderlichKeine erfundenen Metriken

Führen Sie eine echte Prüfung oben durch

Reichen Sie eine öffentliche URL, Domain oder ein Keyword ein. Novaverb zeigt nur die Beweise an, die dieses Tool tatsächlich abrufen oder messen kann.

Beweis-Modell

Wissen, was das Ergebnis beweist

This check proves what a site's robots.txt actually says and which rules apply to which crawler, including conflicting or overly broad Disallow blocks and any declared Sitemap directives. It proves crawl permission, not indexing: a URL that is disallowed here can still appear in search results, and one that is allowed is not thereby crawled.

1. Quelle

Live robots.txt fetch. The result identifies where its evidence came from.

2. Grenze

The checker fetches /robots.txt and reads its directives. robots.txt is a crawl directive, not access control or index removal; this tool does not simulate a specific crawler's policy.

3. Nächste Aktion

Verwende das Ergebnis, um ein Problem zu überprüfen, und verbinde dann einen Arbeitsbereich, wenn du Historie, Überwachung oder eine standortweite Analyse benötigst.

Robots.txt erklärt

Testen Sie Ihre robots.txt, ohne zu übertreiben, was sie tut

robots.txt sagt konformen Crawlern, welche Pfade sie anfordern dürfen. Es ist die erste Datei, die die meisten Crawler abrufen, sodass eine einzige falsche Zeile eine ganze Seite stillschweigend aus der Suche ausschließen oder private Pfade crawlen lassen kann.

Was zu überprüfen ist

Standort - Die Datei muss im Stammverzeichnis der Domain liegen und HTTP 200 als Klartext zurückgeben.
Benutzer-Agent-Gruppen - die Allow/Disallow-Regeln jeder Gruppe gelten nur für die benannten Agenten; ein leeres Disallow nach User-agent: * kann alles blockieren.
Deklarierte Sitemaps - Veröffentlichen Sie die absolute URL der Sitemap hier, damit Crawler sie entdecken können.
Validierungsgrenze - Diese Seite überprüft die HTTP-Erreichbarkeit und Direktivenbeweise; es ist kein vollständiger RFC 9309-Parser oder eine Inspektion der Search Console.

Warum es für SEO und AI-Entdeckung wichtig ist

Eine klare robots.txt reduziert die Mehrdeutigkeit für Such- und KI-Crawler. Novaverb kann dieses Signal als Teil eines umfassenderen Crawling- und technischen Evidenzmodells verwenden, neben Indexierbarkeit, Kanonischen und internen Links.

Die richtige Antwort erhalten

Was einzureichen ist - und was zu vermeiden ist

Submit the domain, or any URL on it; the host is resolved and robots.txt is fetched from the root, which is the only location the specification recognises. A file placed in a subdirectory is not a robots.txt and will be reported as missing, which is the same conclusion every real crawler reaches.

So verwenden Sie es

yourdomain.comJede Adressform funktioniert - wir holen /robots.txt an der Host-Wurzel für Sie. http oder https, mit oder ohne www, eine nackte Domain oder ein vollständiger Pfad - wir normalisieren es für Sie.

https://www.yourdomain.com/anythingSelbst eine tiefe URL ist in Ordnung; wir lösen zum Host auf und lesen dessen root robots.txt.

Vermeiden Sie dies

Expecting a subfolder robots.txt to countrobots.txt wird nur im Host-Stamm beachtet; eine Kopie in einem Unterordner wird von Crawlern ignoriert.

Öffentliche Methodik

Genau wie dieses Ergebnis produziert wird

The host is resolved from the input and robots.txt is fetched from its root. User-agent, Allow and Disallow groups are parsed per RFC 9309, and the rules that apply to each major crawler are resolved the way that crawler resolves them. Conflicting or overly broad Disallow blocks are flagged, and Sitemap directives are noted.

Wir lösen den Host aus Ihrer Eingabe und holen robots.txt von dessen Wurzel ab.
Wir analysieren User-Agent, Allow- und Disallow-Gruppen gemäß RFC 9309 und ermitteln, welche Regeln für wichtige Crawler gelten.
Wir kennzeichnen widersprüchliche oder zu breite Disallow-Blöcke und notieren alle Sitemap:-Direktiven.

Basierend auf öffentlichen Standards

Die internationalen Standards, auf die diese Überprüfung zutrifft

RFC 9309 has defined the Robots Exclusion Protocol as a published standard since 2022, and this parse follows it rather than folklore, including its precedence rules for Allow against Disallow. Google's own robots.txt documentation is applied where it defines behaviour the RFC leaves to the implementation.

IETFRFC 9309

Robots Exclusion Protocol

Parst Ihre Allow / Disallow / user-agent-Direktiven gemäß dem formalen robots.txt-Standard.

Spezifikation lesen

Googlerobots.txt

Google robots.txt specification

Notiert, wo die Interpretation von Googlebot den Basisstandard erweitert.

Spezifikation lesen

Wir listen einen Standard nur dort auf, wo dieses Tool ihn tatsächlich liest oder misst. Wenn ein Signal außerhalb einer Live-Prüfung liegt, sagt das Ergebnis dies anstelle von implizierter Abdeckung.

Häufige Fragen

Robots.txt Checker FAQ

What does the Robots.txt Checker check?

It fetches your /robots.txt file, reports the HTTP status, and lists crawl rules grouped by user-agent, counting every Allow and Disallow directive plus any declared Sitemap lines so you see exactly what crawlers are told.

What is robots.txt?

Robots.txt is a plain-text file at your domain root that follows the Robots Exclusion Protocol (RFC 9309). It tells cooperating crawlers like Googlebot which paths they may or may not request, grouped by user-agent.

Why does robots.txt matter for SEO?

Robots.txt controls crawler access to your paths. A mistaken Disallow can stop search engines from crawling important pages, so verifying the rules prevents accidentally hiding content you actually want discovered and ranked.

Does robots.txt remove a page from Google?

No. Robots.txt only requests that crawlers skip a path; it is a crawl directive, not index removal. A disallowed URL can still be indexed from external links. Use a noindex meta tag or removal request instead.

How do I stop robots.txt from blocking my whole site?

Look for a Disallow: / line under User-agent: *, which blocks every path. Remove or narrow it, then re-check. The tool flags this specific site-wide block so you can catch it fast.

What is a good HTTP status for robots.txt?

A 200 OK means the file was served and its rules apply. A 404 means no file exists, so crawlers assume full access. Persistent 5xx errors can cause crawlers to pause crawling entirely.

What's the difference between Allow and Disallow?

Disallow lists paths crawlers should not request; Allow re-permits a sub-path inside a broader Disallow. The most specific matching rule wins, so Allow can carve exceptions out of a blocked directory.

Should robots.txt list my sitemap?

Yes. A Sitemap: directive with the full URL helps crawlers discover your XML sitemap independently of any submission. The checker reports every Sitemap line it finds so you can confirm it is declared.

Is robots.txt a security or access-control tool?

No. Robots.txt is a public, voluntary instruction for cooperating crawlers, not access control. Anyone can read it, and it cannot protect private content. Use authentication or server rules to actually restrict access.

Does this checker simulate exactly how Googlebot reads my file?

It parses and reports your directives as written, but it does not replicate any single crawler's full internal matching policy. Treat the grouped rules and counts as an accurate readout, not a crawler-specific simulation.

Mehr kostenlose Prüfungen