Darmowe narzędzie · nie wymaga konta

Free Robots.txt Tester & Validator

Test and validate robots.txt rules, User-Agent directives, blocked paths and AI bot access policies for search engines and AI crawlers.

Znany również jako: robots.txt tester · validator

Dowody pokazane ze źródłemBrak wymaganego kontaBrak wymyślonych metryk

Uruchom prawdziwe sprawdzenie powyżej

Prześlij publiczny URL, domenę lub słowo kluczowe. Novaverb pokaże tylko dowody, które to narzędzie może faktycznie pobrać lub zmierzyć.

Model dowodów

Wiedzieć, co dowodzi wynik

This check proves what a site's robots.txt actually says and which rules apply to which crawler, including conflicting or overly broad Disallow blocks and any declared Sitemap directives. It proves crawl permission, not indexing: a URL that is disallowed here can still appear in search results, and one that is allowed is not thereby crawled.

1. Źródło

Live robots.txt fetch. The result identifies where its evidence came from.

2. Granica

The checker fetches /robots.txt and reads its directives. robots.txt is a crawl directive, not access control or index removal; this tool does not simulate a specific crawler's policy.

3. Następna akcja

Użyj ustalenia, aby zweryfikować problem, a następnie połącz przestrzeń roboczą, gdy potrzebujesz historii, monitorowania lub analizy całej witryny.

Wyjaśnienie Robots.txt

Testuj swój robots.txt bez nadmiernego twierdzenia, co robi

robots.txt informuje zgodne roboty, które ścieżki mogą żądać. To pierwszy plik, który większość robotów pobiera, więc jedna błędna linia może cicho zablokować całą witrynę w wyszukiwaniach - lub pozwolić na indeksowanie prywatnych ścieżek.

Co sprawdzić

Lokalizacja - plik musi znajdować się w katalogu głównym domeny i zwracać HTTP 200 jako zwykły tekst.
Grupy agentów użytkowników - reguły Allow/Disallow każdej grupy stosują się tylko do wymienionych agentów; pusta reguła Disallow po User-agent: * może zablokować wszystko.
Zadeklarowane mapy witryn - opublikuj absolutny URL mapy witryny tutaj, aby roboty mogły go odkryć.
Granica walidacji - ta strona sprawdza dostępność HTTP i dowody dyrektyw; nie jest to pełny parser RFC 9309 ani inspekcja Search Console.

Dlaczego to ma znaczenie dla SEO i odkrywania AI

Jasny plik robots.txt redukuje niejasności dla robotów wyszukiwarek i AI. Novaverb może wykorzystać ten sygnał jako część szerszego modelu dowodów skanowania i technicznych, obok indeksowalności, kanonikalnych i linków wewnętrznych.

Uzyskaj właściwą odpowiedź

Co przesłać - i czego unikać

Submit the domain, or any URL on it; the host is resolved and robots.txt is fetched from the root, which is the only location the specification recognises. A file placed in a subdirectory is not a robots.txt and will be reported as missing, which is the same conclusion every real crawler reaches.

Użyj tego w ten sposób

yourdomain.comKażda forma adresu działa - pobieramy /robots.txt z głównego katalogu dla Ciebie. http lub https, z www lub bez, pusta domena lub pełna ścieżka - normalizujemy to dla Ciebie.

https://www.yourdomain.com/anythingNawet głęboki URL jest w porządku; rozwiązujemy do hosta i odczytujemy jego główny robots.txt.

Unikaj tego

Expecting a subfolder robots.txt to countrobots.txt jest honorowany tylko w katalogu głównym hosta; kopia w podfolderze jest ignorowana przez roboty.

Publiczna metodologia

Dokładnie jak ten wynik jest produkowany

The host is resolved from the input and robots.txt is fetched from its root. User-agent, Allow and Disallow groups are parsed per RFC 9309, and the rules that apply to each major crawler are resolved the way that crawler resolves them. Conflicting or overly broad Disallow blocks are flagged, and Sitemap directives are noted.

Rozwiązujemy hosta z Twojego wejścia i pobieramy robots.txt z jego katalogu głównego.
Analizujemy User-agent, grupy Allow i Disallow zgodnie z RFC 9309 i ustalamy, które zasady mają zastosowanie do głównych crawlerów.
Zgłaszamy sprzeczne lub zbyt ogólne bloki Disallow i zauważamy wszelkie dyrektywy Sitemap:.

Zbudowane na publicznych standardach

Międzynarodowe standardy, do których odnosi się to sprawdzenie

RFC 9309 has defined the Robots Exclusion Protocol as a published standard since 2022, and this parse follows it rather than folklore, including its precedence rules for Allow against Disallow. Google's own robots.txt documentation is applied where it defines behaviour the RFC leaves to the implementation.

IETFRFC 9309

Robots Exclusion Protocol

Parses your Allow / Disallow / user-agent directives per the formal robots.txt standard.

Przeczytaj specyfikację

Googlerobots.txt

Google robots.txt specification

Zauważa, gdzie interpretacja Googlebota rozszerza podstawowy standard.

Przeczytaj specyfikację

Wymieniamy standard tylko tam, gdzie to narzędzie rzeczywiście odczytuje lub mierzy w odniesieniu do niego. Gdy sygnał jest poza bieżącym sprawdzeniem, wynik to wskazuje, zamiast sugerować pokrycie.

Często zadawane pytania

Robots.txt Checker FAQ

What does the Robots.txt Checker check?

It fetches your /robots.txt file, reports the HTTP status, and lists crawl rules grouped by user-agent, counting every Allow and Disallow directive plus any declared Sitemap lines so you see exactly what crawlers are told.

What is robots.txt?

Robots.txt is a plain-text file at your domain root that follows the Robots Exclusion Protocol (RFC 9309). It tells cooperating crawlers like Googlebot which paths they may or may not request, grouped by user-agent.

Why does robots.txt matter for SEO?

Robots.txt controls crawler access to your paths. A mistaken Disallow can stop search engines from crawling important pages, so verifying the rules prevents accidentally hiding content you actually want discovered and ranked.

Does robots.txt remove a page from Google?

No. Robots.txt only requests that crawlers skip a path; it is a crawl directive, not index removal. A disallowed URL can still be indexed from external links. Use a noindex meta tag or removal request instead.

How do I stop robots.txt from blocking my whole site?

Look for a Disallow: / line under User-agent: *, which blocks every path. Remove or narrow it, then re-check. The tool flags this specific site-wide block so you can catch it fast.

What is a good HTTP status for robots.txt?

A 200 OK means the file was served and its rules apply. A 404 means no file exists, so crawlers assume full access. Persistent 5xx errors can cause crawlers to pause crawling entirely.

What's the difference between Allow and Disallow?

Disallow lists paths crawlers should not request; Allow re-permits a sub-path inside a broader Disallow. The most specific matching rule wins, so Allow can carve exceptions out of a blocked directory.

Should robots.txt list my sitemap?

Yes. A Sitemap: directive with the full URL helps crawlers discover your XML sitemap independently of any submission. The checker reports every Sitemap line it finds so you can confirm it is declared.

Is robots.txt a security or access-control tool?

No. Robots.txt is a public, voluntary instruction for cooperating crawlers, not access control. Anyone can read it, and it cannot protect private content. Use authentication or server rules to actually restrict access.

Does this checker simulate exactly how Googlebot reads my file?

It parses and reports your directives as written, but it does not replicate any single crawler's full internal matching policy. Treat the grouped rules and counts as an accurate readout, not a crawler-specific simulation.

Więcej darmowych sprawdzeń