Безкоштовний інструмент · обліковий запис не потрібен

Free Robots.txt Tester & Validator

Test and validate robots.txt rules, User-Agent directives, blocked paths and AI bot access policies for search engines and AI crawlers.

Також відомий як: robots.txt tester · validator

Докази, показані з джереломОбліковий запис не потрібенНемає вигаданих метрик

Запустіть реальну перевірку вище

Надішліть публічну URL-адресу, домен або ключове слово. Novaverb покаже лише ті докази, які цей інструмент може насправді отримати або виміряти.

Модель доказів

Знайте, що доводить результат

This check proves what a site's robots.txt actually says and which rules apply to which crawler, including conflicting or overly broad Disallow blocks and any declared Sitemap directives. It proves crawl permission, not indexing: a URL that is disallowed here can still appear in search results, and one that is allowed is not thereby crawled.

1. Джерело

Live robots.txt fetch. The result identifies where its evidence came from.

2. Межа

The checker fetches /robots.txt and reads its directives. robots.txt is a crawl directive, not access control or index removal; this tool does not simulate a specific crawler's policy.

3. Наступна дія

Використовуйте знахідку для перевірки проблеми, а потім підключіть робочий простір, коли вам потрібна історія, моніторинг або аналіз всього сайту.

Пояснення robots.txt

Тестуйте свій robots.txt без надмірного ствердження того, що він робить

robots.txt вказує сумісним краулерам, які шляхи вони можуть запитувати. Це перший файл, який більшість краулерів отримують, тому одна неправильна стрічка може тихо утримувати цілий сайт від пошуку - або дозволити краулінг приватних шляхів.

Що перевірити

Локація - файл повинен знаходитися в корені домену та повертати HTTP 200 як простий текст.
Групи агентів користувача - правила Allow/Disallow кожної групи застосовуються лише до агентів, яких вона називає; порожнє Disallow після User-agent: * може заблокувати все.
Оголошені карти сайту - опублікуйте абсолютну URL-адресу карти сайту тут, щоб краулери могли її виявити.
Границя валідації - ця сторінка перевіряє досяжність HTTP та директивні докази; це не повний парсер RFC 9309 або перевірка Search Console.

Чому це важливо для SEO та AI-відкриттів

Чіткий robots.txt зменшує неоднозначність для пошукових систем та AI-обхідників. Novaverb може використовувати цей сигнал як частину більш широкої моделі обходу та технічних доказів, поряд з індексованістю, канонічними URL та внутрішніми посиланнями.

Отримайте правильну відповідь

Що подати - і чого уникати

Submit the domain, or any URL on it; the host is resolved and robots.txt is fetched from the root, which is the only location the specification recognises. A file placed in a subdirectory is not a robots.txt and will be reported as missing, which is the same conclusion every real crawler reaches.

Використовуйте це так

yourdomain.comБудь-яка форма адреси працює - ми отримуємо /robots.txt на корені хоста для вас. http або https, з www або без, простий домен або повний шлях - ми нормалізуємо це для вас.

https://www.yourdomain.com/anythingНавіть глибокий URL підходить; ми вирішуємо до хоста та читаємо його кореневий robots.txt.

Уникати це

Expecting a subfolder robots.txt to countrobots.txt враховується лише в корені хоста; копія всередині підпапки ігнорується краулерами.

Публічна методологія

Саме так цей результат виробляється

The host is resolved from the input and robots.txt is fetched from its root. User-agent, Allow and Disallow groups are parsed per RFC 9309, and the rules that apply to each major crawler are resolved the way that crawler resolves them. Conflicting or overly broad Disallow blocks are flagged, and Sitemap directives are noted.

Ми визначаємо хост з вашого вводу та отримуємо robots.txt з його кореня.
Ми парсимо User-agent, Allow та Disallow групи відповідно до RFC 9309 та визначаємо, які правила застосовуються до основних краулеров.
Ми позначаємо конфліктуючі або надто широкі блоки Disallow та зазначаємо будь-які директиви Sitemap: .

Побудовано на публічних стандартах

Міжнародні стандарти, до яких застосовується ця перевірка

RFC 9309 has defined the Robots Exclusion Protocol as a published standard since 2022, and this parse follows it rather than folklore, including its precedence rules for Allow against Disallow. Google's own robots.txt documentation is applied where it defines behaviour the RFC leaves to the implementation.

IETFRFC 9309

Robots Exclusion Protocol

Парсить ваші директиви Allow / Disallow / user-agent відповідно до формального стандарту robots.txt.

Читати специфікацію

Googlerobots.txt

Google robots.txt specification

Зазначає, де інтерпретація Googlebot розширює базовий стандарт.

Читати специфікацію

Ми перераховуємо стандарт лише там, де цей інструмент дійсно читає або вимірює його. Якщо сигнал знаходиться поза межами живої перевірки, результат говорить про це, а не натякає на охоплення.

Загальні запитання

Robots.txt Checker Часті запитання

What does the Robots.txt Checker check?

It fetches your /robots.txt file, reports the HTTP status, and lists crawl rules grouped by user-agent, counting every Allow and Disallow directive plus any declared Sitemap lines so you see exactly what crawlers are told.

What is robots.txt?

Robots.txt is a plain-text file at your domain root that follows the Robots Exclusion Protocol (RFC 9309). It tells cooperating crawlers like Googlebot which paths they may or may not request, grouped by user-agent.

Why does robots.txt matter for SEO?

Robots.txt controls crawler access to your paths. A mistaken Disallow can stop search engines from crawling important pages, so verifying the rules prevents accidentally hiding content you actually want discovered and ranked.

Does robots.txt remove a page from Google?

No. Robots.txt only requests that crawlers skip a path; it is a crawl directive, not index removal. A disallowed URL can still be indexed from external links. Use a noindex meta tag or removal request instead.

How do I stop robots.txt from blocking my whole site?

Look for a Disallow: / line under User-agent: *, which blocks every path. Remove or narrow it, then re-check. The tool flags this specific site-wide block so you can catch it fast.

What is a good HTTP status for robots.txt?

A 200 OK means the file was served and its rules apply. A 404 means no file exists, so crawlers assume full access. Persistent 5xx errors can cause crawlers to pause crawling entirely.

What's the difference between Allow and Disallow?

Disallow lists paths crawlers should not request; Allow re-permits a sub-path inside a broader Disallow. The most specific matching rule wins, so Allow can carve exceptions out of a blocked directory.

Should robots.txt list my sitemap?

Yes. A Sitemap: directive with the full URL helps crawlers discover your XML sitemap independently of any submission. The checker reports every Sitemap line it finds so you can confirm it is declared.

Is robots.txt a security or access-control tool?

No. Robots.txt is a public, voluntary instruction for cooperating crawlers, not access control. Anyone can read it, and it cannot protect private content. Use authentication or server rules to actually restrict access.

Does this checker simulate exactly how Googlebot reads my file?

It parses and reports your directives as written, but it does not replicate any single crawler's full internal matching policy. Treat the grouped rules and counts as an accurate readout, not a crawler-specific simulation.

Більше безкоштовних перевірок