1. Nguồn
Tải trực tiếp robots.txt. Kết quả xác định nguồn gốc của bằng chứng.
Công cụ miễn phí, không cần tài khoản
Kiểm tra & Xác thực robots.txt miễn phí
The Novaverb robots.txt tester fetches the live robots.txt file at a site's root and reports its HTTP status, user-agent groups, Allow and Disallow counts, sitemap declarations and any site-wide Disallow rule.
Còn được gọi là: kiểm tra robots.txt, xác thực
Bằng chứng được hiển thị với nguồnKhông cần tài khoảnKhông có chỉ số nào được tạo ra.
Chạy một kiểm tra thực tế ở trên
Gửi một URL công khai, tên miền, hoặc từ khóa. Novaverb sẽ chỉ hiển thị bằng chứng mà công cụ này thực sự có thể lấy hoặc đo lường.
Định nghĩa
What is a robots.txt tester?
A robots.txt tester is a tool that fetches a site's robots.txt file and shows the crawl rules written in it. The Novaverb Robots.txt Checker reads the live file at the root of the exact hostname you submit and summarizes its status, user-agent groups, Allow and Disallow rules and sitemap lines.
Phạm vi
What does the robots.txt tester check?
The robots.txt tester checks the HTTP status of the file, the user-agent values it names, the number of Allow and Disallow directives, every Sitemap line and the file size in bytes. A literal Disallow: / rule is flagged as a block on every path for its group, and the fetched file is displayed with its comments preserved.
Dành cho ai
Who is the robots.txt tester for?
The robots.txt tester is for developers who just deployed and need to confirm a staging block did not ship, SEO specialists auditing which crawler groups a site addresses, site owners deciding how to treat AI crawlers named in the file, and migration leads checking that the new host serves the file at its root.
Vì sao quan trọng
Why use a robots.txt tester?
A robots.txt tester catches a crawl rule mistake before crawlers act on it. One Disallow: / line left in place can stop compliant crawlers from fetching site content, a file returning an error status gives crawlers no explicit guidance, and a missing Sitemap line removes a discovery route. A visitor using a browser notices none of these.
Phương pháp
How does the robots.txt tester work?
The robots.txt tester works by keeping the exact hostname you submitted, resolving it to a public address and fetching /robots.txt from the root with safe redirect handling. The returned text is then counted by User-agent, Allow, Disallow and Sitemap directive. An empty Disallow value stays permissive, and only the literal root rule is flagged as a block.
- Chúng tôi giữ nguyên chính xác tên máy chủ đã gửi và lấy /robots.txt từ gốc của nó với cơ chế xử lý redirect an toàn.
- Chúng tôi đếm các chỉ thị User-agent, Allow, Disallow và Sitemap từ tệp đã thu thập.
- Chúng tôi đánh dấu một khối gốc Disallow: / và giữ giá trị Disallow trống là cho phép; chúng tôi không mô phỏng chính sách đầy đủ của một trình thu thập tên.
Đầu vào
What do you enter into the robots.txt tester?
Enter a domain, or any URL on it, into the robots.txt tester. The host is taken from the address and the file is fetched from the root, the only location the specification recognizes. A robots.txt placed in a subfolder is not read and is reported as missing. Hosts that do not resolve to a public address are refused.
Sử dụng nó như thế này
yourdomain.comBất kỳ hình thức địa chỉ nào cũng hoạt động - chúng tôi lấy /robots.txt tại gốc máy chủ cho bạn. http hoặc https, có hoặc không có www, chỉ tên miền hay một đường dẫn đầy đủ - chúng tôi chuẩn hóa cho bạn.https://www.yourdomain.com/anythingNgay cả một URL ở tầng sâu cũng được; chúng tôi quy về máy chủ và đọc robots.txt ở gốc của máy chủ đó.Tránh điều này
Expecting a subfolder robots.txt to countrobots.txt chỉ có hiệu lực tại thư mục gốc của máy chủ; bản sao đặt trong thư mục con sẽ bị crawler bỏ qua.Kết quả
What does the robots.txt tester report contain?
A robots.txt tester report contains a header with the fetched URL and status, counts for user-agent groups, Disallow and Allow rules and declared sitemaps, a warning when a Disallow: / rule exists, the list of user-agent values, the file as served, each Sitemap directive found and an analysis panel with findings and priority fixes.
Cách đọc
How do you read a robots.txt tester result?
Read a robots.txt tester result by checking the status first: 200 means the file was served and its rules apply, while 404 means no file exists and crawlers assume full access. Next look for the Disallow: / warning and find which user-agent group owns the rule. Then confirm that at least one sitemap is declared.
Giải thích Robots.txt
Kiểm tra robots.txt của bạn mà không tuyên bố quá mức những gì nó làm
robots.txt cho các crawler tuân thủ biết chúng được phép yêu cầu những đường dẫn nào. Đây là tệp đầu tiên mà hầu hết crawler tải về, nên chỉ một dòng sai cũng có thể âm thầm khiến cả website nằm ngoài kết quả tìm kiếm - hoặc để các đường dẫn riêng tư bị thu thập dữ liệu.
Cần kiểm tra
- Địa điểm - tệp phải nằm ở gốc tên miền và trả về HTTP 200 dưới dạng văn bản thuần.
- Nhóm tác nhân người dùng - each group's Allow/Disallow rules apply only to the agents it names; an empty Disallow allows every path, and Disallow: / blocks every path for that group.
- Các sitemap đã khai báo - xuất bản URL tuyệt đối của sơ đồ trang tại đây để các trình thu thập có thể phát hiện nó.
- Ranh giới xác thực - trang này kiểm tra khả năng truy cập qua HTTP và bằng chứng về các chỉ thị; nó không phải là một trình phân tích cú pháp RFC 9309 đầy đủ hay một lượt kiểm tra trong Search Console.
Tại sao điều này quan trọng cho SEO và phát hiện AI
Một robots.txt rõ ràng giúp giảm sự mơ hồ cho các crawler tìm kiếm và AI. Novaverb có thể dùng tín hiệu này như một phần của mô hình bằng chứng kỹ thuật và thu thập dữ liệu rộng hơn, bên cạnh khả năng lập chỉ mục, thẻ canonical và liên kết nội bộ.
Nguồn
Where does the robots.txt tester get its data?
The robots.txt tester gets its data from a live fetch of /robots.txt on the exact hostname you submit, made when you run the check. The rules shown are the ones in that served file. No crawl history or search engine report is consulted, so the result reflects what the server returned to this single request.
Giới hạn
What does the robots.txt tester not tell you?
The robots.txt tester does not tell you whether a named crawler may fetch a specific URL, because it does not simulate any crawler's matching, caching or policy behavior. Robots.txt is a crawl directive, not access control or index removal, so the result says nothing about whether a blocked page is private or absent from search.
Bằng chứng
What does a robots.txt tester result prove?
A robots.txt tester result proves what the root file contained when it was fetched: its status, the user-agent values, the Allow and Disallow counts, the sitemap declarations and any literal Disallow: / rule. That supports conclusions about what crawlers are told. What a particular crawler then does with those rules cannot be concluded from the summary.
2. Ranh giới
Công cụ tải /robots.txt và đọc các chỉ thị trong đó. robots.txt là chỉ thị thu thập dữ liệu, không phải kiểm soát truy cập hay lệnh gỡ khỏi chỉ mục; công cụ này không mô phỏng chính sách của một trình thu thập cụ thể.
3. Hành động tiếp theo
Sử dụng phát hiện để xác minh một vấn đề, sau đó kết nối một không gian làm việc khi bạn cần lịch sử, giám sát hoặc phân tích toàn bộ trang web.
Tiêu chuẩn
Which standards does the robots.txt tester apply?
The robots.txt tester applies RFC 9309, the Robots Exclusion Protocol published by the IETF. The specification defines the syntax used to identify User-agent, Allow, Disallow and Sitemap lines, and the tool treats an empty Disallow as permissive. The summary does not claim to implement crawler-specific matching, caching or policy extensions beyond the fields it displays.
IETFRFC 9309
Robots Exclusion Protocol
Xác định các chỉ thị User-agent, Allow, Disallow và Sitemap đã thu thập, và coi một Disallow trống là cho phép.
Đọc thông số kỹ thuậtChúng tôi chỉ liệt kê một tiêu chuẩn khi công cụ này thực sự đọc hoặc đo lường theo đó. Khi một tín hiệu nằm ngoài kiểm tra trực tiếp, kết quả sẽ nói rõ điều đó thay vì ngụ ý rằng có sự bao phủ.
Xác minh
How can you verify a robots.txt tester result yourself?
Verify a robots.txt tester result by loading the same hostname followed by /robots.txt in a browser and comparing the text with the file shown in the report. Count the Disallow lines by hand for a short file. To confirm the status code, request the file with a command line client and read the first response line.
Ví dụ
What does a typical robots.txt tester finding look like?
A typical robots.txt tester finding is a file that returns 200 with a single group for all crawlers, a few Disallow rules for admin and cart paths, and no Sitemap line. The analysis marks the file reachable, adds a warning that no sitemap is declared and suggests a Sitemap line so crawlers discover the sitemap directly.
Chi phí
Is the robots.txt tester free?
The robots.txt tester is free and no account is required. You can check any public hostname from the form. A free Novaverb account is needed for the step the file alone cannot answer: crawling the site to see every URL these rules allow or block, keeping the evidence and rechecking after the file changes.
Trong không gian làm việc
What does a Novaverb workspace add to the robots.txt tester?
A Novaverb workspace adds a site crawl to the robots.txt tester, so the rules are seen against real URLs and important pages kept out of search by accident become visible. Crawl Explorer is the product that continues the job, letting you inspect every URL captured in the project crawl and turn each supported technical finding into an action.
Khi nào cần đi xa hơn
When is a free robots.txt checker not enough?
A free robots.txt checker run is not enough when you need to know which of your actual pages a rule affects, since that takes a crawl of the whole site. One check is also a single moment. A file overwritten by a later deploy is only noticed when the same check is repeated and compared over time.
Bước kế tiếp
What should you do after running the robots.txt tester?
After running the robots.txt tester, remove any site-wide Disallow: / rule that is not deliberate. If the file returned an error status, publish one at the host root, even a permissive one. Add a Sitemap line with the full sitemap URL. Then run the check again and confirm the status, counts and sitemap list changed.
Công cụ liên quan
Which free tools pair with the robots.txt tester?
Related free tools pair with the robots.txt tester. The Robots.txt Generator creates an RFC 9309-aligned file with optional AI crawler controls. The Sitemap Checker follows the Sitemap lines declared in robots.txt and inspects those documents. The Website SEO Checker reads the homepage for a noindex directive alongside its robots.txt and sitemap rows.
Công cụ kiểm tra SEO websiteHomepage status, indexability, title, headings and links from one live scan
Công cụ nghiên cứu từ khóaFree keyword research tool: monthly searches, cost per click, ad …
Trình kiểm tra SERPFree SERP checker: the organic results for a keyword in …
Công cụ Kiểm tra Bảo mật Trang webFree website security checker: a limited outside check of a …
Kiểm tra Cấu hình Bảo mật WordPressFree WordPress security checker: eight public configuration areas on a …
Kiểm tra thời gian phản hồi máy chủFree server response time checker: one live request from Germany, …
Phân tích BacklinksFree backlink checker: see the referring domains, link totals, follow …
Sitemap CheckerFree sitemap checker: find a site's XML sitemaps from robots.txt …
Trình kiểm tra thẻ metaFree meta tag checker: a page's live title, meta description, …
Trình kiểm tra trạng thái HTTP và chuyển hướngFree redirect checker: trace every hop of a URL's redirect …
Giám sát trang webFree website status checker: one live request to your address …
Kiểm tra HTTP/2Free HTTP/2 test: opens one live TLS connection to a …
Kiểm tra HTTP/3Free HTTP/3 test: attempts a real QUIC connection to a …
Kiểm tra Hiệu suất Trang webFree website performance test: time one request to your URL …
Trình kiểm tra GEOFree GEO checker: retrieve, quote, cite and graph signals from …
Công cụ kiểm tra Core Web VitalsFree Core Web Vitals checker: real-user LCP, INP and CLS …
Trình kiểm tra PageSpeedFree PageSpeed checker: a Lighthouse lab audit of a public …
Kiểm tra an toàn trang webFree website safety checker: see whether a URL is listed …
Kiểm tra Knowledge GraphFree Knowledge Graph checker: look up a brand or name …
Kiểm tra khoảng cách từ khóaFree keyword gap analysis: keywords a competitor ranks for and …
Các trang hàng đầu của đối thủFree competitor top pages tool: a domain's leading pages by …
Câu hỏi
What do people ask about the robots.txt tester?
People ask what the robots.txt tester checks, what robots.txt is, whether an empty Disallow blocks the whole site, how Allow differs from Disallow, which HTTP status the file should return, whether it should list a sitemap, whether it can protect private content and whether the checker simulates how one named crawler reads the file.
What does the Robots.txt Checker check?
It fetches your /robots.txt file, reports the HTTP status, and lists crawl rules grouped by user-agent, counting every Allow and Disallow directive plus any declared Sitemap lines so you see exactly what crawlers are told.
What is robots.txt?
Robots.txt is a plain-text file at your domain root that follows the Robots Exclusion Protocol (RFC 9309). It tells cooperating crawlers like Googlebot which paths they may or may not request, grouped by user-agent.
Does an empty Disallow rule block the whole site?
No. A line containing Disallow: with no path allows all paths for that group. Disallow: / is the rule that blocks the root and every path beneath it.
Does the checker decide whether one named crawler may fetch a URL?
No. It lists the groups and directives captured in the file. It does not reproduce a named crawler's complete matching, caching or policy behavior for a submitted URL.
Can robots.txt protect private content?
No. The file is public and its rules are voluntary. Protect private paths with authentication and authorization; use robots.txt only to communicate crawl preferences to cooperating crawlers.
What is a good HTTP status for robots.txt?
A 200 OK means the file was served and its rules apply. A 404 means no file exists, so crawlers assume full access. Persistent 5xx errors can cause crawlers to pause crawling entirely.
What's the difference between Allow and Disallow?
Disallow lists paths crawlers should not request; Allow re-permits a sub-path inside a broader Disallow. The most specific matching rule wins, so Allow can carve exceptions out of a blocked directory.
Should robots.txt list my sitemap?
Yes. A Sitemap: directive with the full URL helps crawlers discover your XML sitemap independently of any submission. The checker reports every Sitemap line it finds so you can confirm it is declared.
Is robots.txt a security or access-control tool?
No. Robots.txt is a public, voluntary instruction for cooperating crawlers, not access control. Anyone can read it, and it cannot protect private content. Use authentication or server rules to actually restrict access.
Does this checker simulate exactly how Googlebot reads my file?
It parses and reports your directives as written, but it does not replicate any single crawler's full internal matching policy. Treat the grouped rules and counts as an accurate readout, not a crawler-specific simulation.