Mặc định cho phép thu thập dữ liệu công khai, thêm quy tắc tùy chỉnh, hoặc chặn hẳn việc thu thập dữ liệu đối với một môi trường tạm thời.
Trình tạo miễn phí, chạy trong trình duyệt của bạn
Bắt đầu miễn phí
Free Robots.txt Generator for AI Crawlers
The Novaverb robots.txt generator builds a plain crawl policy file in your browser from User-agent, Allow, Disallow and Sitemap records, with optional AI crawler groups and a path tester to use before you publish.
Ngay lập tức, không cần tài khoản
Không có gì được tải lên
Sao chép hoặc tải xuống kết quả
Đầu vào của bạnTrình tạo Robots.txt
Chọn chính sách cơ bản, sau đó chỉ thêm các đường dẫn cần có ngoại lệ.
robots.txt đơn giảnBắt đầu bằng một nhóm cho phép toàn bộ hợp lệ. Đường dẫn và lựa chọn AI của bạn được thêm vào tệp được tạo theo thời gian thực.
Không sử dụng điều này để bảo vệ nội dung riêng tư. Một URL bị chặn vẫn có thể được phát hiện hoặc lập chỉ mục, và việc tuân thủ khi thu thập dữ liệu là tự nguyện. Hãy dùng xác thực cho các môi trường riêng tư và noindex để kiểm soát việc lập chỉ mục.
Sử dụng * cho tất cả các crawler hoặc một mã sản phẩm chính xác như Googlebot.
Dùng * hoặc một product token chỉ chứa chữ cái, dấu gạch ngang và dấu gạch dưới.
Nhập các đường dẫn trên máy chủ này. Nếu thiếu dấu gạch chéo ở đầu, hệ thống sẽ tự động thêm vào.
Sử dụng một đường dẫn Cho phép cụ thể hơn bên trong một khu vực bị chặn rộng hơn.
Xóa nhận xét, ngắt dòng hoặc ký tự điều khiển khỏi giá trị quy tắc.
Sử dụng URL http:// hoặc https:// đầy đủ. URL sitemap thuộc máy chủ khác được cho phép.
Mỗi sitemap phải là một URL HTTP hoặc HTTPS đầy đủ.
Sở thích crawler AIThêm các nhóm riêng biệt, có tên mà không làm thay đổi việc Google Search thu thập dữ liệu.
Sẽ không thêm nhóm AI có tên cụ thể nào. Tất cả crawler quay về áp dụng nhóm chính của bạn.
Đường dẫn này có cho phép thu thập dữ liệu không?Mô phỏng nhóm hiện tại; hãy kiểm tra lại tệp thật đang chạy sau khi xuất bản.
Được phépKhông có hạn chế nào khớp - việc thu thập dữ liệu được phép.
1Quy tắc hoạt động
0Sitemap hợp lệ
0Cảnh báo đầu vào
robots.txt đã tạorobots.txt
Xuất bản tại /robots.txtSửa trường được đánh dấu để tạo tệp.
Riêng tư theo thiết kế: trình tạo này chạy hoàn toàn trong trình duyệt của bạn - văn bản của bạn không bao giờ được gửi đến Novaverb hoặc bất kỳ máy chủ nào.
Biến đầu ra thành quy trình làm việc được giám sát
A Novaverb workspace crawls your live site, keeps what it finds, tracks changes over time and turns findings into assigned work.
Định nghĩa
Điều gì là một trình tạo robots.txt?
A robots.txt generator creates a plain-text crawl policy for automated user-agents on one website host. The Novaverb Robots.txt Generator builds User-agent, Allow, Disallow and Sitemap records from a form, adds optional named groups for AI crawlers, and lets you test a path against the rules before the file is published.
Phạm vi
What does the robots.txt generator create?
The robots.txt generator creates one robots.txt file with a main crawler group, its Disallow and Allow lines, optional groups for six named AI crawlers and any Sitemap lines you supply. A platform starter for WordPress, Drupal, Joomla, Shopify, Next.js or Django sets a visible, editable baseline. No Crawl-delay line is added.
Dành cho ai
Who is the robots.txt generator for?
The robots.txt generator is for people who control what crawlers may request on a host. A developer drafts the file for a new site or a temporary environment, an SEO specialist limits crawling of filters, carts and utility paths, and a publisher sets a separate preference for AI search and model-training crawlers.
Vì sao quan trọng
Why use a robots.txt generator?
A robots.txt generator catches a rule mistake before a crawler reads it. One wrong Disallow line can block a whole section, and an Allow exception may not win the way you expect. Testing a path against the draft shows the winning rule first, and invalid tokens or sitemap URLs are counted as input warnings.
Phương pháp
How does the robots.txt generator work?
The robots.txt generator works in five steps that end with a live fetch. Choose a starting policy, target a crawler group with an asterisk or an exact product token, add Disallow paths and Allow exceptions, test representative paths in the tester, then publish at the host root and fetch the live URL. The file rebuilds as you type.
Điều gì là một trình tạo robots.txt?
Trình tạo robots.txt tạo ra một chính sách thu thập dữ liệu dạng văn bản thuần dành cho các user-agent tự động trên một host website. Công cụ này tạo các bản ghi User-agent, Allow, Disallow và Sitemap ngay trong trình duyệt của bạn và cho phép bạn kiểm tra một đường dẫn trước khi xuất bản.
User-agentAllowDisallowSitemap
Tạo và xác minh robots.txt trong năm bước
Tệp và trình kiểm tra được cập nhật ngay lập tức mà không cần tải lên quy tắc của bạn.
Dùng * cho tất cả các crawler tuân thủ, hoặc nhập đúng product token của một crawler cụ thể.
Dùng Disallow cho các đường dẫn rộng và chỉ dùng các ngoại lệ Allow cụ thể hơn ở nơi thực sự cần.
Thử các đường dẫn công khai, bị chặn và các đường dẫn ngoại lệ. Bản xem trước sẽ chỉ ra quy tắc thắng.
Tải robots.txt lên thư mục gốc của máy chủ, sau đó tải URL thật đang chạy và xác nhận phản hồi là bản hiện hành.
Cách hoạt động của việc khớp quy tắc
Trình kiểm tra tuân theo các hành vi khớp chính yếu do Robots Exclusion Protocol quy định.
Một đường dẫn khớp dài hơn có ưu tiên hơn một quy tắc ngắn hơn, rộng hơn.
Khi một quy tắc Allow và một quy tắc Disallow tương đương cùng khớp, nên áp dụng quy tắc Allow.
/Folder/ và /folder/ là hai đường dẫn khác nhau. Hãy kiểm tra đúng kiểu viết hoa/thường mà máy chủ của bạn dùng.
Danh sách kiểm tra tuân thủ RFC 9309
Đây là các yêu cầu của giao thức và quy tắc xử lý crawler, không phải lời đồn SEO tùy chọn.
§2.3Tệp và vị trí chính xácPhục vụ /robots.txt viết thường ở cấp cao nhất của mỗi scheme, máy chủ và cổng, dưới dạng text/plain mã hóa UTF-8.
§2.2.1–2.2.3Nhóm và khớpToken user-agent dùng chữ cái, dấu gạch ngang hoặc dấu gạch dưới. Việc so khớp có phân biệt chữ hoa chữ thường; quy tắc dài nhất thắng và Allow thắng khi hai bên bằng nhau.
§2.3.1Kết quả HTTP quan trọngCrawler nên đi theo ít nhất năm redirect. Tệp trả về 4xx có thể có nghĩa là được phép thu thập dữ liệu; lỗi 5xx hoặc sự cố mạng có nghĩa là cấm hoàn toàn trong thời gian không truy cập được.
§2.4–2.5Giới hạn cache và phân tíchMột tệp được lưu cache thường không nên được sử dụng quá 24 giờ, và các trình phân tích phải hỗ trợ ít nhất 500 KiB.
Bắt đầu từ một cơ sở CMS minh bạch
Chọn một nền tảng sẽ nạp một mẫu khởi đầu hiển thị rõ và có thể chỉnh sửa vào Generated robots.txt. Novaverb không bao giờ thêm chỉ thị ẩn; hãy xác minh phiên bản CMS đang cài đặt trước khi thay thế tệp do nền tảng quản lý.
/robots.txt, /wp-sitemap.xmlWordPress có thể phục vụ cả hai điểm cuối một cách ảo. Kiểm tra phản hồi hiện tại trước vì các plugin có thể thay thế đầu ra lõi; chỉ thêm các quy tắc mà bạn đã xác minh cho trang này.
Tham khảo lõi WordPressweb/robots.txtDrupal Composer Scaffold quản lý tệp gốc. Thêm hoặc vá các quy tắc cụ thể cho dự án thông qua cấu hình scaffold để các bản cập nhật lõi không xóa chúng một cách âm thầm.
Hướng dẫn khung Drupalrobots.txt.dist → robots.txtSử dụng tệp đơn giản được cung cấp với phiên bản Joomla chính xác của bạn làm nguồn nền tảng hiện tại. Không nhập danh sách đường dẫn từ một phiên bản cũ hơn hoặc một trang web khác.
Tệp lõi Joomlatemplates/robots.txt.liquidShopify đã cung cấp sẵn một tệp mặc định hướng SEO. Chỉ tùy chỉnh mẫu Liquid khi cần; thay thế toàn bộ tệp được tạo có thể loại bỏ các bản cập nhật nền tảng trong tương lai.
Hướng dẫn Shopifyapp/robots.tsSử dụng quy ước MetadataRoute.Robots cho đầu ra tĩnh hoặc động có kiểu, hoặc thêm app/robots.txt cho tệp tĩnh đơn giản.
Tham khảo robots Next.jspublic root or explicit /robots.txt routeCác framework này không hàm ý một bộ quy tắc SEO chung cho mọi trường hợp. Hãy phục vụ văn bản được tạo từ thư mục gốc công khai hoặc một route text/plain, rồi kiểm tra trên máy chủ production.
Chọn quyền truy cập AI theo mục đích
Khả năng hiển thị trên tìm kiếm, phát triển mô hình và truy xuất theo yêu cầu của người dùng là những quyết định khác nhau. Tên nhà cung cấp và chính sách có thể thay đổi, vì vậy hãy kiểm tra lại nguồn được liên kết trước khi xuất bản.
OAI-SearchBot, Claude-SearchBot, PerplexityBotViệc chặn chúng có thể làm giảm khả năng được phát hiện, đoạn trích, trích dẫn hoặc chất lượng kết quả tìm kiếm trong các sản phẩm AI tương ứng.
GPTBot, ClaudeBot, Google-ExtendedCác quyền kiểm soát có tên này liên quan đến khả năng huấn luyện mô hình, cải thiện mô hình hoặc grounding cho Gemini. Google-Extended không ảnh hưởng đến việc được đưa vào Google Search hay thứ hạng.
Một quy tắc user-agent không phải là xác minh danh tính, kiểm soát truy cập hay một cơ chế từ chối phổ quát. Hãy đọc tài liệu của nhà cung cấp và xác thực lưu lượng thực tế một cách riêng biệt.
Sử dụng điều khiển đúng cho công việc
robots.txt là một khai báo mong muốn về việc thu thập dữ liệu, không phải cơ chế kiểm soát truy cập và cũng không phải lệnh lập chỉ mục có đảm bảo.
Sử dụng tốt
- Giảm việc thu thập dữ liệu trên các bộ lọc trùng lặp, giỏ hàng và các đường dẫn tiện ích có giá trị thấp.
- Khai báo một hoặc nhiều URL sitemap tuyệt đối.
- Tạo quy tắc riêng cho các crawler tự khai báo danh tính và tuân thủ giao thức.
Không được đảm bảo bởi robots.txt
- Giữ nội dung nhạy cảm ở chế độ riêng tư - hãy dùng xác thực và phân quyền.
- Xóa một URL khỏi tìm kiếm - sử dụng phản hồi noindex có thể lập chỉ mục, quy trình xóa hoặc kiểm soát truy cập khi thích hợp.
- Buộc mọi crawler hoặc hệ thống AI phải tuân thủ - giao thức này chỉ mang tính khuyến nghị.
Đã tạo không giống như trực tiếp
Một bản nháp đúng vẫn có thể bị tải lên nhầm máy chủ, bị lưu cache, bị redirect hoặc được trả về kèm lỗi. Sau khi xuất bản, hãy tải tệp thật về, xác minh trạng thái HTTP của nó và xác nhận rằng các chỉ thị Sitemap phân giải được.
Đầu vào
What do you enter into the robots.txt generator?
Enter a starting policy, a platform, a crawler user-agent, Disallow and Allow paths one per line, sitemap URLs and an AI policy into the robots.txt generator. A missing leading slash is added automatically. An invalid crawler token, a rule containing a comment or control character, or an incomplete sitemap URL is flagged and blocks the output until corrected.
Kết quả
What does the robots.txt generator output contain?
The robots.txt generator output contains the generated file, a tester and a summary. The file starts with a comment naming the starter, then the main group, any AI crawler groups and the Sitemap lines. The summary counts active rules, valid sitemaps and input warnings. Copy and Download save the text as robots.txt.
Cách đọc
How do you use the robots.txt generator output?
Use the robots.txt generator output by first typing real paths into the tester: a public page, a blocked path and an exception. Each shows Allowed or Blocked and names the winning rule. Then upload the file to the root of the exact host, because a file in a subfolder does not control the host.
Nguồn
Where does the robots.txt generator run?
The robots.txt generator runs in your browser. The file and the tester update instantly from the form without uploading your rules, and no live site is fetched. The tester therefore simulates the current draft group only. The published file has to be tested again once it is live on the host.
Giới hạn
What does the robots.txt generator not tell you?
The robots.txt generator does not tell you what your live host serves or how any crawler will behave. A correct draft can still be uploaded to the wrong host, cached, redirected or served with an error. The file is advisory, so it cannot keep content private or remove a URL from search.
Bằng chứng
What does a robots.txt generator result prove?
A robots.txt generator result proves that the draft is built from valid records and that a tested path is allowed or blocked under its matching rules. The result cannot prove that a crawler honors the file, that a named AI crawler is who it claims to be, or that a blocked URL stays out of an index.
Tiêu chuẩn
Which standards does the robots.txt generator apply?
The robots.txt generator applies RFC 9309, the Robots Exclusion Protocol. User-agent tokens use letters, hyphens or underscores. Path matching is case-sensitive, the longest matching rule wins and Allow wins an equal tie. The file belongs at lowercase /robots.txt at the top level of each scheme, host and port, served as UTF-8 plain text.
Xác minh
How can you verify robots.txt generator output yourself?
Verify robots.txt generator output after publishing by fetching the real file at the root of the host. Confirm the HTTP status is successful, that the response is current and not a cached or redirected copy, and that every Sitemap line resolves. Repeat the path tests against the published rules, because the tester only simulated the draft.
Ví dụ
What does a typical robots.txt generator result look like?
A typical robots.txt generator result is a WordPress starter that disallows the admin path and allows the admin-ajax file inside it, plus one sitemap URL. Testing the admin-ajax path returns Allowed, with the Allow line named as the winning rule, because the more specific match beats the broader Disallow.
Chi phí
Is the robots.txt generator free?
The robots.txt generator is free and needs no account for the form, the platform starters, the AI crawler options, the path tester or the copy and download buttons. A Novaverb account is needed only to verify the file on your live site and track it over time.
Trong không gian làm việc
What does a Novaverb workspace add to the robots.txt generator?
A Novaverb workspace adds evidence from the live site to the robots.txt generator, which only drafts a file. Crawl Explorer continues the job: it lists every URL captured in your project crawl with its HTTP status, indexability signals and depth, so the effect of the published rules can be checked against captured pages.
Khi nào cần đi xa hơn
When is a free robots.txt generator not enough?
A free robots.txt generator is not enough when you need to know what the rules do across a real site. Seeing which sections a crawl no longer reaches, catching a platform update that overwrote the file, or confirming that each subdomain serves the right file takes a crawl and repeated checks.
Bước kế tiếp
What should you do after using the robots.txt generator?
After using the robots.txt generator, compare the draft with the file your platform already serves, since replacing a platform-managed file can lose its defaults. Upload the result to the host root, fetch the live URL, confirm the status and the sitemap lines, and test the same paths again against the published file.
Công cụ liên quan
Which free tools pair with the robots.txt generator?
Free tools that pair with the robots.txt generator cover the checks a draft cannot make. The Robots.txt Checker fetches the live file and reads its directives. The XML Sitemap Generator creates the sitemap that a Sitemap line points to. The Meta Tag Generator outputs the page-level robots directive used for indexing control.
Trình tạo thẻ metaFree meta tag generator: build title, description, canonical, robots, …
Trình tạo Sitemap XMLFree XML sitemap generator: build a valid sitemap.xml or …
Đếm từFree word counter: count words, characters, sentences and paragraphs, …
Chuyển đổi Kiểu ChữFree convert case tool: switch text between sentence case, …
Redirect Rule GeneratorFree redirect rule generator: turn a list of old …
Schema Markup GeneratorFree schema markup generator: JSON-LD for FAQ, Article, Organization, …
Text CompareFree text compare tool: see every added, removed and …
Chuyển đổi hình ảnhFree image converter: change up to 20 pictures at …
Bộ nén hình ảnhFree image compressor: shrink up to 20 images in …
Công cụ thay đổi kích thước hình ảnhFree image resizer: set up to 20 images to …
Kiểm tra nội dung AIFree AI content checker: measures repeated word forms, sentence …
Trình kiểm tra đạo vănFree plagiarism checker: searches the longest sentences of a …
Trình chỉnh sửa HTML trực tuyếnFree online HTML editor: write or paste HTML and …
Máy tính ROI SEOFree SEO ROI calculator: turn investment, organic sessions, conversion …
Trình tạo chiến dịch UTMFree UTM builder: create a tagged campaign URL from …
Trình tạo tóm tắt chiến dịchFree campaign brief builder: turn an objective, audience, offer, …
Dự báo lưu lượng SEOFree SEO traffic forecast: model organic clicks, conversions and …
Lập kế hoạch lịch nội dungFree content calendar planner: turn a topic, audience, format …
Máy tính KPI marketingFree marketing KPI calculator: work out CTR, CPC, conversion …
Công cụ kiểm tra SEO websiteHomepage status, indexability, title, headings and links from one live scan
Công cụ nghiên cứu từ khóaFree keyword research tool: monthly searches, cost per click, …
Trình kiểm tra SERPFree SERP checker: the organic results for a keyword …
Công cụ Kiểm tra Bảo mật Trang webFree website security checker: a limited outside check of …
Kiểm tra Cấu hình Bảo mật WordPressFree WordPress security checker: eight public configuration areas on …
Kiểm tra thời gian phản hồi máy chủFree server response time checker: one live request from …
Phân tích BacklinksFree backlink checker: see the referring domains, link totals, …
Trình kiểm tra robots.txtFree robots.txt tester: fetch a site's live robots.txt and …
Sitemap CheckerFree sitemap checker: find a site's XML sitemaps from …
Trình kiểm tra thẻ metaFree meta tag checker: a page's live title, meta …
Trình kiểm tra trạng thái HTTP và chuyển hướngFree redirect checker: trace every hop of a URL's …
Giám sát trang webFree website status checker: one live request to your …
Kiểm tra HTTP/2Free HTTP/2 test: opens one live TLS connection to …
Kiểm tra HTTP/3Free HTTP/3 test: attempts a real QUIC connection to …
Kiểm tra Hiệu suất Trang webFree website performance test: time one request to your …
Trình kiểm tra GEOFree GEO checker: retrieve, quote, cite and graph signals …
Công cụ kiểm tra Core Web VitalsFree Core Web Vitals checker: real-user LCP, INP and …
Trình kiểm tra PageSpeedFree PageSpeed checker: a Lighthouse lab audit of a …
Kiểm tra an toàn trang webFree website safety checker: see whether a URL is …
Kiểm tra Knowledge GraphFree Knowledge Graph checker: look up a brand or …
Kiểm tra khoảng cách từ khóaFree keyword gap analysis: keywords a competitor ranks for …
Các trang hàng đầu của đối thủFree competitor top pages tool: a domain's leading pages …
Câu hỏi
What do people ask about the robots.txt generator?
People ask the robots.txt generator FAQ what robots.txt does, where the file should be placed, and whether blocking a URL prevents indexing, which it does not. They also ask about Crawl-delay, which rule wins when Allow and Disallow both match, adding a sitemap, blocking AI crawlers, and replacing a platform default file.
robots.txt làm gì?
robots.txt cho các crawler tuân thủ biết chúng được phép yêu cầu những đường dẫn URL nào trên một giao thức, host và cổng cụ thể. Nó điều tiết việc thu thập dữ liệu; nó không phải là cơ chế xác thực và không đảm bảo rằng một URL đã được phát hiện sẽ nằm ngoài chỉ mục.
robots.txt nên được đặt ở đâu?
Hãy đặt tệp ở thư mục gốc của đúng máy chủ đó, ví dụ https://example.com/robots.txt. Một tệp nằm trong thư mục con không kiểm soát toàn bộ máy chủ, và các quy tắc không tự động chuyển giữa các tên miền phụ.
robots.txt có ngăn Google lập chỉ mục không?
Không. Một URL bị chặn vẫn có thể được phát hiện qua các liên kết và có thể xuất hiện mà không kèm đoạn trích. Hãy dùng chỉ thị noindex phù hợp khi bạn cần kiểm soát việc lập chỉ mục, và đừng chặn crawler đọc chỉ thị đó.
Google có hỗ trợ Crawl-delay không?
Không. Google nêu rõ User-agent, Allow, Disallow và Sitemap là các trường robots.txt được hỗ trợ và không hỗ trợ Crawl-delay, vì vậy trình tạo này cố ý không thêm trường đó.
Quy tắc nào thắng khi cả Cho phép và Không cho phép đều khớp?
Đường dẫn khớp cụ thể nhất sẽ thắng. Nếu một quy tắc Allow và một quy tắc Disallow tương đương nhau, Allow nên thắng. Việc khớp có phân biệt chữ hoa chữ thường.
Tôi có thể thêm sitemap vào robots.txt không?
Có. Thêm một hoặc nhiều URL sitemap HTTP hoặc HTTPS đầy đủ. Giá trị Sitemap phải là tuyệt đối, và nó có thể chỉ đến một máy chủ khác.
robots.txt có thể chặn các crawler AI không?
Bạn có thể nhắm đến một crawler tự nhận diện bằng product token, nhưng chỉ những crawler nhận biết và tôn trọng Robots Exclusion Protocol mới tuân thủ. Đừng coi tệp này là bảo đảm ngăn được việc truy cập, huấn luyện hoặc tái sử dụng.
Tôi nên cho phép hoặc chặn những trình thu thập dữ liệu AI nào?
Quyết định theo mục đích. OAI-SearchBot, Claude-SearchBot và PerplexityBot hỗ trợ việc được tìm thấy trong tìm kiếm hoặc việc trích dẫn; GPTBot, ClaudeBot và Google-Extended cung cấp các quyền kiểm soát riêng liên quan đến phát triển mô hình hoặc grounding cho Gemini. Chính sách thay đổi, vì vậy hãy xác minh tài liệu hiện hành của từng nhà cung cấp trước khi xuất bản.
Tôi có nên thay thế robots.txt mặc định trong WordPress, Drupal, Joomla hay Shopify không?
Thường thì không. Bắt đầu từ tệp hoặc đầu ra ảo được duy trì bởi phiên bản nền tảng đã cài đặt, sau đó chỉ thêm các thay đổi riêng của dự án đã được xác minh. Shopify khuyến nghị giữ nguyên các giá trị mặc định Liquid mà nền tảng tạo ra, trong khi Drupal Composer Scaffold có thể quản lý và cập nhật tệp gốc.
Dữ liệu của tôi có được tải lên đâu không?
Không. Trình tạo này chạy hoàn toàn ở phía client, ngay trong trình duyệt của bạn. Không có nội dung nào bạn nhập được gửi tới máy chủ, vì vậy có thể dùng an toàn cho nội dung riêng tư.
Nó có thực sự miễn phí không?
Yes, with no account. A Novaverb workspace is only needed when you want your live site crawled, the results kept and changes tracked over time.
Đã sao chép vào clipboard