Free Robots.txt Generator for SEO & AI Crawlers

robots.txt cho các crawler tuân thủ biết các đường dẫn URL nào họ có thể yêu cầu trên một sơ đồ, máy chủ và cổng cụ thể. Nó quản lý việc thu thập; nó không phải là xác thực và không đảm bảo rằng một URL được phát hiện sẽ không nằm trong chỉ mục.

Đặt nó ở gốc của máy chủ chính xác, ví dụ https://example.com/robots.txt. Một tệp trong thư mục con không kiểm soát toàn bộ máy chủ, và các quy tắc không tự động chuyển giao giữa các miền phụ.

Không. Một URL bị chặn vẫn có thể được phát hiện từ các liên kết và có thể xuất hiện mà không có đoạn trích. Sử dụng chỉ thị noindex phù hợp khi bạn cần kiểm soát lập chỉ mục, và không chặn trình thu thập đọc chỉ thị đó.

Không. Google tài liệu User-agent, Allow, Disallow và Sitemap là các trường robots.txt được hỗ trợ và không hỗ trợ Crawl-delay, vì vậy trình tạo này cố ý không thêm nó.

Đường dẫn khớp chính xác nhất sẽ thắng. Nếu quy tắc Cho phép và Không cho phép tương đương, quy tắc Cho phép sẽ thắng. Việc khớp là phân biệt chữ hoa chữ thường.

Có. Thêm một hoặc nhiều URL sitemap HTTP hoặc HTTPS đầy đủ. Giá trị Sitemap phải là tuyệt đối, và nó có thể chỉ đến một máy chủ khác.

Bạn có thể nhắm mục tiêu một crawler xác định bản thân bằng mã sản phẩm, nhưng chỉ các crawler nhận ra và tôn trọng Giao thức loại trừ Robots mới tuân thủ. Đừng coi tệp này như một bảo đảm chống lại việc truy cập, đào tạo hoặc tái sử dụng.

Quyết định theo mục đích. OAI-SearchBot, Claude-SearchBot và PerplexityBot hỗ trợ phát hiện tìm kiếm hoặc trích dẫn; GPTBot, ClaudeBot và Google-Extended cung cấp các điều khiển riêng biệt liên quan đến phát triển mô hình hoặc cơ sở Gemini. Chính sách thay đổi, vì vậy hãy xác minh tài liệu hiện tại của từng nhà cung cấp trước khi xuất bản.

Thường thì không. Bắt đầu từ tệp hoặc đầu ra ảo được duy trì bởi phiên bản nền tảng đã cài đặt, sau đó chỉ thêm các thay đổi cụ thể cho dự án đã được xác minh. Shopify khuyến nghị bảo tồn các mặc định Liquid được tạo của nó, trong khi Drupal Composer Scaffold có thể quản lý và cập nhật tệp gốc.

Không. Trình tạo này chạy hoàn toàn ở phía khách hàng trong trình duyệt của bạn. Không có gì bạn nhập được gửi đến máy chủ, vì vậy nó an toàn để sử dụng trên nội dung riêng tư.

Có, không cần tài khoản. Một không gian làm việc của Novaverb chỉ cần thiết khi bạn muốn xác minh, theo dõi và theo dõi các tệp này trên trang web trực tiếp của bạn theo thời gian.