Trình tạo robots.txt miễn phí cho SEO & AI Crawlers

robots.txt cho các crawler tuân thủ biết chúng được phép yêu cầu những đường dẫn URL nào trên một giao thức, host và cổng cụ thể. Nó điều tiết việc thu thập dữ liệu; nó không phải là cơ chế xác thực và không đảm bảo rằng một URL đã được phát hiện sẽ nằm ngoài chỉ mục.

Hãy đặt tệp ở thư mục gốc của đúng máy chủ đó, ví dụ https://example.com/robots.txt. Một tệp nằm trong thư mục con không kiểm soát toàn bộ máy chủ, và các quy tắc không tự động chuyển giữa các tên miền phụ.

Không. Một URL bị chặn vẫn có thể được phát hiện qua các liên kết và có thể xuất hiện mà không kèm đoạn trích. Hãy dùng chỉ thị noindex phù hợp khi bạn cần kiểm soát việc lập chỉ mục, và đừng chặn crawler đọc chỉ thị đó.

Không. Google nêu rõ User-agent, Allow, Disallow và Sitemap là các trường robots.txt được hỗ trợ và không hỗ trợ Crawl-delay, vì vậy trình tạo này cố ý không thêm trường đó.

Đường dẫn khớp cụ thể nhất sẽ thắng. Nếu một quy tắc Allow và một quy tắc Disallow tương đương nhau, Allow nên thắng. Việc khớp có phân biệt chữ hoa chữ thường.

Có. Thêm một hoặc nhiều URL sitemap HTTP hoặc HTTPS đầy đủ. Giá trị Sitemap phải là tuyệt đối, và nó có thể chỉ đến một máy chủ khác.

Bạn có thể nhắm đến một crawler tự nhận diện bằng product token, nhưng chỉ những crawler nhận biết và tôn trọng Robots Exclusion Protocol mới tuân thủ. Đừng coi tệp này là bảo đảm ngăn được việc truy cập, huấn luyện hoặc tái sử dụng.

Quyết định theo mục đích. OAI-SearchBot, Claude-SearchBot và PerplexityBot hỗ trợ việc được tìm thấy trong tìm kiếm hoặc việc trích dẫn; GPTBot, ClaudeBot và Google-Extended cung cấp các quyền kiểm soát riêng liên quan đến phát triển mô hình hoặc grounding cho Gemini. Chính sách thay đổi, vì vậy hãy xác minh tài liệu hiện hành của từng nhà cung cấp trước khi xuất bản.

Thường thì không. Bắt đầu từ tệp hoặc đầu ra ảo được duy trì bởi phiên bản nền tảng đã cài đặt, sau đó chỉ thêm các thay đổi riêng của dự án đã được xác minh. Shopify khuyến nghị giữ nguyên các giá trị mặc định Liquid mà nền tảng tạo ra, trong khi Drupal Composer Scaffold có thể quản lý và cập nhật tệp gốc.

Không. Trình tạo này chạy hoàn toàn ở phía client, ngay trong trình duyệt của bạn. Không có nội dung nào bạn nhập được gửi tới máy chủ, vì vậy có thể dùng an toàn cho nội dung riêng tư.

Có, không cần tài khoản. Bạn chỉ cần một không gian làm việc Novaverb khi muốn xác minh, giám sát và theo dõi các tệp này trên website đang chạy của bạn theo thời gian.