Free Robots.txt Generator for SEO & AI Crawlers

robots.txt informuje zgodne roboty, które ścieżki URL mogą żądać w określonym schemacie, hoście i porcie. Zarządza crawlowaniem; nie jest to uwierzytelnianie i nie gwarantuje, że odkryty URL pozostanie poza indeksem.

Umieść go w katalogu głównym dokładnego hosta, na przykład https://example.com/robots.txt. Plik w podfolderze nie kontroluje całego hosta, a zasady nie przenoszą się automatycznie między subdomenami.

Nie. Zablokowany URL może być nadal odkryty z linków i może pojawić się bez fragmentu. Użyj odpowiedniego dyrektywy noindex, gdy potrzebujesz kontroli indeksowania, i nie blokuj robota przed odczytaniem tej dyrektywy.

Nie. Google dokumentuje User-agent, Allow, Disallow i Sitemap jako wspierane pola robots.txt i nie wspiera Crawl-delay, więc ten generator celowo go nie dodaje.

Najbardziej specyficzna ścieżka dopasowania wygrywa. Jeśli reguły Allow i Disallow są równoważne, reguła Allow powinna wygrać. Dopasowanie jest wrażliwe na wielkość liter.

Tak. Dodaj jeden lub więcej kompletnych URL-i mapy witryny HTTP lub HTTPS. Wartość mapy witryny musi być absolutna i może wskazywać na inny host.

Możesz celować w robota, który identyfikuje się za pomocą tokena produktu, ale tylko roboty, które rozpoznają i szanują Protokół Wykluczenia Robotów, będą przestrzegać. Nie traktuj pliku jako gwarancji przeciwko dostępowi, szkoleniu lub ponownemu użyciu.

Decyduj według celu. OAI-SearchBot, Claude-SearchBot i PerplexityBot wspierają odkrywanie wyszukiwania lub cytacje; GPTBot, ClaudeBot i Google-Extended zapewniają oddzielne kontrole związane z rozwojem modelu lub podstawą Gemini. Polityki się zmieniają, więc zweryfikuj aktualną dokumentację każdego dostawcy przed publikacją.

Zazwyczaj nie. Zacznij od pliku lub wirtualnego wyjścia utrzymywanego przez zainstalowaną wersję platformy, a następnie dodawaj tylko zweryfikowane zmiany specyficzne dla projektu. Shopify zaleca zachowanie wygenerowanych domyślnych ustawień Liquid, podczas gdy Drupal Composer Scaffold może zarządzać i aktualizować główny plik.

Nie. Ten generator działa całkowicie po stronie klienta w Twojej przeglądarce. Nic, co wpisujesz, nie jest wysyłane na serwer, więc jest bezpieczne w użyciu na prywatnych treściach.

Tak, bez konta. Przestrzeń robocza Novaverb jest potrzebna tylko wtedy, gdy chcesz weryfikować, monitorować i śledzić te pliki na swojej aktywnej stronie w czasie.