Дозволити публічний обхід за замовчуванням, додати користувацькі правила або явно заблокувати обхід для тимчасового середовища.
Безкоштовний генератор · працює у вашому браузері
Почати безкоштовно
Free Robots.txt Generator for SEO & AI Crawlers
Create and test a plain RFC 9309-aligned robots.txt with CMS publishing guidance and optional AI crawler controls. Copy or download it free - no signup.
Миттєво, без облікового запису
Нічого не завантажено
Скопіюйте або завантажте результат
Ваш ввідRobots.txt Generator
Виберіть базову політику, а потім додайте лише ті шляхи, які потребують виключення.
Простий robots.txtПочинається з дійсної групи allow-all. Ваш шлях та вибори AI додаються до згенерованого файлу в реальному часі.
Не використовуйте це для захисту приватного контенту. Заблокований URL все ще може бути виявлений або проіндексований, а дотримання обходу є добровільним. Використовуйте аутентифікацію для приватних середовищ і noindex для контролю індексації.
Використовуйте * для всіх краулерів або один точний токен продукту, наприклад Googlebot.
Використовуйте * або токен продукту, що містить лише літери, дефіси та підкреслення.
Введіть шляхи на цьому хості. Відсутній провідний слеш додається автоматично.
Використовуйте більш специфічний шлях Allow всередині ширшої заблокованої області.
Видалити коментарі, переводи рядків або контрольні символи з значень правил.
Використовуйте повні http:// або https:// URL. Дозволені URL карт сайту з різних хостів.
Кожна мапа сайту повинна бути повною HTTP або HTTPS URL.
Переваги AI краулераДодайте окремі, названі групи без зміни краулінгу Google Search.
Не буде додано жодних іменованих AI-груп. Усі краулери повертаються до вашої основної групи.
Чи буде цей шлях доступним для краулінгу?Симулює поточну групу; протестуйте живий файл знову після публікації.
ДозволеноНемає обмежень на відповідність - краулінг дозволено.
1Активні правила
0Дійсні карти сайту
0Попередження про введення
Згенерований robots.txtrobots.txt
Опублікувати за адресою /robots.txtВиправте виділене поле, щоб згенерувати файл.
Приватний за дизайном: цей генератор працює повністю у вашому браузері - ваш текст ніколи не надсилається до Novaverb або будь-якого сервера.
Перетворити вихідні дані на контрольований робочий процес
Робочий простір Novaverb сканує ваш живий сайт, перевіряє, чи ці теги та файли дійсно надаються, відстежує зміни з часом і перетворює знахідки на призначену роботу.
Як це використовувати
Robots.txt Generator
Що таке генератор robots.txt?
Генератор robots.txt створює політику обходу у простому текстовому форматі для автоматизованих користувачів на одному веб-хості. Цей інструмент створює записи User-agent, Allow, Disallow та Sitemap у вашому браузері та дозволяє вам протестувати шлях перед публікацією.
User-agentAllowDisallowSitemap
Створіть і перевірте robots.txt за п'ять кроків
Файл та тестер оновлюються миттєво без завантаження ваших правил.
Використовуйте * для всіх сумісних краулерів або введіть точний токен продукту для одного краулера.
Забороняйте широкі шляхи та використовуйте більш специфічні виключення Allow лише там, де це необхідно.
Спробуйте публічні, заблоковані та виняткові шляхи. Попередній перегляд визначає виграшне правило.
Завантажте robots.txt до кореня хоста, потім отримайте живий URL та підтвердіть, що відповідь актуальна.
Як працює відповідність правил
Тестер дотримується основної поведінки співпадіння, визначеної Протоколом виключення роботів.
Довший відповідний шлях має перевагу над коротшим, більш загальним правилом.
Коли еквівалентні правила Allow та Disallow обидва співпадають, слід використовувати правило Allow.
/Folder/ та /folder/ — це різні шляхи. Перевірте ту ж регістрацію, яку використовує ваш сервер.
Контрольний список відповідності RFC 9309
Це вимоги протоколу та правила обробки краулерів, а не необов'язкові SEO-міфи.
§2.3Правильний файл та місцеСервіруйте малими літерами /robots.txt на верхньому рівні кожної схеми, хоста та порту як UTF-8 text/plain.
§2.2.1–2.2.3Групи та відповідністьТокени user-agent використовують літери, дефіси або підкреслення. Відповідність чутлива до регістру; найдовше правило виграє, а Allow виграє в рівному випадку.
§2.3.1Результати HTTP мають значенняКраулери повинні слідувати принаймні п'яти перенаправленням. Файл 4xx може означати, що краулінг дозволено; 5xx або збій мережі означає повну заборону, поки недоступно.
§2.4–2.5Обмеження кешу та парсераКешований файл зазвичай не слід використовувати більше 24 годин, а парсери повинні підтримувати принаймні 500 KiB.
Почніть з прозорої бази CMS
Вибір платформи завантажує видимий, редагований стартер у згенерований robots.txt. Novaverb ніколи не додає приховані директиви; перевірте встановлену версію CMS перед заміною файлу, керованого платформою.
/robots.txt · /wp-sitemap.xmlWordPress може віртуально обслуговувати обидва кінцеві точки. Спочатку перевірте поточну відповідь, оскільки плагіни можуть замінити основний вихід; додавайте лише правила, які ви підтвердили для цього сайту.
Посилання на ядро WordPressweb/robots.txtDrupal Composer Scaffold управляє кореневим файлом. Додайте або виправте специфічні для проекту правила через конфігурацію scaffold, щоб основні оновлення не видаляли їх без попередження.
Посібник по Drupal scaffoldrobots.txt.dist → robots.txtВикористовуйте простий файл, що постачається з вашою точною версією Joomla, як поточне джерело платформи. Не імпортуйте список шляхів з більш старої версії або іншого веб-сайту.
Файл ядра Joomlatemplates/robots.txt.liquidShopify вже надає SEO-орієнтований за замовчуванням. Налаштуйте шаблон Liquid лише за необхідності; заміна повного згенерованого файлу може видалити майбутні оновлення платформи.
Рекомендації Shopifyapp/robots.tsВикористовуйте конвенцію MetadataRoute.Robots для типізованого статичного або динамічного виходу, або додайте app/robots.txt для простого статичного файлу.
Посилання на роботи Next.jspublic root or explicit /robots.txt routeЦі фреймворки не передбачають єдиного універсального набору правил SEO. Сервіруйте згенерований текст з публічного кореня або маршруту text/plain та тестуйте виробничий хост.
Виберіть доступ AI за призначенням
Пошукова видимість, розробка моделі та запити користувачів — це різні рішення. Імена постачальників та політики можуть змінюватися, тому перевірте пов'язане джерело перед публікацією.
OAI-SearchBot, Claude-SearchBot, PerplexityBotБлокування цих може зменшити виявлення, фрагменти, цитування або якість результатів пошуку у відповідних продуктах AI.
GPTBot, ClaudeBot, Google-ExtendedЦі іменовані контролі стосуються потенційного навчання моделей, покращення моделей або основи Gemini. Google-Extended не впливає на включення або рейтинг у Google Search.
Правило user-agent не є перевіркою особи, контролем доступу або універсальним відмовленням. Перегляньте документацію постачальника та перевірте реальний трафік окремо.
Використовуйте правильний контроль для роботи
robots.txt є перевагою краулінгу, а не контролем доступу або гарантованою командою індексації.
Добре використання
- Зменшити краулінг дублікатів фільтрів, кошиків та шляхів низької вартості.
- Експонуйте одну або кілька абсолютних URL мапи сайту.
- Створіть специфічні правила для краулерів, які ідентифікують себе та дотримуються протоколу.
Не гарантовано robots.txt
- Зберігайте чутливий контент приватним - використовуйте аутентифікацію та авторизацію.
- Видалення URL з пошуку - використовуйте індексовану noindex-відповідь, робочий процес видалення або контроль доступу за потреби.
- Примушуючи кожного краулера або AI-систему дотримуватися - протокол є рекомендаційним.
Згенероване не те саме, що й живе
Правильний проект все ще може бути завантажений на неправильний хост, кешований, перенаправлений або поданий з помилкою. Після публікації отримайте реальний файл, перевірте його HTTP-статус і підтвердіть, що директиви Sitemap вирішуються.
Загальні запитання
Robots.txt Generator Часті запитання
Що робить robots.txt?
robots.txt вказує сумісним краулерам, які URL шляхи вони можуть запитувати на конкретній схемі, хості та порту. Він управляє краулінгом; це не аутентифікація і не гарантує, що виявлений URL залишиться поза індексом.
Де слід розміщувати robots.txt?
Розмістіть його в корені точного хоста, наприклад https://example.com/robots.txt. Файл у підпапці не контролює весь хост, і правила не переносяться автоматично між піддоменами.
Чи запобігає robots.txt індексації Google?
Ні. Заблокована URL-адреса все ще може бути виявлена з посилань і може з'явитися без фрагмента. Використовуйте відповідний директив noindex, коли вам потрібен контроль індексації, і не блокуйте краулера від читання цієї директиви.
Чи підтримує Google Crawl-delay?
Ні. Google документує User-agent, Allow, Disallow та Sitemap як підтримувані поля robots.txt і не підтримує Crawl-delay, тому цей генератор навмисно не додає його.
Яке правило виграє, коли Allow та Disallow обидва співпадають?
Переможе найбільш специфічний відповідний шлях. Якщо правила Allow та Disallow еквівалентні, повинно перемогти Allow. Співпадіння чутливе до регістру.
Чи можу я додати мапу сайту до robots.txt?
Так. Додайте один або кілька повних HTTP або HTTPS URL карт сайту. Значення Sitemap повинно бути абсолютним, і воно може вказувати на інший хост.
Чи може robots.txt блокувати AI-краулерів?
Ви можете націлити краулера, який ідентифікує себе за допомогою токена продукту, але лише краулери, які визнають та поважають Протокол виключення роботів, будуть дотримуватися. Не розглядайте файл як гарантію проти доступу, навчання або повторного використання.
Яких AI-краулерів мені слід дозволити або заблокувати?
Вирішуйте за призначенням. OAI-SearchBot, Claude-SearchBot та PerplexityBot підтримують виявлення пошуку або цитування; GPTBot, ClaudeBot та Google-Extended надають окремі контролі, пов'язані з розробкою моделі або основою Gemini. Політики змінюються, тому перевірте актуальну документацію кожного постачальника перед публікацією.
Чи слід мені замінити за замовчуванням robots.txt у WordPress, Drupal, Joomla або Shopify?
Зазвичай ні. Почніть з файлу або віртуального виходу, що підтримується встановленою версією платформи, а потім додавайте лише підтверджені специфічні для проекту зміни. Shopify рекомендує зберігати згенеровані за замовчуванням Liquid, тоді як Drupal Composer Scaffold може керувати та оновлювати кореневий файл.
Чи завантажено мої дані десь?
Ні. Цей генератор працює повністю на стороні клієнта у вашому браузері. Нічого з того, що ви вводите, не надсилається на сервер, тому його безпечно використовувати для приватного контенту.
Це дійсно безкоштовно?
Так, без облікового запису. Робочий простір Novaverb потрібен лише тоді, коли ви хочете перевірити, моніторити та відстежувати ці файли на вашому живому сайті з часом.
Більше безкоштовних інструментів
Досліджуйте всі безкоштовні інструменти Novaverb
Meta Tag GeneratorCreate valid SEO meta tags for titles, descriptions, canonicals, …
XML Sitemap GeneratorCreate a valid XML sitemap or sitemap index from …
Word CounterCount words, characters, sentences, paragraphs and reading time instantly. …
Convert CaseConvert text to sentence case, lowercase, UPPER CASE, capitalized …
Image ConverterConvert up to 20 browser-supported images to JPG, PNG, …
Image CompressorCompress JPG, PNG, WebP and AVIF images in your …
Image ResizerResize up to 20 JPG, PNG, WebP or AVIF …
AI Content CheckerCheck writing signals associated with AI-generated text in a …
Plagiarism CheckerFind potential matching sources for selected sentences via a …
Online HTML EditorWrite and edit HTML with an instant live preview, …
SEO ROI CalculatorEstimate organic conversions, gross profit, monthly ROI and break-even …
UTM Campaign BuilderBuild consistent UTM campaign URLs for ads, email, social …
Campaign Brief BuilderTurn an objective, audience, offer and measurement plan into …
SEO Traffic ForecastModel organic clicks, conversions and revenue over a planning …
Content Calendar PlannerCreate a practical multi-week content calendar from one topic, …
Marketing KPI CalculatorCalculate CTR, CPC, conversion rate, CPA, revenue and ROAS …
SEO перевірник сайтуПокриття обходу, індексовані сторінки, внутрішні посилання
Keyword Research ToolFree AI keyword research tool for search volume, keyword …
SERP CheckerCheck live organic search results and AI Overview rankings …
Website Security CheckerAudit website security posture, TLS/SSL certificates, HTTP security headers, …
Server Response Time CheckerMeasure server Time to First Byte (TTFB), DNS lookup, …
Backlink CheckerExplore backlinks, referring domains, dofollow links, and domain authority …
Robots.txt CheckerTest and validate robots.txt rules, User-Agent directives, blocked paths …
Sitemap CheckerValidate XML sitemap structure, URL counts, reachability, and index …
Meta Tag CheckerCheck page title length, meta description, H1 heading structure, …
HTTP Status & Redirect CheckerTrace HTTP status codes (200, 301, 302, 404, 500) …
Website MonitorMonitor website availability, HTTP status code, and server response …
HTTP/2 TestCheck whether your web server supports HTTP/2 via TLS …
HTTP/3 TestTest whether your web server supports HTTP/3 over QUIC …
Website Performance TestTest global website loading speed and TTFB waterfall timing …
GEO CheckerAudit whether ChatGPT, Perplexity, Gemini, and Google AI Overviews …
Core Web Vitals CheckerCheck real-user Core Web Vitals (LCP, INP, CLS) from …
PageSpeed CheckerRun a live Lighthouse performance audit to test PageSpeed, …
Website Safety CheckerCheck whether a domain or URL is flagged for …
Knowledge Graph CheckerCheck whether a brand, person, product or organization is …
Keyword Gap CheckerCompare your site against competitors to find missing high-traffic …
Competitor Top PagesFind top organic traffic-driving pages for any competitor domain. …
Скопійовано в буфер обміну