Главная · Блог · Что такое robots.txt

Что такое robots.txt

Title

Robots.txt: что это такое и как правильно настроить файл для сайта

Meta description

Что такое robots.txt, как он работает и как правильно настроить файл для WordPress, Битрикс и любых сайтов. Примеры кода, проверка на ошибки, ответы на частые вопросы. Получите техподдержку от «Мос Перевозка».

Robots.txt: что это такое и как правильно настроить файл

Robots.txt — это текстовый файл с инструкциями для поисковых роботов, который указывает, какие страницы или разделы сайта можно сканировать, а какие — нет. Он размещается в корневой директории сайта и является частью стандарта исключений для роботов (Robots Exclusion Protocol). Правильно составленный robots.txt помогает управлять краулинговым бюджетом, ускоряет индексацию полезного контента и предотвращает попадание служебных или дублирующихся страниц в поисковую выдачу. Если вы хотите, чтобы ваш сайт в сфере грузоперевозок, логистики или любой другой нише индексировался максимально эффективно, стоит разобраться в синтаксисе и типовых ошибках этого небольшого, но очень важного файла.

Зачем нужен robots.txt

Основное назначение файла — дать рекомендации поисковым системам о том, какие URL обрабатывать, а какие игнорировать во время сканирования. С его помощью решают сразу несколько задач:

Экономия краулингового бюджета. Роботы Яндекса и Google имеют ограниченный лимит на обход страниц за один сеанс. Закрывая от сканирования мусорные разделы (админ-панели, дубли, внутренний поиск), вы направляете ресурсы краулера на по-настоящему важные страницы — каталог услуг, статьи, контакты.
Защита конфиденциальной информации. Закрытые с помощью Disallow директории (например, /admin/, /personal/, /backups/) не будут просканированы роботами, и их содержимое не попадёт в выдачу. Это снижает риск утечки служебных данных, но не является полноценной защитой — для действительно секретных материалов нужна авторизация или ограничение по IP.
Предотвращение индексации дублей. Параметры сортировки, фильтров, UTM-метки могут создавать сотни копий одной и той же страницы. Они расходуют бюджет и вредят ранжированию. С помощью robots.txt такие URL можно закрыть от обхода.
Снижение нагрузки на сервер. Запрет сканирования «тяжёлых» скриптов, генераторов PDF или разделов, формирующих динамические отчёты, помогает снизить избыточную нагрузку, особенно на сайтах с высокой посещаемостью.
Управление индексацией медиафайлов. Можно запретить индексацию изображений, видео или документов, если они не должны появляться в результатах поиска.

Важно понимать: robots.txt управляет именно сканированием, а не индексацией. Страница, запрещённая для бота, всё равно может появиться в поисковой выдаче, если на неё ссылаются другие ресурсы. Для полного исключения страницы из индекса дополнительно используют метатег noindex или HTTP-заголовок X-Robots-Tag: noindex.

Где должен находиться robots.txt

Файл всегда располагается в корневом каталоге сайта и должен быть доступен по адресу:

https://вашдомен.ru/robots.txt

Каждый субдомен (например, https://blog.вашдомен.ru/robots.txt) требует собственного robots.txt. Поисковый робот ищет файл именно в корне и не следует по редиректам. При запросе сервер должен отдавать HTTP-статус 200 OK и заголовок Content-Type: text/plain. Редиректы, ошибки 404 или 5xx могут привести к тому, что роботы проигнорируют правила и будут сканировать сайт без ограничений.

Распространённые ошибки размещения:

Ошибка	Последствие
Файл назван ROBOTS.TXT или Robots.txt	Роботы ищут строго строчные буквы, правила не сработают
Путь вроде `/files/robots.txt`	Файл не будет найден
Сервер отдаёт 404 или 301	Директивы не прочитаются — сайт считается полностью открытым
Файл содержит BOM (Byte Order Mark) в кодировке UTF-8	Первая строка может быть не распознана, ломается весь файл

Специалисты «Мос Перевозка» при комплексном аудите сайта всегда проверяют корректность отдачи robots.txt — от этого напрямую зависит видимость коммерческих страниц в поиске.

Технические требования к файлу robots.txt

Чтобы все поисковые системы корректно обрабатывали инструкции, соблюдайте обязательные параметры:

Параметр	Значение
Формат	`.txt`
Кодировка	UTF-8 без BOM
Расположение	Корень сайта
HTTP-ответ	200 OK, Content-Type: text/plain
Максимальный размер для Google	500 КБ
Максимальный размер для Яндекса	32 КБ (при превышении все директивы игнорируются)
Имя файла	строго `robots.txt` (строчные латинские буквы)
Кириллические домены	только в формате Punycode (xn--...)
Кириллические пути	в формате percent-encoding (%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0)

Размер в 32 КБ редко бывает проблемой для типовых проектов, но для крупных интернет-магазинов с множеством правил его легко превысить. В таких случаях рекомендуем группировать параметры через маски и удалять устаревшие строки.

Структура и директивы файла

Robots.txt состоит из групп правил, каждая из которых начинается строкой User-agent. Все директивы внутри группы относятся к указанному в ней поисковому роботу. Например:

User-agent: Yandex
Disallow: /admin/
Allow: /admin/sitemap.xml
Sitemap: https://example.com/sitemap.xml

User-agent

Обязательная директива. Она определяет бота, для которого пишутся последующие правила. Символ звёздочки * означает «все роботы».

Значение	Поисковая система
`*`	Все системы
`Googlebot`	Google
`Yandex` или `YandexBot`	Яндекс
`Bingbot`	Microsoft Bing
`Mail.Ru`	Mail.ru
`AdsBot-Google`	Google Ads

Для изображений и видео существуют отдельные агенты: Googlebot-Image, YandexImages и т.д.

Disallow

Запрещает сканирование указанного пути. После двоеточия — часть URL относительно корня. Примеры:

Disallow: / — закрыть весь сайт (только для тестовых серверов).
Disallow: /admin/ — запретить доступ к папке /admin/.
Disallow: /catalog?sort= — заблокировать страницы с параметром сортировки.
Disallow: /*?utmsource= — закрыть все URL, содержащие UTM-метку utmsource.

Allow

Разрешает сканирование внутри закрытой зоны. Например, если запрещён весь раздел /catalog/, но нужно открыть одну страницу:

Disallow: /catalog/
Allow: /catalog/adresa-dostavki

Важный нюанс: при конфликте правил приоритет имеет директива с более длинным путём. В Google дополнительно действует принцип «Disallow сильнее» при полном совпадении путей, поэтому критически важно тестировать результат в обоих поисковиках.

Sitemap

Межсекционная директива — её можно указывать в любом месте файла, вне зависимости от блока User-agent. Сообщает роботу адрес карты сайта (обязательно абсолютный URL):

Sitemap: https://example.com/sitemap.xml

Если карт несколько (основная, для изображений, для видео), перечисляем каждую с новой строки.

Clean-param (только Яндекс)

Помогает бороться с дублями, возникающими из-за динамических параметров, не меняющих контент страницы. В отличие от Disallow, не просто закрывает URL от сканирования, а передаёт сигналы оригинальной странице.

Пример: исключить из индексации UTM-метки и идентификаторы сессий на всём сайте:

Clean-param: utm_source&utm_medium&utm_campaign&session_id /

Google эта директива не поддерживает, поэтому для него дубли закрывают через rel="canonical" или настройки параметров в Search Console.

Crawl-delay

Задаёт паузу в секундах между запросами бота. Директива устаревшая и игнорируется Google и Яндексом (Яндекс позволяет управлять скоростью обхода только через панель Вебмастера). Остаётся актуальной для Bing и некоторых других систем. Рекомендуется не использовать её без острой необходимости.

Host (устарела)

Ранее указывала главное зеркало сайта для Яндекса. С 2018 года не учитывается. Вместо этого используйте 301-редирект или атрибут rel="canonical".

Специальные символы

— любая последовательность символов (в том числе пустая). Например: Disallow: /.pdf$ запрещает все PDF-файлы.
$ — конец URL. Disallow: /news? закрывает только главную страницу новостей с параметрами, но не режет /news/page2?.
# — комментарий. Всё, что после решётки, до конца строки игнорируется.

Сводная таблица поддержки директив

Директива	Google	Яндекс	Bing
Disallow	Да	Да	Да
Allow	Да	Да	Да
Sitemap	Да	Да	Да
Crawl-delay	Игнорируется	Игнорируется (через Вебмастер)	Да
Clean-param	Нет	Да	Нет

Как создать и загрузить robots.txt: пошаговая инструкция

Следуйте простой инструкции, чтобы настроить файл для своего сайта.

Шаг 1. Откройте любой текстовый редактор (Блокнот, Notepad++, Sublime Text), но не офисный пакет — он может добавить скрытые символы.

Шаг 2. Начните с базового набора:

User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /search/
Allow: /*.css
Allow: /*.js
Allow: /upload/
Sitemap: https://вашдомен.ru/sitemap.xml

По желанию добавьте секцию для Яндекса с Clean-param, если используете UTM-метки.

Шаг 3. Сохраните файл именно как robots.txt (в нижнем регистре), выберите кодировку UTF-8 без BOM.

Шаг 4. Загрузите полученный файл в корневую директорию сайта через FTP-клиент, файловый менеджер хостинга или административную панель CMS.

Шаг 5. Откройте браузер и введите https://вашдомен.ru/robots.txt. Должен отобразиться текст вашего файла.

Шаг 6. Проверьте корректность в инструментах для вебмастеров (подробнее в следующем разделе).

Примеры robots.txt для популярных CMS

Универсального файла не существует, но мы подготовили опорные шаблоны, которые можно адаптировать под конкретный проект. Все они уже включают разрешение на сканирование CSS, JS и изображений — это критично для правильного рендеринга страниц.

WordPress

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Disallow: /xmlrpc.php
Disallow: /wp-content/cache/
Allow: /wp-content/uploads/
Allow: /*.css
Allow: /*.js
Allow: /*.svg
Disallow: /*?replytocom
Disallow: /*?s=
Sitemap: https://site.ru/sitemap.xml

1С-Битрикс

User-agent: *
Disallow: /bitrix/
Disallow: /local/
Disallow: */auth/
Disallow: */search/
Disallow: */personal/
Disallow: */login/
Allow: /bitrix/js/
Allow: /bitrix/css/
Allow: /upload/
Allow: /*.css
Allow: /*.js
Disallow: *?sort=
Disallow: *?utm_source=
Disallow: *?PAGEN_1=
Sitemap: https://site.ru/sitemap.xml

Интернет-магазин (любая CMS)

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /myaccount/
Disallow: /search/
Disallow: /compare/
Disallow: /wishlist/
Disallow: *?filter=
Disallow: *?order=
Disallow: *?display=
Allow: /*.css
Allow: /*.js
Allow: /*.png
Allow: /*.jpg
Sitemap: https://shop.ru/sitemap.xml

Каждый шаблон требует индивидуальной доработки с учётом реальной структуры URL. Специалисты «Мос Перевозка» при SEO-аудите сайтов транспортной тематики не только корректируют robots.txt, но и проверяют, чтобы все важные разделы (адреса филиалов, калькуляторы, заявки) оставались открытыми для сканирования.

Как проверить файл на ошибки

Ошибка в robots.txt может привести к выпадению из индекса сотен страниц. Проверка обязательна на этапе создания и после любых изменений.

Яндекс Вебмастер: Анализ robots.txt

Зайдите в Яндекс.Вебмастер → вкладка «Инструменты» → «Анализ robots.txt». Инструмент проверит синтаксис и доступность URL. Можно загрузить новый вариант файла, протестировать его, не применяя на боевом сайте, и посмотреть, какие страницы будут закрыты для выбранного робота.

Google Search Console: Проверка robots.txt

Перейдите в «Настройки» → «Отчет о файле robots.txt». Google покажет количество ошибок и предупреждений, а также позволит протестировать конкретный URL на доступность для Googlebot. Обратите внимание: предупреждения о неподдерживаемых директивах (например, Clean-param) не являются критичными для Google, но их можно оставить для Яндекса.

Проверка через командную строку

Выполните в терминале:

curl -I https://example.com/robots.txt

Ожидаемый ответ должен содержать HTTP/1.1 200 OK и Content-Type: text/plain. Если видите редирект или код 404 — файл не читается роботами.

SEO-краулеры и логи сервера

Программы вроде Screaming Frog SEO Spider показывают отчёт «Blocked by robots.txt» — полный список страниц, закрытых для сканирования. Полезно сверить с ожидаемым перечнем. Анализ логов сервера выявляет попытки ботов обратиться к закрытым URL и помогает выявить случайно заблокированные разделы.

Типичные ошибки и как их исправить

Даже опытные вебмастера иногда допускают досадные промахи. Мы собрали самые частые проблемы в таблицу «Неправильно → Правильно».

Неправильно	Правильно	Комментарий
`Disallow: /admin /bin`	`Disallow: /admin/` `Disallow: /bin/`	Каждая директива — строго на отдельной строке
`Disallow: /Корзина`	`Disallow: /%D0%9A%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0`	Кириллические пути — только в percent-encoding
Файл `ROBOTS.TXT`	`robots.txt`	Только строчные, иначе системы его не увидят
`Sitemap: /sitemap.xml`	`Sitemap: https://site.ru/sitemap.xml`	Должен быть абсолютный URL с протоколом
`Disallow: /admin` (без слеша)	`Disallow: /admin/`	`/admin` закроет также `/admin-page`, если не использовать символ конца строки
Несколько блоков `User-agent: Yandex`	Объединить в один блок	Дублирующиеся блоки могут конфликтовать

Особо опасна ошибка Disallow: / на боевом сайте: она полностью исключает ресурс из поискового индекса. Специалисты «Мос Перевозка» не раз сталкивались с ситуациями, когда непродуманное обновление robots.txt приводило к резкому падению органического трафика. Именно поэтому мы настаиваем на предварительном тестировании всех правок в тестовой среде.

Что нельзя блокировать в robots.txt

CSS, JS и файлы шрифтов. Google использует их для рендеринга и оценки качества страницы. Закрытые стили и скрипты могут привести к неправильному отображению ресурса в результатах поиска и снижению позиций.
Важные коммерческие страницы. Каталог товаров, услуги, контакты — всё, что должно приносить клиентов, обязательно должно быть доступно для сканирования.
Файл sitemap.xml. Хотя прямая блокировка невозможна (он доступен по другому URL), не стоит закрывать путь к директории, в которой он лежит, если она совпадает с другими служебными папками.
Изображения, участвующие в поиске. Если вы хотите получать трафик из Google Картинок или Яндекс.Картинок, не закрывайте папки с изображениями товаров и услуг.

Какие разделы стоит закрывать от индексации

Вот чек-лист страниц, которые обычно не несут ценности для поиска и должны быть запрещены в robots.txt:

Административные панели (/admin/, /wp-admin/, /bitrix/admin/).
Личные кабинеты (/myaccount/, /profile/, /personal/).
Корзина, оформление заказа (/cart/, /checkout/).
Страницы поиска по сайту (/search/?q=...).
Результаты сортировок, фильтров, пагинации с динамическими параметрами, если не настроен canonical.
Служебные и временные файлы (/temp/, /dev/, /backups/).

При работе над сайтами транспортных компаний мы также блокируем страницы с устаревшими акциями, черновики и разделы, доступные только для внутреннего пользования.

Как robots.txt влияет на краулинговый бюджет

Краулинговый бюджет — это количество URL, которые поисковый робот готов просканировать на вашем сайте за одну сессию. Он зависит от множества факторов: размера проекта, скорости ответа сервера, частоты обновления контента и авторитетности ресурса. Закрывая мусорные разделы, вы освобождаете бюджет для действительно важных страниц, повышая шансы на их быструю индексацию. Особенно это актуально для крупных интернет-магазинов и сайтов с глубокой архитектурой, где робот может «закопаться» в фильтрах и так и не дойти до новых товаров или статей.

FAQ: ответы на частые вопросы

1. Что такое файл robots.txt и для чего он нужен?

Это текстовый файл в корне сайта, указывающий поисковым роботам, какие разделы можно сканировать, а какие нет. Основная цель — управлять краулинговым бюджетом и предотвращать попадание служебных или дублированных страниц в выдачу.

2. Где должен находиться robots.txt?

Строго в корневой директории: https://домен.ru/robots.txt. Для поддоменов нужен отдельный файл.

3. Как создать файл самостоятельно?

Мы подготовили пошаговую инструкцию выше. Базово: создать текстовый файл, прописать необходимые директивы, сохранить как robots.txt (UTF-8 без BOM), загрузить в корень сайта и проверить через вебмастер.

4. Обязательно ли наличие robots.txt?

Не обязателен, но настоятельно рекомендуется. Без него роботы сканируют всё подряд, включая технические дубли, что может привести к нерациональному расходу краулингового бюджета и снижению качества индекса.

5. Как полностью закрыть сайт от индексации?

Добавьте строчки:

User-agent: *
Disallow: /

Это стоит делать только для тестовых или служебных поддоменов. На боевом сайте такая настройка удалит все страницы из поиска.

6. Чем отличаются Disallow и Allow?

Disallow запрещает сканирование, Allow — разрешает его для конкретного пути внутри закрытой зоны. При конфликте приоритет у более длинного совпадения; в Google при прочих равных запрет сильнее.

7. Гарантирует ли robots.txt исключение страницы из выдачи?

Нет. Это лишь рекомендация. Если на страницу ссылаются другие сайты, поисковая система может добавить её в индекс, хотя и не будет сканировать напрямую. Для полного запрета используйте метатег noindex или ограничение по паролю.

8. Как проверить robots.txt на ошибки?

Через Яндекс.Вебмастер, Google Search Console, а также командой curl -I. Подробный разбор — в соответствующем разделе статьи.

9. Какие страницы закрывать от индексации?

Административные панели, личные кабинеты, корзину, страницы внутреннего поиска, динамические фильтры и дубли. Подробный чек-лист приведён выше.

10. Что нельзя блокировать?

CSS/JS-файлы, изображения, ключевые коммерческие страницы и sitemap.xml.

11. Какой максимальный размер robots.txt?

Для Яндекса — 32 КБ, для Google — 500 КБ. Превышение лимита Яндекса приводит к игнорированию всех правил.

12. Как указать карту сайта (Sitemap)?

С помощью межсекционной директивы: Sitemap: https://вашдомен.ru/sitemap.xml. Её можно разместить в любом месте файла.

13. Что означает User-agent: *?

Правила в этом блоке применяются ко всем поисковым роботам без исключения.

14. Работает ли директива Crawl-delay в Google и Яндексе?

Нет, оба поисковика её игнорируют. Яндексу настройка скорости обхода задаётся только через Вебмастер, Google — через Search Console.

15. Что такое Clean-param и кто её поддерживает?

Директива Яндекса, которая указывает, какие параметры URL не нужно учитывать при индексации. Google его не понимает, поэтому для него используется rel="canonical".

16. Можно ли использовать кириллицу в robots.txt?

Нет. Имена доменов — в Punycode, пути — в percent-encoding. Файл должен быть сохранён в UTF-8 без BOM.

17. Что будет, если файла robots.txt нет?

Сайт будет считаться полностью открытым для сканирования. Все доступные страницы, включая технический мусор, попадут в индекс.

18. Как robots.txt влияет на краулинговый бюджет?

Позволяет экономить бюджет: робот не тратит время на «мусорные» URL и быстрее добирается до ценного контента.

19. Чем robots.txt отличается от sitemap.xml?

Robots.txt запрещает/разрешает сканирование, sitemap.xml подсказывает роботу список страниц, которые стоит проиндексировать. Они дополняют друг друга.

20. Почему заблокированная в robots.txt страница всё равно попала в индекс?

Возможно, на неё ведут внешние ссылки, или она была проиндексирована до введения правила. Для надёжного исключения из выдачи используйте метатег noindex.

Заключение

Корректный файл robots.txt — неотъемлемая часть технического SEO. Он направляет поисковых роботов, помогает уберечь сайт от дублей, перерасхода краулингового бюджета и случайной утечки служебных данных. Однако даже одна ошибка в директиве может привести к нежелательным последствиям — от снижения позиций до полного выпадения из индекса.

Специалисты «Мос Перевозка» не только организуют грузоперевозки по Москве и области, но и помогают партнёрам с техническим аудитом сайтов. Мы проверим robots.txt, sitemap.xml, настройки индексации и другие факторы, влияющие на видимость вашего ресурса. Обратитесь к нам, чтобы ваш сайт получал максимум органического трафика и приносил стабильные заявки.

← Все статьи