Что такое robots.txt
Это текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы можно обходить, а какие не нужно. Робот запрашивает его первым делом, ещё до того как начнёт сканировать страницы.
Файл должен лежать строго по адресу site.ru/robots.txt — в подкаталогах он не работает. Кодировка UTF-8 без BOM, размер до 500 КБ.
Основные директивы
| Директива | Назначение |
|---|---|
| User-agent | Для какого робота действуют правила ниже. Звёздочка означает всех |
| Disallow | Запрещает обход указанного пути |
| Allow | Разрешает обход внутри запрещённого раздела |
| Sitemap | Полный адрес карты сайта |
| Crawl-delay | Пауза между запросами. Устарела, оба поисковика её игнорируют |
| Clean-param | Директива Яндекса для игнорирования GET-параметров |
Пути поддерживают два спецсимвола: * заменяет любую последовательность символов, $ обозначает конец адреса. Запись /*.pdf$ закроет все PDF-файлы, а /catalog — всё, что начинается с этого пути.
Главное заблуждение о robots.txt
Многие считают, что Disallow убирает страницу из поиска. Это не так. Директива запрещает обход, но не индексацию. Если на закрытую страницу ведут внешние ссылки, Google может показать её в выдаче — без описания, с пометкой о невозможности прочитать содержимое.
Чтобы страница гарантированно не попала в результаты поиска, нужен мета-тег <meta name="robots" content="noindex"> или HTTP-заголовок X-Robots-Tag. При этом страница не должна быть закрыта в robots.txt — иначе робот не сможет её загрузить и не увидит запрет.
Что закрывать стоит
- Служебные разделы — админка, системные папки движка, технические скрипты
- Дубли с параметрами — ссылки с UTM-метками, идентификаторами кликов, сортировками
- Результаты поиска по сайту — генерируют бесконечное количество бесполезных страниц
- Корзина, оформление заказа, личный кабинет — не имеют ценности для поиска
- Версии для печати — полные дубли основных страниц
Что закрывать не нужно
- CSS и JavaScript. Раньше их закрывали для экономии краулингового бюджета — сейчас это прямой вред. Google рендерит страницы как браузер, и без стилей видит сломанную вёрстку, что понижает оценку мобильной адаптации
- Изображения, если вы рассчитываете на трафик из поиска по картинкам
- Пагинацию в большинстве случаев — через вторые и третьи страницы робот находит товары и статьи. Для борьбы с дублями используйте canonical
- Страницы с noindex. Закрыв их в robots.txt, вы не дадите роботу прочитать сам запрет
Блокировка AI-краулеров
С распространением языковых моделей появились боты, собирающие тексты для обучения: GPTBot от OpenAI, ClaudeBot от Anthropic, CCBot проекта Common Crawl, Google-Extended. Крупные компании эти правила соблюдают.
Решение зависит от целей. Если контент — ваш основной актив и вы не хотите, чтобы он попадал в обучающие выборки, блокировка оправдана. Если важна видимость в AI-ответах, которые постепенно заменяют поиск, закрывать их не стоит. Отдельно отметим: Google-Extended влияет только на использование в ИИ-продуктах, на обычную индексацию — нет.
Как проверить файл
- Яндекс Вебмастер — раздел «Инструменты → Анализ robots.txt», можно проверить конкретные адреса
- Google Search Console — отчёт о файле robots.txt показывает ошибки разбора
- Вручную — откройте
site.ru/robots.txtв браузере и убедитесь, что файл отдаётся с кодом 200
Частые вопросы
Обязателен ли robots.txt?
Уберёт ли Disallow страницу из поиска?
Нужна ли директива Host?
Работает ли Crawl-delay?
Можно ли закрыть сайт целиком?
User-agent: * и Disallow: /. Применяйте только для сайтов в разработке. Помните, что после снятия запрета возврат позиций займёт недели или месяцы.Как закрыть отдельный тип файлов?
Disallow: /*.pdf$ закроет все PDF на сайте. Без знака доллара правило сработает и для адресов, где .pdf встречается в середине.Куда загружать файл?
site.ru/robots.txt и отдавать код ответа 200. На поддомене нужен отдельный файл.