Анализ robots.txt

Как проверить файл

Если сайт добавлен в Яндекс.Вебмастер и права на управление сайтом подтверждены

Содержимое файла появится на странице Инструменты → Анализ robots.txt после подтверждения прав на управление сайтом.

Если содержимое отображается на странице Анализ robots.txt, нажмите кнопку Проверить.

Если сайт не добавлен в Яндекс.Вебмастер
  1. Перейдите на страницу Анализ robots.txt.
  2. В поле Проверяемый сайт укажите адрес вашего сайта. Например, https://example.com.
  3. Нажмите значок . Содержимое robots.txt и результаты анализа отобразятся ниже.

Для разделов, предназначенных для робота Яндекса (User-agent: Yandex или User-agent:*), инструмент проверяет директивы, руководствуясь правилами использования robots.txt. Остальные разделы проверяются в соответствии со стандартом.

После проверки могут отобразится:
  • Предупреждения. Они сообщают об отклонении от правил, которое инструмент может исправить самостоятельно, или указывают на потенциальную проблему, связанную с опечаткой или неточностью в написании правил.
  • Ошибки в файле. Это значит, что инструмент не может обработать строку, секцию или весь файл из-за серьезных ошибок в синтаксисе, допущенных при составлении директив.
Подробное описание см. в разделе Справочник по ошибкам анализа robots.txt.

Как узнать, обойдет ли робот определенный URL

Когда ваш файл robots.txt загружен в Яндекс.Вебмастер, на странице Анализ robots.txt отображается блок Разрешены ли URL?.

  1. В поле Список URL укажите адрес страницы, которую хотите проверить. Можно указать полный URL или адрес относительно корневого каталога сайта. Например, https://example.com/page/ или /page/.
  2. Нажмите кнопку Проверить.

Если URL разрешен для индексирования роботами Яндекса, напротив адреса появится значок , если запрещен — отобразится адрес, выделенный красным.

Как отслеживать изменения файла

Примечание. Доступна история изменений за шесть месяцев. Максимальное количество сохраненных версий — 100.

Чтобы своевременно узнавать об изменениях файла robots.txt, настройте уведомления.

Яндекс.Вебмастер регулярно проверяет файл на обновления и сохраняет версии с учетом даты и времени изменения. Чтобы их посмотреть, перейдите на страницу Инструменты → Анализ robots.txt.

Список версий отображается, если одновременно выполнены следующие условия:
  • вы добавили сайт в Яндекс.Вебмастер и подтвердили права на управление сайтом;
  • в Яндекс.Вебмастере есть информация об изменениях robots.txt.
Вы можете:
Просмотреть текущую и предыдущие версии файла

Выберите из списка Версия robots.txt версию файла. В поле ниже отобразится содержимое robots.txt, а также результаты анализа.

Скачать выбранную версию файла
  1. Выберите из списка Версия robots.txt версию файла.
  2. Нажмите кнопку Скачать. Файл будет сохранен на вашем устройстве в формате TXT.

Вопросы и ответы

Ошибка «Этот URL не принадлежит вашему домену»

Скорее всего, в списке URL вы указали адрес одного из зеркал вашего сайта, например, http://example.com вместо http://www.example.com (формально, это два различных URL). Необходимо, чтобы проверяемые URL принадлежали сайту, для которого производится анализ robots.txt.