Справочник по ошибкам анализа robots.txt

Ошибки

Перечень ошибок, возникающих при анализе файла robots.txt.

Ошибка Расширение Яндекса Описание
Правило начинается не с символа / и не с символа * Да

Правило может начинаться только с символа / или *.

Найдено несколько правил вида User-agent: * Нет

Допускается только одно правило такого типа.

Найдено несколько директив Host Да

Допускается только одна директива Host.

Превышен допустимый размер robots.txt Да

Количество правил в файле превышает 2048.

Перед правилом нет директивы User-agent. Нет

Правило должно всегда следовать за директивой User-agent. Возможно, файл содержит пустую строку после User-agent.

Слишком длинное правило Да

Правило превышает допустимую длину (1024 символа).

Некорректное имя главного зеркала сайта Да

Имя главного зеркала сайта в директиве Host содержит синтаксическую ошибку.

Некорректный формат URL файла sitemap Да

В качестве URL файла sitemap должен быть указан полный адрес, включая протокол. Например, https://www.example.com/sitemap.xml

Некорректный формат директивы Crawl-delay Да

Время в директиве Crawl-delay указано неверно.

Найдено несколько директив Crawl-delay Да

Допускается только одна директива Crawl-delay.

Некорректный формат директивы Clean-param Да

В директиве Clean-param указывается один или несколько параметров, которые робот будет игнорировать, и префикс пути. Параметры перечисляются через символ & и отделяются от префикса пути пробелом.

Предупреждения

Перечень предупреждений, возникающих при анализе файла robots.txt.

Предупреждение Расширение Яндекса Описание
Возможно, был использован недопустимый символ Да

Обнаружен спецсимвол, отличный от * и $.

Обнаружена неизвестная директива Да

Обнаружена директива, не описанная в правилах использования robots.txt. Возможно, эта директива используется роботами других поисковых систем.

Синтаксическая ошибка Да

Строка не может быть интерпретирована как директива robots.txt.

Неизвестная ошибка Да

При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки.

Ошибки проверки URL

Перечень ошибок проверки URL в Анализаторе robots.txt.

Ошибка Описание
Синтаксическая ошибка

Ошибка синтаксиса URL.

Этот URL не принадлежит вашему домену

Заданный URL не принадлежит сайту, для которого производится анализ файла. Возможно, вы указали адрес одного из зеркал вашего сайта или допустили ошибку в написании имени домена.