Вебмайстер
Яндекс для вебмайстрів
Як Яндекс індексує сайти
Сайт на сторінці результатів пошуку
Сервіс «Яндекс.Вебмайстер»
Налаштування індексування
Вміст сайту
Сайт у результатах пошуку
Безпека сайтів
Сервіси Яндекса на вашому сайті

Аналізатор robots.txt

Як здійснюється перевірка robots.txt?

Аналізатор автоматично завантажує robots.txt з кореневої директорії вашого сайту в поле «robots.txt».

Після натиснення на кнопку «Перевірити» аналізатор робить відрядковий розбір вмісту поля «robots.txt» і аналіз директив, що містяться в них. Також ви можете дізнатися, чи буде робот обходити сторінки, задані в полі «Список URL».

Редагуючи правила, ви можете скласти файл robots.txt, потрібний вашому сайту. Пам'ятайте, що файл на сайті при цьому не змінюється. Для того, щоб зміни набули чинності, вам потрібно буде самостійно завантажити оновлену версію robots.txt на сайт.

Для розділів, призначених для робота Яндекса (User-agent: Yandex або User-agent:*), аналізатор перевіряє директиви, керуючись правилами використання robots.txt. Для інших розділів перевірка здійснюється відповідно до стандарту. Під час розбору файлу аналізатор повідомляє про виявлені помилки та попереджає про неточності в написанні правил, а також перераховує частини файлу, призначені для робота Яндекса. Результати аналізу відображуються внизу сторінки «Аналіз robots.txt».

Під час аналізу robots.txt були виявлені помилки. Як дізнатися, в чому їх причина?

Існує два типи повідомлень, які можуть надходити від аналізатора: помилки і попередження. Їх докладний опис подано в Довіднику про помилки аналізу robots.txt.

Помилкою вважається ситуація, коли аналізатор не в змозі обробити який-небудь рядок, секцію або ж увесь файл через серйозні помилки в синтаксисі, допущені під час складання robots.txt.

Попередження зазвичай повідомляє про відхилення від правил, яке аналізатор у змозі виправити самостійно, або ж указує на потенційну проблему (якої насправді може і не бути), пов'язану з випадковою друкарською помилкою або неточністю в написанні правил.

Чому аналізатор видає помилку «Цей URL не належить вашому домену»?

Швидше за все, у списку URL ви зазначили адресу одного із дзеркал вашого сайту, наприклад, http://site.ua замість http://www.site.ua (формально, це два різні URL). Необхідно, щоб URL, що перевіряються, належали сайту, для якого здійснюється аналіз robots.txt.

Оцініть статтю
Дякуємо за ваш відгук!