Вебмайстер
Яндекс для вебмайстрів
Як Яндекс індексує сайти
Сайт на сторінці результатів пошуку
Сервіс «Яндекс.Вебмайстер»
Налаштування індексування
Вміст сайту
Сайт у результатах пошуку
Безпека сайтів
Сервіси Яндекса на вашому сайті

FAQ із питань роботи робота

Мій сайт переїхав (змінився URL). Що робити?

Повідомте робота про новий сайт через форму «Повідомити про новий сайт». Якщо між сторінками старого та нового сайту збереглася однозначна відповідність, зробіть так, щоб під час звернення за старим URL сервером видавалася помилка 301 ( «Moved Permanently» ), а поле Location вказувало на відповідний URL нового сайту. Якщо старий сайт був закритий, ви можете прискорити видалення його з індексу, скориставшись формою «Видалити URL».

Ви перевантажили мій сервер. Будь ласка, припиніть!

Вплинути на поведінку робота можна за допомогою файлу robots.txt. Напишіть у ньому заборону для робота Яндекса на звернення до скриптів, які сильно завантажують сервер або скористайтеся директивою Crawl-delay.

Ви намагалися завантажити секретну інформацію з мого сервера. Що робити?

Робот бере посилання з інших сторінок, а це означає, що на якійсь сторінці зазначено посилання на секретні розділи вашого сайту. Ви можете як закрити їх паролем, так і зазначити заборону для робота Яндекса у файлі robots.txt. І в тому, і в іншому випадку робот не завантажуватиме секретну інформацію.

Як захиститися від шахрайських роботів, що представляються роботами Яндекса?

Якщо ви хочете захиститися від шахрайських роботів, які представляються роботами Яндекса, Ви можете використати фільтрацію, що базується на зворотних DNS-запитах. Така схема прийнятніша в порівнянні з керуванням доступом на основі IP-адрес, оскільки вона стійка до змін внутрішніх мереж Яндекса.

Наскільки критично, що мій сервер не видає last-modified? Я намагався налаштувати цей параметр, але нічого не вийшло.

Навіть якщо сервер не видає дату останньої модифікації документа (last-modified), ваш сайт буде проіндексований. Проте в цьому випадку слід враховувати таке:

  • у результатах пошуку не показуватиметься дата поряд зі сторінками вашого сайту;

  • у разі сортування за датою сайт не буде видно більшості користувачів;

  • робот не зможе отримати інформацію про те, чи оновилася сторінка сайту з моменту останнього індексування. А оскільки кількість сторінок, що отримуються роботом з сайту за один захід, обмежена, сторінки, що змінилися, будуть переіндексовуватися рідше.

Мій сервер не видає кодування, це критично? Я намагався його налаштувати, але нічого не вийшло.

Робот Яндекса добре визначає кодування документів самостійно, тому відсутність кодування в заголовках сервера не завадить індексуванню сайту.

Сайт зроблений з використанням фреймів. Яндекс у результатах пошуку видає посилання на внутрішні фрейми сайту. Що мені робити, адже вся навігація стає недоступною, оскільки знаходиться в іншому фреймі?

Проблему можна спробувати вирішити за допомогою JavaScript. Перед завантаженням сторінки необхідно перевірити, чи відкритий батьківський фрейм з навігацією, і якщо ні, відкрити його.

Обсяг трафіку між моїм веб-сервером і вашим роботом занадто великий. Чи існує підтримка завантаження сторінок у стислому вигляді?

Так, існує. Пошуковий робот Яндекса під час кожного запиту сторінки говорить: «Accept-Encoding: gzip,deflate» . Це означає, що, налаштувавши відповідним чином свій веб-сервер, ви зможете знизити обсяг трафіку, що передається між ним і нашим роботом. Проте слід мати на увазі — передавання контенту в стислому вигляді збільшує навантаження на CPU вашого сервера, і, якщо він сильно завантажений, можуть виникнути проблеми. Підтримуючи gzip і deflate, робот дотримується стандарту rfc2616, розділ 3.5.

Ваш робот намагається завантажити сторінки мого сайту за битими посиланнями. Чому?

Робот бере посилання з інших сторінок, отже, на одній із них зазначено некоректні посилання на ваш сайт. Можливо, ви змінили структуру сайту і посилання, що стояли на інших веб-сторінках, стали некоректними.

Що робитиме робот зі сторінкою, на якій стоїть redirect? А якщо використовується директива refresh?

Отримавши в заголовку відповіді інформацію, що цей URL є редиректом (коди 3хх), робот Яндекса додасть адресу, на яку веде редирект, у список адрес для обходу. Якщо редирект є постійним (код 301 або сторінка містить директиву refresh), то старий URL буде виключений зі списку обходу.

Моя сторінка періодично зникає з результатів пошуку. У чому річ?

Якщо під час звернення до сторінки іноді виникає помилка (наприклад, через нестабільний хостинг), робот видаляє сторінку з пошуку до наступного успішного звернення.

Чи можна керувати частотою переіндексування за допомогою директиви Revisit-After?

Ні. Робот Яндекса її ігнорує.

Які протоколи передачі даних підтримуються при індексуванні?

Яндекс зараз підтримує два протоколи: HTTP і HTTPS.

Як вказати роботові, щоб він індексував сторінки, які містять саме знак "/" у кінці url або без нього?

Сторінки, що містять знак «/» у кінці url і без нього, є для нашого робота різними. Якщо ці сторінки містять однаковий контент, то краще встановити перенаправлення 301 з однієї сторінки на іншу. Ви можете зробити це за допомогою налаштувань у файлі htaccess.

Чому робот звертався до неіснуючих сторінок/піддоменів мого сайту?

Імовірно, що робот десь виявив посилання на них і спробував проіндексувати. Для того, щоб робот індексував лише корисні сторінки сайту, неіснуючі піддомени та сторінки мають бути недоступні або повертати код помилки 404.

Оцініть статтю
Дякуємо за ваш відгук!