Вебмайстер
Яндекс для вебмайстрів
Як Яндекс індексує сайти
Сайт на сторінці результатів пошуку
Сервіс «Яндекс.Вебмайстер»
Налаштування індексування
Вміст сайту
Сайт у результатах пошуку
Безпека сайтів
Сервіси Яндекса на вашому сайті

Як Яндекс індексує сайти

Робот (англ. crawler) зберігає список URL, які він може проіндексувати, і регулярно завантажує відповідні їм документи. Якщо під час аналізу документа робот виявляє нове посилання, він додає його у свій список. Таким чином, будь-який документ або сайт, на який є посилання, може бути знайдений роботом, а значить, і пошуком Яндекса.

Які бувають індексувальні роботи

У Яндексі є кілька видів роботів, які виконують різні функції. Наприклад, є робот, який індексує rss-стрічку для пошуку у блогах. Чи робот, який індексує лише зображення. Найважливіший — основний індексувальний робот, функція якого — пошук та індексування інформації для формування бази основного пошуку.

Для допомоги основному є швидкий робот, його призначення — оперативне індексування свіжої, актуальної на цей момент інформації. Якщо серед проіндексованих сторінок свого сайту ви бачите дві копії будь-якого документа — швидше за все це означає, що крім основного робота документ також було проіндексовано і швидким роботом.

Про те, як розрізняти роботів Яндекса у логах вашого сервера, дивіться на сторінці Допомоги

Оцініть статтю
Дякуємо за ваш відгук!