Страницы были ранее недоступны для робота и пропали из поиска

Если раньше страницы были недоступны для индексирующего робота, например, из-за запрета в файле robots.txt или технических работ на сервере, они будут исключены из поиска. Страницы появятся в поисковой выдаче в течение двух недель, после того, как станут доступны при очередном обращении робота.

Проверить доступность страниц для робота можно с помощью инструмента Проверка ответа сервера.

Примечание. Инструмент Проверка ответа сервера может не выявить проблему, так как имитирует работу индексирующего робота и имеет IP-адрес, отличающийся от IP-адреса робота.

Если сейчас индексирование страниц не запрещено и сервер возвращает код HTTP 200, отправьте страницы на переобход. Это позволит ускорить обновление данных об этих страницах в базе робота и результатах поиска.

Если страницы длительное время не возвращаются в поиск, проверьте следующее:

  • информация о страницах есть в файле Sitemap;
  • в файле robots.txt нет установленной без надобности директивы Crawl-delay, а запрещающие директивы Disallow, noindex и HTML-элемент noindex закрывают от индексирования только служебные и дублирующие страницы.