Страницы были ранее недоступны для робота и пропали из поиска

Если ранее страницы были недоступны для индексирующего робота, например, из-за запрета в файле robots.txt или технических работ на сервере, они будут исключены из поиска. Страницы появятся в поисковой выдаче в течение двух недель, после того, как станут доступны при очередном обращении робота.

Проверить доступность страниц для робота можно с помощью инструмента Проверка ответа сервера.

Примечание. Инструмент Проверка ответа сервера может не выявить проблему, так как имитирует работу индексирующего робота и имеет IP-адрес, отличающийся от IP-адреса робота.

Если сейчас индексирование страниц не запрещено и сервер возвращает код HTTP-200, можно воспользоваться инструментом Переобход страниц, чтобы ускорить обновление данных об этих страницах в базе робота и результатах поиска.

Если страницы длительное время не возвращаются в поиск, проверьте следующее:

  • информация о страницах есть в файле Sitemap;
  • в файле robots.txt нет установленной без надобности директивы Crawl-delay, а директивы Disallow запрещают индексирование только служебных и дублирующих страниц.