Использование мета-тегов и других HTML-элементов

Мета-теги

Мета-теги позволяют указывать метаданные о странице сайта. Ряд мета-тегов также используется роботами поисковых систем.

Робот Яндекса учитывает содержимое следующих мета-тегов:

  • <meta name="Keywords" content="..."/> — может учитываться при определении соответствия страницы поисковым запросам;
  • <meta name="Description" content="..."/> — содержание данного тега может использоваться в сниппетах (описаниях сайтов на странице результатов поиска);

    Примечание. Зачастую мета-тег description создается автоматически, повторяет содержимое элемента title и не ориентирован на удобство для пользователей поисковой системы. Наличие мета-тегов с некачественным содержанием может стать причиной удаления страницы из результатов поиска.
  • <meta name="viewport" content="width=device-width, initial-scale=1"> — используется для адаптации сайта к показу на мобильных устройствах. Позволяет контролировать масштабирование окна просмотра в браузере. Значение width=device-width адаптирует ширину окна просмотра к экрану устройства. Значение initial-scale=1 позволяет обеспечить соотношение 1:1 между пикселями CSS и независимыми пикселями устройства.

    Если мета-тег отсутствует, мобильные браузеры по умолчанию показывают страницу для экрана компьютера. Так как ширина экрана мобильного устройства значительно меньше экрана компьютера, браузеры пытаются оптимизировать содержание — увеличивают шрифт, масштабируют содержание по размеру экрана или показывают только часть контента, которая помещается на экране.

  • <meta http-equiv="Content-Type" content="type; charset=..."/> — робот может учитывать этот тег при определении типа документа и его кодировки;
  • <meta http-equiv="refresh" content="N;url=_адрес цели перенаправления_"> — перенаправление (редирект) пользователя на страницу с адресом URL, после N секунд нахождения на данной странице. При небольших значениях N считается временным перенаправлением, аналогичным серверным редиректам с HTTP-кодом 302/303/307;

  • <meta name="robots" content="all"/> — разрешено индексировать текст и ссылки на странице, аналогично <meta name="robots" content="index, follow"/>;

  • <meta name="robots" content="noindex"/> — не индексировать текст страницы;

  • <meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице;

  • <meta name="robots" content="none"/> — запрещено индексировать текст и переходить по ссылкам на странице, аналогично <meta name="robots" content="noindex, nofollow"/>;

  • <meta name="robots" content="noarchive"/> — не показывать ссылку на сохраненную копию на странице результатов поиска;

  • <meta name="robots" content="noyaca"/>не использовать описание из Яндекс.Каталога для сниппета в результатах поиска.

Чтобы указать директивы только для робота Яндекса, в атрибуте name вместо значения robots укажите значение yandex. Например:
<meta name="yandex" content="all"/>

Робот не посетит документы, если ссылки на них стоят со страницы, содержащей мета-тег со значением nofollow, тем не менее, они могут быть проиндексированы, если в других источниках на них указаны ссылки без nofollow.

Если мета-теги не указаны, робот считает, что они имеют положительное значение (index, follow, archive). Если робот обнаруживает конфликт между мета-тегами, он учтет положительное значение.

Пример:

<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->

Исключение: атрибут all не влияет на атрибут noarchive:

<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки 
на сохраненную копию страницы.-->

Элемент noindex

Используйте элемент noindex для запрета индексирования служебных участков текста. Чтобы закрыть от индексирования конфиденциальную информацию, используйте:

Подробнее см. раздел Как запретить индексирование сайта или страниц.

Элемент noindex не чувствителен к вложенности — может находиться в любом месте HTML-кода страницы.

<noindex>текст, индексирование которого нужно запретить</noindex>

При необходимости сделать код сайта валидным возможно использование тега в следующем формате:

<!--noindex-->текст, индексирование которого нужно запретить<!--/noindex-->

Атрибут rel со значением nofollow элемента a

<a href="url" rel="nofollow">текст ссылки</a>  

Атрибут работает аналогично мета-тегу со значением nofollow, но распространяется только на ссылку, для которой указан.

Атрибут rel со значением canonical элемента link

Если на сайте присутствуют группы схожих по контенту страниц, вы можете указать для каждой группы предпочитаемый (канонический) адрес, который будет участвовать в поиске. Например, страница доступна по двум адресам:

www.example.com/pages?id=2
www.example.com/blog

Если предпочитаемый адрес — /blog, это нужно отразить в коде страницы /pages?id=2:

<link rel="canonical" href="http://www.example.com/blog"/>

Также если на странице атрибут rel="canonical" расположен с указанием непосредственного адреса этой страницы, робот посчитает ее канонической. Данная страница будет индексироваться и появится в поисковой выдаче Яндекса.

Робот считает ссылку с атрибутом rel="canonical" не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован.

Например, робот может не использовать указанный вами адрес, если:

  • Документ по каноническому адресу недоступен для индексирования.

  • В качестве канонического адреса указывается URL в другом домене или поддомене. Сайты, доступные по адресам с префиксом www и без него, а также по протоколам HTTP и HTTPS, рассматриваются как разные ресурсы.

  • Вы указали несколько канонических адресов.

Также не рекомендуем создавать цепочки канонических адресов. Например: для адреса example.com/1 каноническим адресом является example.com/2, в то время как для адреса example.com/2 указан канонический адрес example.com/3.