Как запретить индексацию сайта. Файл robots.txt, noindex и nofollow

Обычно, если поисковая система индексирует контент сайта - это хорошо. Чем больше страниц проиндексировано, тем выше шанс подняться в выдаче.

Однако, бывают ситуации, когда по тем или иным причинам, не желательно, чтобы поисковый робот ползал по определенным страницам или частям страниц, а так же переходил по определенным ссылкам. Из данной статьи, вы узнаете, как можно указать поисковым роботам, игнорировать определенный веб мастером контент.

Для чего нужен файл robots.txt?

У вас есть свой сайт и в корневом каталоге этого сайта (директории www или httpdocs на сервере) нет файла robots.txt? Зайдите в панель просмотра ошибок сервера и внимательно проанализируйте ошибки "404 - Страница не найдена

Файл robots.txt был придуман для того, чтобы можно было сказать поисковому роботу, какие страницы сайта не следует индексировать.

Файл robots.txt состоит из одной или более записей, разделенных одной или более пустых линий. Каждая запись имеет формат:
<имя_поля>:<необязательные_пробелы><значение><необязательные_пробелы>
Значение имени поля чувствительно к регистру.

В файл robots.txt можно включать комментарии в формате командных оболочек UNIX систем: символ # означает, что остаток строки - это комментарий и не анализируется поисковым роботом.

Каждая запись начинается с одной или более строк User-Agent, за которыми следует одна или более строки Disallow (описано ниже). Все остальные строки игнорируются.

• User-agent
  Значением этого поля является имя поискового робота, для которого применяются следующие поля Disallow.
  Можно перечислить подряд несколько полей User-agent. Тогда следующие за ними поля Disallow будут применены для всех роботов (смотри пример 3 внизу)
  Необходимо присутствие, как минимум одного такого поля.
  Если значение этого поля - '*', то такое поле описывает правила для всех роботов, которые не перечислены в других записях. В файле robots.txt можно иметь только одно поле с User-agent равным '*'.
• Disallow
  Значение этого поля - часть URL, которое не должно быть посещено поисковиком. URL может быть полным или относительным; любой адрес, начинающийся с этого значения, не будет индексироваться поисковым роботом.
  Например, Disallow: /about запрещает страницы /about.html и /about/index.html , тогда как Disallow: /about/ запрещает /about/index.html и не запрещает /about.html
  Пустое значение разрешает индексацию всех страниц данного сайта.
  Как минимум одна строка Disallow должна присутствовать для каждой записи.

Присутствие на сайте пустого файла robots.txt не имеет какого-либо особого значения. Такой файл рассматривается так же, как отсутствие robots.txt, то есть все страницы сайта могут посещаться поисковыми роботами.

Примеры использования файла robots.txt

В следующем примере, ни один из роботов не должен посещать URL, начинающиеся с /maps/map1/ или с /temporary/, или /checkout.php

В следующем примере, ни один из роботов не должен посещать URL, начинающиеся с /maps/map1/ за исключением робота Яндекса

В следующем примере, ни Яндекс ни Googlebot не должны индексировать страницу /checkout.php

Если вы хотите, чтобы ваш сайт не индексировался совсем, то используйте следующий формат

Наиболее полный список активных поисковых роботов вы можете посмотреть на http://www.robotstxt.org/wc/active.html

Запомните, что символы регулярных выражений не поддерживаются в путях Disallow. То есть:
Disallow: /tmp/t* не запрещает все файлы в директории /tmp/, начинающиеся с символа 't'.
Попытка использовать символы регулярных выражений, это одна из самых распространенных ошибок при написании файла robots.txt

Yandex. От сих до сих - не сканируй. (Тег noindex).

Наш родной Яндекс облегчил жизнь веб мастерам и дал возможность указать часть веб страницы, которую не нужно индексировать роботу Яндекс.

Для этого нужно заключить текст, не подлежащий индексированию, между тегами <noindex> и </noindex>.

Это очень удобно, когда, например, вы хотите на своей странице привести пример, как не надо обманывать поисковых роботов.
Например:

Ясно, что такой текст будет сильно оптимизирован по слову "розовая собачка". Однако, это является нарушением и попыткой обмануть поисковую систему. И теги <noindex> в данном случае говорят Яндексу не индексировать этот участок текста. Другими словами, поисковик не будет накладывать на такую страницу никаких санкций, так как все противоправные приемы спрятаны от поискового робота при помощи тега <noindex>.

К сожалению, теги <noindex> не являются стандартными. Это "изобретение" Яндекса. Иногда, такого же инструмента очень не хватает для Google.

Googlebot, ты туда не ходи. Ты сюда ходи. (Атрибут nofollow)

У Google есть своя фишка, с помощью которой можно указать его роботу по каким ссылкам он не должен переходить.

Предположим, что по тем или иным причинам, вы не желаете, чтобы Googlebot следовал (follow) по определенной ссылке со страницы. Для этого можно в атрибуте rel тега <a> указать значение nofollow. По ссылкам с таким атрибутом, Googlebot не ходит.
Пример:

Это решение тоже не переносимо, то есть работает только для робота Google. Однако, знать об этом все же стоит. Очень удобно использовать атрибут nofollow при оптимизации страниц для получения большего Page Rank от Google. (О Page Rank я расскажу подробнее в одном из следующих выпусков).

Выводы

Вообще, если необходимо оптимизировать сайт для определенного поисковика, то внимательно читайте правила работы поискового робота. Там вы найдете самую точную и достоверную информацию об особенностях работы этого поисковика. Особенно обращайте внимание на пункты, нарушение которых карается баном. Старайтесь не нарушать эти правила. В противном случае, оправдаться будет очень не легко.