Как запретить индексацию сайта. Файл robots.txt, noindex и nofollow. Для чего нужен файл robots.txt?Обычно, если поисковая система индексирует контент сайта - это хорошо. Чем больше страниц проиндексировано, тем выше шанс подняться в выдаче.Однако, бывают ситуации, когда по тем или иным причинам, не
желательно, чтобы поисковый робот ползал по определенным страницам или
частям страниц, а так же перехо...
|
Главная