Noindex и Nofollow: когда закрывать страницы

Meta robots noindex/nofollow и X-Robots-Tag: что закрывать от индекса и как не потерять вес сайта.

Noindex контролирует индекс, nofollow — передачу веса по ссылкам. Правильное использование защищает от мусора в выдаче.

Noindex

Страница не попадает в индекс, но может получать ссылочный вес (зависит от контекста).

Используйте для служебных, дублей, thank-you, личного кабинета.

Nofollow

Не передаёт вес по ссылке. На уровне страницы — все исходящие nofollow (редко нужно).

Чаще nofollow на отдельных ссылках: UGC, реклама.

Когда noindex

  • страницы фильтров
  • поиск по сайту
  • дубли тегов
  • черновики
  • страницы с thin content

Ошибки

Noindex на важных коммерческих URL. Конфликт noindex и sitemap — URL в карте, но закрыт.

robots и sitemap.

X-Robots-Tag

HTTP-заголовок для PDF, файлов, не-HTML.

Техническое SEO.

Staging

noindex на тестовых доменах обязателен.

Sitemap

Не включайте noindex URL в sitemap.

Noindex удаляет из индекса мгновенно?

После следующего обхода, обычно дни-недели.

Noindex в robots.txt?

Нельзя — только Disallow, это не noindex.

Закрыть всю staging?

Да, noindex + пароль или IP.