vvcodeСвязаться
SEO

X-Robots-Tag и meta robots для SEO

Управление индексацией через meta robots и HTTP-заголовок X-Robots-Tag: noindex, noarchive, nosnippet.

· vvcode · 5 мин чтения

Meta robots и X-Robots-Tag — гибкое управление индексацией на уровне страницы и файла.

Meta robots

index/noindex, follow/nofollow, noarchive, nosnippet, max-snippet.

В head каждой страницы или через CMS.

X-Robots-Tag

HTTP-заголовок для не-HTML: PDF, JSON, файлы.

nginx: add_header X-Robots-Tag "noindex";

Конфликты

robots.txt Disallow не равно noindex — URL может быть в индексе без контента.

Согласуйте robots.txt, meta и canonical.

Nosnippet

Редко: скрыть сниппет для страниц с чувствительными данными.

Чеклист

Noindex · robots.txt.

nginx

add_header X-Robots-Tag для /admin/.

Конфликт

Проверка: robots + meta + canonical согласованы.

noindex vs robots.txt?

noindex — не в индексе; Disallow — робот не качает (но URL может быть в индексе).

PDF noindex?

Через X-Robots-Tag в nginx.

nosnippet?

Скрывает описание в выдаче, редко нужно.