SEO
robots.txt и sitemap.xml: настройка для SEO
Как настроить robots.txt и sitemap.xml для индексации: директивы, ошибки, связка с Яндекс Вебмастером и Google Search Console.
· VVCODE
robots.txt и sitemap.xml — база технического SEO. Без корректной карты сайта новые страницы индексируются медленнее. Без правильного robots можно случайно закрыть весь сайт от поиска.
robots.txt
Файл в корне сайта. Указывает, что можно сканировать. Не блокируйте CSS/JS — это мешает рендеру.
Disallow для админки, служебных URL, дублей с параметрами.
sitemap.xml
- все важные URL
- актуальный lastmod
- без 404 и редиректов
- обновление после релиза
Связка
В robots.txt строка Sitemap: https://vvcode.ru/sitemap.xml
Отправьте карту в Вебмастер и Search Console.
Ошибки
Закрыли весь сайт Disallow: /. Забыли обновить sitemap после добавления статей.
Дубли www и non-www без каноникала.
Чеклист
Техническое SEO — база продвижения от 50 000 ₽/мес.
Автогенерация sitemap
При CMS — скрипт при деплое. На vvcode sitemap генерируется из списка статей.
Служебные URL
Исключите ?utm, /api, превью из индекса.
sitemap для 10 000 URL?
Разбейте на несколько файлов и sitemap index.
Закрыть /admin в robots?
Да. Убедитесь, что не блокируете CSS и JS.
Как часто обновлять sitemap?
После каждого релиза с новыми или удалёнными URL.
Нужно сделать это за вас? SEO-продвижение →