SEO
Crawl budget: как управлять обходом сайта
Краулинговый бюджет для крупных сайтов: приоритет важных URL, блокировка мусора, логи сервера.
· VVCODE
Crawl budget важен для крупных сайтов. Малым проектам достаточно чистой структуры и sitemap.
Что такое crawl budget
Сколько страниц робот готов обойти за визит. Критично для сайтов 10 000+ URL.
Малым сайтам обычно не нужно оптимизировать.
Куда уходит бюджет
- дубли и параметры
- битые ссылки
- медленный сервер
- бесконечные календари/фильтры
- низкокачественные URL
Оптимизация
Закрыть мусор noindex/robots. Ускорить TTFB. Чистый sitemap только с важным.
Приоритет
Внутренние ссылки с главной на ключевые разделы. Свежий контент обходится чаще.
Логи
Анализ логов показывает поведение ботов.
Параметры
?sort=, ?page= — политика индексации.
Скорость
TTFB under 600ms для ботов.
Сколько URL — пора думать о budget?
Ориентир от 10 000 индексируемых URL.
Faceted navigation?
Главный пожиратель budget в e-commerce.
Скорость сервера?
Медленный TTFB снижает объём обхода.
Нужно сделать это за вас? SEO-продвижение →