SEO
Анализ логов сервера для SEO
Log file analysis: как по логам nginx увидеть обход Googlebot и Yandex и найти проблемы индексации.
· VVCODE
Логи сервера показывают реальное поведение ботов — то, чего нет в GSC в деталях.
Зачем логи
GSC показывает агрегаты. Логи — каждый запрос бота: URL, код, время.
Видно, обходит ли робот важные страницы.
Что смотреть
- User-Agent Googlebot/Yandex
- статус 404/500
- частота обхода URL
- медленные ответы
Инструменты
GoAccess, Screaming Frog Log Analyzer, ELK.
Фильтр по ботам, не смешивать с пользователями.
Типичные находки
Бот застревает в фильтрах. Не обходит новые статьи — мало inlinks.
Частота
Раз в квартал для сайтов 1000+ URL или после крупного релиза.
404 spikes
Всплеск 404 после деплоя — сигнал ошибки.
Crawl depth
URL с depth 5+ реже обходятся.
Как получить логи?
access.log nginx, ротация на хостинге.
GDPR и логи?
IP пользователей — персональные данные, боты — ок.
Частота анализа?
После релиза или раз в квартал.
Нужно сделать это за вас? SEO-продвижение →