Прежде чем страница начнёт приносить трафик, поисковая система должна узнать о ней, скачать её, разобраться в содержимом и решить, достойна ли она места в базе. Этот процесс называют индексацией, и на нём держится всё остальное SEO: самые точные тексты и самая продуманная семантика бесполезны, если страницы нет в индексе.
В этом уроке — практическая сторона индексации: как понять, какие страницы сайта есть в поиске, по каким причинам поисковик отказывается их включать и что сделать, чтобы важные разделы попадали в базу быстрее. Общая схема работы поисковой системы разобрана в уроке «Как работает поисковая система», здесь мы сосредоточимся на том, что видит и может изменить владелец сайта.
Путь страницы от публикации до индекса
У любой страницы, прежде чем она появится в выдаче, есть четыре этапа. Сбой на каждом из них оставляет её вне поиска.
- Обнаружение. Робот узнаёт об адресе: по ссылке с другой страницы вашего или чужого сайта, из файла sitemap.xml, из уведомления через Вебмастер, Search Console или протокол IndexNow.
- Обход (сканирование). Робот запрашивает страницу у сервера и получает код ответа и содержимое. Если сервер отвечает ошибкой, медленно или страница закрыта для обхода, дальше дело не пойдёт.
- Обработка. Поисковик извлекает текст, ссылки, метатеги, микроразметку; при необходимости выполняет JavaScript, чтобы увидеть то, что формируется в браузере. На этом же этапе он сравнивает страницу с похожими и выбирает каноническую версию среди дублей.
- Решение о включении. Даже обработанная страница может не попасть в индекс, если поисковик сочтёт её дублем, малополезной или если на ней стоит запрет индексации.
Отсюда важный вывод: «робот заходил на страницу» и «страница в индексе» — разные события. В отчётах обоих поисковиков есть страницы, которые были просканированы, но в базу не включены, и именно с ними чаще всего приходится работать.
Индекс — не разовое событие
Попав в индекс, страница не остаётся там навсегда в неизменном виде. Робот периодически возвращается, чтобы проверить, не изменилось ли содержимое, не появилась ли ошибка, не поменялся ли код ответа. Главную страницу и популярные разделы он посещает часто, глубокие карточки и старые материалы — реже. Если при очередном визите страница отдала ошибку, оказалась закрытой или стала дублем другой, её исключат. Поэтому индексацию проверяют не один раз при запуске сайта, а постоянно, особенно после релизов, переездов и массовых правок шаблонов.
Скорость, с которой изменения на странице отражаются в поиске, тоже зависит от частоты обхода. Новый title на популярной категории может появиться в выдаче за несколько дней, на редко посещаемой карточке — заметно позже. Это стоит учитывать, когда вы оцениваете эффект от правок: прежде чем делать выводы, убедитесь, что поисковик уже видел обновлённую версию страницы.
Как проверить индексацию
Самые точные данные дают панели для владельцев сайтов. Сторонние сервисы и поисковые операторы полезны для быстрой оценки, но опираться на них при принятии решений не стоит.
| Инструмент | Что показывает | Когда использовать |
|---|---|---|
| Яндекс Вебмастер | Раздел «Индексирование»: страницы в поиске, исключённые страницы с причинами, статистика обхода, проверка статуса конкретного адреса | Регулярный контроль индекса в Яндексе, поиск причин исключения |
| Google Search Console | Отчёт об индексировании страниц с группировкой по причинам, инструмент проверки URL с данными о последнем сканировании и выбранной канонической версии | Контроль индекса в Google, диагностика отдельных страниц |
| Оператор site: | Примерный список страниц домена в выдаче | Быстрая оценка порядка величины и поиск явного мусора; точное число страниц он не показывает |
| Сравнение с sitemap | Разница между числом адресов в карте сайта и числом страниц в индексе | Оценка доли важных страниц, которые поисковик не принял |
Удобная привычка — раз в неделю смотреть динамику: сколько страниц в поиске, сколько исключено и не выросла ли какая-то группа исключений. Резкий скачок исключённых страниц почти всегда означает техническую проблему — от случайного запрета в robots.txt до массовых ошибок сервера. Подробная рутина работы с панелями описана в уроке «Яндекс Вебмастер и Google Search Console».
Почему страницы не попадают в индекс
Причины исключения в Вебмастере и Search Console называются по-разному, но сводятся к нескольким группам.
Технический запрет или недоступность
- Страница закрыта от обхода в robots.txt или на ней стоит метатег
noindex. Иногда это сделано намеренно, но нередко запрет остаётся после разработки или распространяется шире, чем задумано. - Сервер отдаёт не код 200, а редирект, ошибку 404 или 5xx. Такая страница в индексе не задержится.
- Сервер отвечает слишком медленно или периодически недоступен — робот снижает частоту обхода и может не дождаться ответа.
Дубли и неканонические страницы
Если по нескольким адресам открывается одинаковое содержимое, поисковик выбирает одну версию, а остальные исключает. Проблема возникает, когда он выбирает не ту страницу, которую вы продвигаете, или когда дублей так много, что они вытесняют полезные адреса. Как устранять дубли — в уроке «Дубли, canonical и редиректы».
Низкая ценность страницы
Яндекс может пометить страницу как недостаточно качественную или малоценную, Google — оставить её в статусах «просканирована, но пока не проиндексирована» или «обнаружена, но не проиндексирована». Обычно так происходит с почти пустыми карточками, страницами фильтров без уникального содержания, тегами из одного материала, автоматически сгенерированными страницами. Решение здесь не техническое: страницу нужно сделать полезнее, объединить с другой или убрать из индекса намеренно.
Страница-сирота и проблемы с JavaScript
Если на страницу не ведёт ни одна внутренняя ссылка, робот может узнать о ней только из sitemap и будет считать её неважной. Отдельный случай — сайты, где основное содержимое подгружается скриптами: если поисковик не смог выполнить JavaScript или контент появляется только после действий пользователя, он увидит пустую страницу. Для важных разделов надёжнее отдавать готовый HTML с сервера.
Краулинговый бюджет: когда о нём думать
Краулинговым бюджетом называют количество страниц, которое робот готов обойти на сайте за определённое время. Он зависит от скорости и стабильности сервера, а также от того, насколько полезным поисковик считает сайт.
Владельцу небольшого сайта на несколько сотен страниц о бюджете можно почти не думать: робот обойдёт всё. Проблема появляется у крупных интернет-магазинов, агрегаторов, медиа с большим архивом — там, где число адресов исчисляется десятками и сотнями тысяч. Типичные пожиратели бюджета:
- комбинации фильтров и сортировок, которые порождают бесконечное число адресов;
- параметры в URL: метки рекламных кампаний, идентификаторы сессий, параметры отслеживания;
- цепочки редиректов и массовые ссылки на несуществующие страницы;
- бесконечные календари, страницы результатов внутреннего поиска, версии для печати.
Работа с бюджетом сводится к тому, чтобы робот тратил время на нужные страницы: закрыть мусорные разделы от обхода, склеить параметры, убрать цепочки редиректов, ускорить ответ сервера и держать в sitemap только канонические адреса с кодом 200. Статистику обхода — сколько запросов делает робот, какие коды ответа получает и сколько ждёт сервер — показывают оба поисковика.
Совет. Прежде чем открывать для индексации тысячи новых страниц, например посадочные под фильтры, проверьте, справляется ли робот с уже существующими. Если важные категории переобходятся раз в несколько недель, добавлять новые адреса рано.
Как ускорить индексацию важных страниц
Повлиять на скорость индексации можно, но приказать поисковику включить страницу нельзя. Работают несколько инструментов, которые лучше сочетать.
- Актуальный sitemap.xml с датой последнего изменения у каждой страницы. Он подсказывает роботу, что появилось и что обновилось.
- Внутренние ссылки. Новая страница, на которую ссылаются главная, категория или популярный материал, будет найдена быстрее, чем адрес, известный только из карты сайта.
- Переобход в Вебмастере. Яндекс позволяет отправить на переобход ограниченное число адресов в сутки — используйте эту возможность для новых и существенно обновлённых страниц, а не для всего сайта подряд.
- Проверка URL в Search Console. После проверки адреса можно запросить индексирование; это сигнал, а не гарантия.
- IndexNow. Протокол, через который сайт сам сообщает поисковику о новых, изменённых и удалённых адресах. Его поддерживает Яндекс; Google этот протокол не использует. Многие CMS и плагины умеют отправлять уведомления автоматически.
Если страница долго не индексируется несмотря на всё это, вернитесь к причинам из предыдущего раздела: чаще всего дело в дублировании или в низкой ценности содержимого, а не в том, что робот её «не нашёл».
Что сделать после урока
- Подключите сайт к Яндекс Вебмастеру и Google Search Console, если это ещё не сделано, и добавьте в обе панели sitemap.xml.
- Сравните число страниц в карте сайта с числом страниц в индексе каждого поисковика и выпишите крупнейшие группы исключённых адресов.
- Проверьте пять–десять ключевых страниц через инструменты проверки URL: код ответа, разрешение на индексацию, выбранную каноническую версию.
- Найдите разделы, которые порождают мусорные адреса — фильтры, параметры, внутренний поиск, — и отметьте их для работы над robots.txt и дублями.
- Настройте отправку уведомлений IndexNow, если ваша CMS это поддерживает.