2.1.1Как устроен поиск: четыре этапа от обхода до выдачи

Сайт сделали, страницы опубликовали, прошёл месяц. Владелец вбивает в поиск свою услугу — и не находит себя ни на первой странице, ни на пятой. Он звонит разработчику, разработчик говорит «надо ждать», SEO-специалист говорит «надо ссылки», знакомый говорит «надо добавить сайт в поисковики». Все трое могут быть правы, и все трое могут ошибаться — потому что ни один не задал вопрос, с которого начинается любая диагностика: на каком этапе застряла страница.

Между публикацией страницы и её появлением в выдаче лежат четыре этапа: обход, обработка, индекс, ранжирование. На каждом страница может остановиться, и на каждом лечение своё. Пока вы не знаете, где обрыв, любое действие — ссылки, тексты, переобход, «ускорение индексации» — это стрельба наугад, за которую платят деньгами и месяцами.

Короткая форма этой мысли проходит через всю книгу: сканирование ≠ индексация ≠ ранжирование. Робот зашёл на страницу — это не значит, что она в поиске. Она в поиске — это не значит, что её покажут. Её показывают — это не значит, что по нужному запросу и на нужном месте.

Зачем знать внутреннюю кухню

Поисковая система для владельца сайта — чёрный ящик: на входе страницы, на выходе места в выдаче. Соблазн понятен: не разбираться, как он устроен, а нанять того, кто разбирается. Но решение, которое приходится принимать владельцу, — сколько платить, сколько ждать, когда остановиться, кому верить, — без минимальной модели этого ящика принимается вслепую. Подрядчик, который говорит «надо ждать», и подрядчик, который говорит «надо переделать раздел», звучат одинаково уверенно. Отличить их можно только по тому, назвали ли они этап, на котором застряла страница, и показали ли данные.

Внутренняя кухня нужна не для того, чтобы владелец сам настраивал сервер. Она нужна, чтобы задавать правильный вопрос и понимать ответ. Специалисту она нужна по другой причине: большая часть ошибок в SEO — это лечение не того этапа. Ссылки на страницу, которую поисковик не допустил к ранжированию, не помогут. Переписанный текст на странице, которую робот не может прочитать, не поможет. Ускоренная индексация страницы, которую поисковик признал копией другой, не поможет — её проиндексируют и снова выкинут.

Схема диагностики в конце главы — та, на которую опираются главы об индексации, о потере трафика, о миграциях и все модули книги.

Одна оговорка до начала. Яндекс и Google дальше описаны как одна система: путь страницы у них устроен одинаково. Расхождения есть — в том, как они взвешивают факторы, как быстро реагируют на изменения, какие инструменты дают владельцу, — и там, где расхождение меняет решение, оно названо отдельно. Полное сравнение — в главе о Google и Яндексе и в уроке «Яндекс и Google».

Обход: как робот находит страницы

Первый этап — робот должен узнать, что страница существует, и скачать её. Поисковый робот — программа поисковой системы, которая обходит страницы по ссылкам и картам сайта, скачивает их и передаёт на индексацию. Этот этап называют обходом, сканированием или краулингом (crawling); в книге — обход, а в формуле «сканирование ≠ индексация ≠ ранжирование» это тот же этап.

Откуда робот берёт адреса

У робота нет списка «всех страниц интернета». Есть очередь адресов, которую он пополняет из четырёх источников.

• Ссылки. Главный источник. Робот скачивает страницу, находит на ней ссылки и ставит новые адреса в очередь. Страница, на которую не ведёт ни одна ссылка ни с вашего сайта, ни с чужого, для робота почти не существует.
• Карта сайта. sitemap.xml — файл со списком адресов сайта, которые нужно проиндексировать, с датами изменений. Помогает роботам быстрее находить новые и обновлённые страницы. Это подсказка, а не приказ: робот берёт адреса из карты, но решает сам, когда и в каком порядке за ними идти.
• Внешние сигналы. Упоминания адреса в других местах, которые видит поисковая система: ссылки в соцсетях и мессенджерах, данные браузера и сервисов самой поисковой системы, переходы из рекламы. Яндекс часть таких источников называет прямо — обход по данным счётчика Метрики и протокол IndexNow, через который сайт сам сообщает о новых и изменённых адресах; Google о своих внешних сигналах говорит меньше. На практике новые страницы, на которые пошёл реальный трафик, находят быстрее.
• История. Адреса, которые робот уже знает. Он возвращается к ним, чтобы проверить, не изменились ли они, — и продолжает возвращаться к адресам, которых давно нет, пока не убедится, что их нет.

Из этого списка следует первое практическое правило: страница должна быть доступна по ссылке с других страниц сайта. Не из поиска по сайту, не через фильтр, который работает только по клику скрипта, не из рассылки — а обычной ссылкой в коде страницы. Карта сайта ускоряет обнаружение, но не заменяет ссылки: страница, которая есть только в карте, получает обход, но не получает от сайта ни веса, ни контекста. Как это строится, разобрано в уроках «Структура сайта под семантику» и «Внутренняя перелинковка».

Как часто робот приходит

Робот не ходит по всем адресам с одинаковой частотой. Чаще он приходит на страницы, которые часто меняются, на которые ведёт много ссылок и которые хорошо показывают себя в выдаче. Реже — на страницы, которые годами не меняются, на которые ничего не ссылается и которые никто не ищет. Главная сайта новостного портала может обходиться несколько раз в час, страница услуги на маленьком сайте — раз в несколько недель.

На частоту влияет и сам сервер. Если сайт отвечает медленно или отдаёт ошибки, робот снижает нагрузку: поисковой системе невыгодно ронять чужой сервер, и она обходит такой сайт осторожнее. Медленный хостинг — это не только плохо для посетителей, это ещё и меньше обхода.

Краулинговый бюджет: когда он есть, а когда нет

Краулинговый бюджет — сколько страниц сайта поисковый робот готов обойти за определённое время. Критичен для больших сайтов: если робот тратит ресурс на мусорные адреса, важные страницы индексируются медленно.

Вокруг этого понятия больше фольклора, чем вокруг любого другого технического термина. Владельцы сайтов на двести страниц оптимизируют краулинговый бюджет, которого у них нет: робот обходит такой сайт целиком за день и возвращается регулярно. Для них лимит обхода — не ограничение, и работа над ним — расход.

Но бюджет считается не по страницам, а по адресам. Сайт, у которого двести настоящих страниц, может отдавать роботу сто тысяч адресов: фильтры каталога с параметрами в адресе, сортировки, метки рекламных кампаний во внутренних ссылках, страницы печати, календарь с бесконечным «следующий месяц». Для робота каждый такой адрес — отдельная страница, которую надо скачать и понять. Тогда маленький сайт ведёт себя как большой, и бюджет начинает решать всё. Это и есть критерий: смотрите не на число страниц в меню, а на число адресов, которые робот реально запрашивает. Узнать его можно из логов сервера и из отчётов об обходе в панелях вебмастеров. Рабочий порог: если на страницы, которые должны быть в поиске, приходится меньше половины запросов робота, обход расходуется впустую и это стоит чинить; если больше — причину медленной индексации надо искать на других этапах.

Чем управляется обход

У владельца сайта три рычага, и каждый делает своё. Третий из них — robots.txt: текстовый файл в корне сайта с правилами для поисковых роботов: какие разделы обходить, а какие нет, и где лежит карта сайта.

Последняя строка — источник одной из самых дорогих ошибок. Запрет в robots.txt говорит роботу «не ходи сюда». Если страница уже была в индексе или на неё ведут ссылки, поисковик может оставить её в выдаче — без содержимого, с адресом и чужим текстом ссылки, — потому что прочитать запрет на индексацию внутри страницы он не может: ему запрещено её скачивать. Чтобы убрать страницу из поиска, роботу нужно разрешить зайти и увидеть в самой странице noindex — указание не включать страницу в индекс метатегом robots или HTTP-заголовком X-Robots-Tag — или код ответа «страницы нет». Синтаксис директив и коды ответа — в техническом справочнике (П1) и в уроках «robots.txt, sitemap.xml и метатег robots» и «Коды ответа сервера, 404 и битые ссылки»; для решений важна логика: обход и индекс управляются разными рычагами.

Пример: робот полгода ходил не туда

Один из клиентов — компания по ремонту квартир в пределах МКАД, сайт на шестьсот страниц: услуги, районы, примеры работ. Пришли с жалобой, понятной любому владельцу: новые страницы районов попадают в поиск через пять-семь недель, а старые, которые переписали четыре месяца назад, в выдаче всё ещё со старыми заголовками.

Технический аудит ошибок почти не нашёл. Нашли их логи сервера. За месяц роботы двух поисковиков сделали около 210 тысяч запросов к сайту. На шестьсот настоящих страниц пришлось меньше восьми процентов. Остальное — каталог примеров работ с фильтрами по типу ремонта, площади, бюджету и району, которые комбинировались в адресе в любом порядке, плюс сортировки и метки рекламных кампаний, которые кто-то когда-то вставил во внутренние ссылки баннеров. Сочетаний набралось больше ста восьмидесяти тысяч, и робот добросовестно обходил их месяцами. Каждое такое сочетание было почти пустой страницей с двумя-тремя фотографиями.

Что сделали: фильтры перестали создавать новые адреса для комбинаций, которые никто не ищет; оставили адреса только для пары десятков сочетаний с реальным спросом («ремонт ванной под ключ», «ремонт однушки»); убрали метки из внутренних ссылок; закрыли сортировки от обхода; лишние адреса стали отвечать кодом «страницы нет». Работа разработчика — около двух недель.

Через шесть недель доля запросов робота к настоящим страницам выросла с восьми до шестидесяти с лишним процентов. Новые страницы районов стали появляться в поиске за три-пять дней, переписанные — обновляться в выдаче в течение недели. Позиции за эти шесть недель не выросли — и не должны были: обход лечит скорость, а не место в выдаче. Владелец сначала был разочарован, и это нормальная реакция. Через два месяца, когда переписанные страницы начали расти, стало понятно, зачем это было: пока робот ходил по мусору, любые правки на сайте доходили до выдачи с опозданием в несколько месяцев.

Ошибка в этой истории — не фильтры. Ошибка в том, что полгода до этого сайт «продвигали» текстами и ссылками, не проверив, видит ли робот изменения. Деньги на тексты были потрачены не зря, но окупаться начали на месяцы позже, чем могли.

Обработка: что происходит между обходом и индексом

Робот скачал страницу. Это ещё не значит, что поисковая система её поняла. Между скачиванием и решением о том, брать ли страницу в индекс, есть этап, о котором владельцы сайтов обычно не знают, — обработка. На нём поисковая система превращает код страницы в то, что можно оценить: текст, структуру, ссылки, основной адрес.

Рендеринг и JavaScript

Робот получает с сервера HTML-код. Если всё содержимое страницы в этом коде — текст, ссылки, заголовки, цены, — поисковая система видит его сразу. Если содержимое появляется только после того, как браузер исполнит скрипты, системе нужно сделать то же самое: собрать страницу так, как её увидит человек. Это и есть рендеринг.

Обе системы умеют исполнять JavaScript, но по-разному. Google ставит на рендеринг практически все страницы, только с задержкой: сначала страница попадает в обработку такой, какой её отдал сервер, собранная версия — позже. Яндекс рендерит по своему усмотрению; в Вебмастере можно сказать, нужен ли сайту рендеринг, но решает робот. Рендеринг дороже простого скачивания, поэтому выполняется не всегда, не сразу и не всегда полностью. Страница, у которой текст и ссылки появляются только после исполнения скриптов, может попасть в индекс пустой, с опозданием или частично. Ссылки, которые создаются скриптом по клику, робот может не увидеть вовсе — и тогда страницы, на которые они ведут, не получат обхода.

Отсюда правило для постановки задачи разработчику: всё, что должно участвовать в поиске, — основной текст, заголовки, навигационные ссылки, цены, контакты — должно быть в HTML-коде, который отдаёт сервер, или гарантированно собираться на сервере. Скрипты могут улучшать страницу, но не должны быть единственным способом её получить. Это задача разработки, а не SEO; SEO отвечает за то, чтобы она была поставлена и проверена. Как проверить, что видит робот, — в главе о скорости, рендеринге и мобильной версии и в уроке «Мобильная версия и адаптивность».

Извлечение содержимого

Собрав страницу, система разбирает её на части: где основное содержимое, где меню, подвал и боковые колонки, которые повторяются на всех страницах; какой заголовок главный; что на странице — текст, таблица, цена, адрес, отзывы. Блоки, повторяющиеся на всём сайте, весят для конкретной страницы мало: поисковая система понимает, что это шаблон.

Отсюда вторая ловушка — «в коде есть». Разработчик открывает исходный код, находит нужный текст и говорит, что всё в порядке. Но текст в шаблоне подвала, одинаковый на всех страницах, для конкретной страницы почти ничего не весит, а текст, который есть на компьютере и которого нет в мобильной версии, для Google не существует. Mobile-first индексация — подход Google, при котором сайт оценивается и индексируется по мобильной версии. Если на мобильных скрыта часть контента или ссылок, поисковик её не учтёт. Свёрнутый блок или вкладка, текст которых есть в коде страницы, — не проблема: такой текст обе системы читают. «В коде есть» и «прочитано и учтено» — разные утверждения, и проверять надо второе.

Канонизация

Последнее, что происходит на обработке, — выбор основного адреса. Одна и та же страница почти всегда доступна по нескольким адресам: с косой чертой в конце и без, с параметрами и без, с www и без, по старому адресу и по новому. Поисковой системе не нужны пять копий в индексе — она выбирает одну и называет её канонической, остальные склеивает с ней.

Владелец может подсказать выбор. Canonical — указание поисковику, какой адрес считать основным среди похожих или одинаковых страниц. Помогает склеить дубли и передать основной странице их сигналы. Но это подсказка, и поисковая система её проверяет: если указанный адрес не похож на основной — отдаёт ошибку, перенаправляет дальше или на него не ведут ссылки сайта, — она выберет сама. И выбранный ею адрес может оказаться не тем, который вы продвигаете.

Канонизация выглядит технической мелочью, пока не касается страниц, которые для бизнеса разные, а для поисковой системы одинаковые. Об этом — следующий этап.

Индексация: почему «найдено» не значит «в поиске»

Индексация — процесс, при котором поисковый робот находит страницу, анализирует её и добавляет в базу поисковой системы. Страница вне индекса не может появиться в выдаче.

Определение звучит так, будто индекс — склад, куда попадает всё скачанное. Это не так. Индекс — отбор. Поисковая система не обязана хранить каждую страницу, которую нашла, и не хранит. Она решает, стоит ли страница места в базе и допуска к ранжированию, и решение это принимается по тем же принципам, что и всё в поиске: нужна ли эта страница кому-нибудь, кроме владельца сайта.

Полный цикл

Путь страницы целиком выглядит так: обход → обработка → индекс → допуск к ранжированию. На каждом шаге есть свой фильтр.

• На обходе страница отсеивается, если робот о ней не знает, не может до неё дойти или ему запрещено.
• На обработке — если робот не смог её собрать, нашёл пустой или признал копией другой страницы.
• На индексе — если поисковая система решила, что страница не нужна: она слишком похожа на другие, слишком мала по содержанию или её никто не ищет.
• На допуске к ранжированию — если страница в базе, но для конкретного запроса считается нерелевантной или находится под санкцией.

Для владельца сайта это означает простую вещь: «страница проиндексирована» — не финиш, а условие участия. Индексация ≠ рост. Страница может стоять в индексе годами и не получать ни одного показа, потому что следующий этап — ранжирование — её не пропускает.

Дубли и выбор основной версии

Самая частая причина, по которой нужная бизнесу страница выпадает из индекса, — поисковая система решила, что это копия другой. Дубли страниц — страницы с одинаковым или почти одинаковым содержимым по разным адресам: с параметрами, слешем и без, с www и без. Размывают сигналы и тратят краулинговый бюджет.

Технические дубли — одна страница по разным адресам — лечатся склейкой, и это работа разработчика по постановке SEO. Опаснее смысловые дубли: страницы, которые для бизнеса разные, а для поиска одинаковые. Страница услуги для двух городов с заменой одного слова. Пять страниц «ремонт ванной», «ремонт санузла», «ремонт туалета», «ремонт ванной комнаты», «ремонт санузла под ключ» с одним и тем же текстом. Карточки товаров, которые отличаются только цветом. Поисковая система сравнивает такие страницы по содержанию, видит, что ответ на них один, и оставляет в индексе одну — не обязательно ту, которую вы считаете главной. Классификация дублей и таблица «тип дубликата → способ лечения» — в главе о дубликатах и в уроке «Дубли, canonical и редиректы».

Причины исключения

Если свести все причины, по которым страница не попадает в индекс или выпадает из него, к смыслу, их пять. Названия статусов в панелях вебмастеров меняются от версии к версии и различаются у Яндекса и Google, а смысл остаётся. Поэтому читать статусы надо по этой таблице, а не по названиям.

Последние две строки — те, где технические специалисты чаще всего бессильны и где они чаще всего продолжают лечить технически: отправляют страницу на переобход, меняют карту сайта, ставят ссылки. Это не работает, потому что поисковая система страницу уже прочитала и уже решила. Переобход даст ей ту же страницу и то же решение. Менять надо содержание — то, ради чего страница существует. Это ответственность бизнеса: только он знает, чем услуга в Химках отличается от услуги в Москве, кроме названия города, — и если ничем, то страница действительно не нужна.

Отдельно о том, как пользоваться панелями. Яндекс Вебмастер — бесплатный сервис Яндекса для владельца сайта: индексация и ошибки, запросы и показы в поиске, регион, ИКС, сообщения о нарушениях и фильтрах. Google Search Console — бесплатный сервис Google для владельца сайта: индексация, запросы, показы и клики в поиске Google, Core Web Vitals, ручные меры и ошибки разметки. Оба показывают списки примеров ограниченной длины и с задержкой, а в Яндексе исключённые страницы могут возвращаться в индекс и выпадать снова от обновления к обновлению базы. Решения по одному снимку не принимают: смотрят динамику за несколько недель и сверяют с логами. Как читать сами отчёты — в уроках «Индексация» и «Яндекс Вебмастер и Google Search Console».

Пример: два города, один текст

Сервис электриков с восемью бригадами работал по Москве и ближнему Подмосковью. Для Химок и Мытищ, где жила треть клиентов, сделали отдельные страницы: «электрик в Химках», «электрик в Мытищах». Сделали быстро — скопировали московскую страницу, заменили название города в заголовках и тексте, поменяли пару фотографий.

Месяц спустя страница Мытищ была в поиске Яндекса на второй странице выдачи и давала по три-четыре заявки в неделю. Страница Химок в поиске не появилась вовсе. В Вебмастере она числилась как дубль московской страницы. Подрядчик, который вёл сайт, отправил её на переобход четыре раза за месяц, затем купил на неё несколько ссылок. Страница попадала в индекс на несколько дней и выпадала снова.

Почему одна страница прошла, а другая нет, достоверно сказать нельзя: у Мытищ случайно оказались другие фотографии работ и отзыв с названием улицы, этого могло хватить. Важнее другое: обе страницы держались на случайности. Решение было не техническим. Владелец сел с мастером, который работал в Химках, и выписал, чем выезд туда действительно отличается: время приезда, стоимость выезда за МКАД, типовая застройка и типовые проблемы проводки в домах этого района, адрес, откуда выезжает бригада, примеры работ с адресами по улицам. Страница получила свою цену, свои сроки, свои фотографии и три настоящих отзыва. Текст переписали с нуля.

Через три недели страница вошла в индекс и больше из него не выпадала; через два месяца давала столько же заявок, сколько страница Мытищ. Деньги, потраченные на четыре переобхода и ссылки, ушли впустую: страница была найдена, обойдена и прочитана, обрыв был на индексе, а лечили обход. Как строить страницы под города — глава о региональности.

Ранжирование: категории факторов

Страница в индексе и допущена к ранжированию. Теперь — последний этап, тот, с которым обычно и путают весь поиск. Ранжирование — расчёт порядка, в котором поисковая система показывает найденные страницы по запросу, и сам этот порядок.

Порядок считается формулой, обученной на огромном количестве примеров того, какие ответы людям подходят. В неё входят сотни признаков, но человеку, который принимает решения, сотни не нужны. Нужна карта категорий: что каждая означает, на что вы можете влиять и где ваше влияние заканчивается. Эта карта — оглавление всей книги: каждая категория разобрана в своей главе.

Пять категорий

Технические факторы стоят первой строкой не потому, что весят больше всех. Они работают как допуск: сайт, который робот не может прочитать, не участвует в соревновании, а сайт, который прочитать может, за техническое совершенство почти ничего не получает. Поэтому в книге действует формула: техническая ошибка ≠ проблема. Ошибка становится проблемой, когда она обрывает путь страницы на одном из четырёх этапов или мешает человеку. Сотни предупреждений в отчёте аудитора, которые не касаются ни того, ни другого, — работа, которую можно не делать.

Как соотносятся категории по весу

Универсального ответа «что важнее» нет, и любой, кто называет одну пропорцию для всех сайтов, говорит неправду. Вес категорий зависит от тематики и типа запроса, и его определяет не поисковая система в целом, а выдача по конкретному запросу.

По коммерческому запросу — «вызвать сантехника», «ремонт квартиры под ключ цена» — поисковая система ищет место, где можно купить. Здесь коммерческие и поведенческие факторы решают больше, чем текст: страница с ценой, контактами и понятными условиями обходит страницу с лучшим текстом, но без цены. По информационному запросу — «почему капает смеситель» — решает, насколько полно и понятно страница отвечает на вопрос, и доверие к источнику. По запросам о здоровье, деньгах и безопасности строже проверяют автора и источник.

Отсюда метод, который в книге применяется везде: вес факторов не угадывают, а читают по выдаче. Кто стоит в топе по вашему запросу — агрегаторы, сайты компаний, справочники, статьи? Что у них общего — цены, каталог, длинные тексты, отзывы? Ответ на эти вопросы и есть локальная формула для вашего запроса. Как это делается, разобрано в главах о спросе и о конкурентном анализе.

Где Яндекс и Google расходятся

Путь страницы у систем общий, а веса категорий — нет, и это расхождение меняет решения. Три места, где его нужно держать в голове с первой главы.

Коммерческие факторы. Коммерческие факторы — признаки, по которым поисковик оценивает, можно ли у сайта купить: цены, ассортимент, контакты и адрес, доставка и оплата, гарантии, реквизиты, отзывы. В Яндексе они весят больше, чем принято думать; в Google их почти нет как отдельного класса — там похожие сигналы проходят через общую оценку качества и доверия. Для сайта услуг в Яндексе работа над страницей — цена, контакты, ассортимент, доверие — даёт больше, чем работа над текстом.

Поведенческие факторы. Поведенческие факторы — сигналы о том, как пользователи взаимодействуют с выдачей и сайтом: клики по результатам, возвраты в поиск, глубина и время визита. Особенно важны для ранжирования в Яндексе. Причина расхождения, по наблюдениям практики, — в данных и в рынке: у Яндекса кроме выдачи есть собственные браузер и карты, его аудитория в коммерческих тематиках сосредоточена в одной стране, и поведенческий сигнал для него весит больше. Какие именно источники данных о поведении входят в его формулы, Яндекс не раскрывает. Google тоже использует данные о том, как люди взаимодействуют с выдачей, но это сигналы другого рода, в агрегированном виде и как одна из частей системы. Отсюда и разная судьба накрутки: в Яндексе она работает, в Google нет. Механика, цена и граница — в главе о коммерческих и поведенческих факторах; атаки на чужие поведенческие — в главе о санкциях и атаках.

Ссылки. Ссылочная масса — совокупность внешних ссылок на сайт: их количество, качество доноров, тематичность и анкоры. Для Google один из важных сигналов авторитетности, для Яндекса — меньший, но заметный. Позиция книги по ссылкам — работают, покупать, граница по поисковику — разобрана в главе о ссылочных факторах.

Два уточнения, чтобы карта не вводила в заблуждение. Выдача зависит от региона и в меньшей степени от истории самого человека, поэтому позиции, которые вы видите у себя, не совпадают с тем, что видит клиент; как с этим жить в отчётах — глава об аналитике и метриках. И карта категорий — это карта, а не формула: веса внутри неё меняются с обновлениями алгоритмов, а категории остаются.

Что из этого управляемо

Ранжирование — этап, на котором кончается контроль. Обход и обработка управляемы почти полностью: это техника, и за неё можно отвечать сроками. Индекс управляем наполовину: технические причины исключения устраняются, но возьмёт ли поисковая система страницу в базу, зависит ещё от её содержания и от того, ищет ли её кто-нибудь. На ранжировании в игру входят силы, которыми SEO не управляет: что сделали конкуренты, как ведут себя люди в выдаче, как изменилась формула после очередного обновления. На каждую из них можно повлиять, но ни за одну нельзя отвечать.

Это и есть то, что книга называет границей влияния. SEO — управляемая, но негарантируемая система: можно улучшить каждый её элемент, нельзя гарантировать итог. Обещание «приведём в топ-3 за три месяца» — это обещание на этапе, где никто не контролирует результат. Нормальное обещание звучит иначе: «через месяц технические причины исключения будут устранены, а по логам будет видно, что робот видит правки в течение недели». Это гарантия на работу, а не на итог.

Отсюда распределение ответственности, которое пройдёт через все главы:

• Разработка отвечает за то, чтобы страница была получена и прочитана: коды ответа, скорость, рендеринг, адреса.
• SEO отвечает за то, чтобы путь страницы был построен и проверен: что обходить, что индексировать, какая страница под какой запрос, где обрыв.
• Бизнес отвечает за то, ради чего страница существует: цена, предложение, отличия, доверие, ответ на заявку. На коммерческих запросах в Яндексе работа над страницей — цена, контакты, доверие — даёт больше, чем работа над текстом.
• Неопределённость — конкуренты, поведение людей, обновления алгоритмов. На неё влияют все трое, за неё не отвечает никто.

Что изменилось за последние два года

Раздел о текущем состоянии поиска, проверено на 25.10.2026; пересматривается раз в квартал.

Над классической выдачей появился новый слой. Нейроответ — ответ, который поисковая система или ассистент собирает нейросетью из найденных источников и показывает над ссылками или вместо них. В Яндексе — Поиск с Алисой, в Google — обзоры от ИИ (AI Overviews) и режим ИИ (AI Mode).

Масштаб для российского рынка задаёт Яндекс. По данным самой компании в отчётности за второй квартал 2026 года, ответ нейросети получают 42% запросов в поиске, кварталом раньше было примерно на семь пунктов меньше (Яндекс, результаты за II квартал 2026, 29.07.2026, в пересказе Sostav; показатель быстро меняется). Google в октябре 2025 года включил Россию в список стран режима ИИ (Т—Ж, 14.10.2025), а обзоры от ИИ по части простых запросов на русском пользователи видели и раньше, без официального объявления (Хабр, 21.05.2025). Доля Google в российском поиске меньше яндексовой, поэтому для сайта, работающего на Россию, масштаб изменений задаёт Яндекс.

Что это меняет: распределение кликов, а не механику, описанную выше.

Информационные форматы просели. Запросы вида «как сделать самому», «почему», «что такое» получают ответ прямо в выдаче, и часть людей больше не переходит на сайты. Страница может стоять на тех же позициях и получать меньше переходов. Для сайта, который жил на информационном трафике и рекламе, — портала, блога — это угроза, и книга говорит это прямо в главе о других типах проектов и в модуле о порталах.

Коммерческий и локальный интент работает. За услугой люди по-прежнему идут на сайт или в карты: нейроответ может подсказать, на что обратить внимание при выборе сантехника, но не приедет к вам с ключом. Для сайта услуг механика обхода, индексации и ранжирования остаётся в силе.

Нейроответ берёт источники из той же выдачи. Публичные замеры показывают, что ответы Алисы AI ссылаются в основном на сайты из первой десятки обычной выдачи: по исследованию «Ашманова и партнёров» на запросах e-commerce, с августа 2025 по январь 2026 года доля источников за пределами топ-10 сократилась вчетверо, до 10% («Коммерсант», 3DNews, 10.06.2026). Критерием отбора Яндекс называет не позицию, а «экспертность и содержательность контента» («Коммерсант», 10.06.2026), но в справке Вебмастера пишет, что ответ «опирается на источники, которые высоко ранжируются в поиске». Значит, попасть в нейроответ, минуя четыре этапа, нельзя: страница, которая не обойдена, не в индексе или не ранжируется, не будет и процитирована.

Что это меняет в диагностике. Появляется новый вид падения трафика, который не связан ни с одним из четырёх этапов: позиции и показы на месте, а переходов меньше. Это не ошибка индексации и не санкция, и лечить его как ошибку индексации бессмысленно. Признак — расхождение между показами и кликами по информационным запросам при стабильных позициях. Отличать такие падения от настоящих — задача главы о санкциях и потере трафика, как мерить их в отчётах — глава об аналитике и метриках; как работать с цитированием в нейроответах — урок «SEO в эпоху нейропоиска» и книга серии «Всё о GEO».

Позиция книги: ИИ-поиск — будущее, не угроза. Быть процитированным ассистентом — новый канал. Что он не меняет: страницу под интент, цену на странице, доверие. Это прогноз, и у него есть условие, при котором он не сбудется: если ассистенты начнут сами доводить человека до заказа услуги — сравнивать исполнителей, записывать на выезд, — коммерческий трафик сайтов начнёт уходить так же, как ушёл информационный. На 25.10.2026 этого не происходит.

Мифы

• «robots.txt закрывает от индексации». Он закрывает от обхода, а не от индекса; почему закрытая страница остаётся в выдаче и как её оттуда убрать — в разделе об обходе и в главе об индексации и управлении обходом.
• «Сайт нужно добавить в поисковики». Поисковые системы находят сайты сами — по ссылкам. Панели вебмастеров нужны не для «добавления», а для того, чтобы видеть, что происходит с сайтом на каждом этапе, и получать сообщения о проблемах. Подключать их нужно, но причина другая.
• «Позиции у всех одинаковые». Выдача зависит от региона, устройства и в меньшей степени от истории человека. Позиция, которую владелец видит у себя, — не та, что видит клиент в другом районе, и не та, что в отчёте сервиса проверки позиций. Позиции — промежуточная метрика, не результат.
• «Метатег keywords влияет». Google его игнорирует. Яндекс в справке оставляет формулировку «может влиять на соответствие страницы поисковым запросам», но на практике эффект неотличим от шума. Его заполнение — расход времени и подсказка конкурентам, по каким запросам вы работаете.
• «Проиндексировано — значит, будет трафик». Индексация ≠ рост. Индекс — условие участия, а не место в выдаче. Страница может годами стоять в индексе без единого показа.
• «Если страницы нет в поиске, надо отправить её на переобход». Переобход лечит только первый этап. Если поисковая система страницу уже прочитала и признала копией или ненужной, переобход вернёт её в то же состояние. Сначала — найти этап, потом лечить.
• «Нейроответы убили SEO». Они забрали часть кликов по информационным запросам. Коммерческий и локальный спрос по-прежнему уходит на сайты и в карты, а источники для нейроответов поисковые системы берут из той же выдачи, которую строит ранжирование.

Что запомнить

Страница не в выдаче → пройти по четырём этапам → найти обрыв. Лечить можно только тот этап, на котором страница остановилась; лечение другого этапа — расход.

Короткая форма схемы — сканирование ≠ индексация ≠ ранжирование. Обход и обработка управляемы, и за них можно отвечать сроками. Индекс зависит ещё от содержания и спроса — за него отвечают вместе SEO и бизнес. Ранжирование — граница влияния: на него можно влиять, но нельзя его гарантировать. Если подрядчик не может назвать, на каком этапе застряла ваша страница, и показать это данными, — он лечит наугад.

Базовый уровень этой главы — уроки «Что такое SEO простыми словами и как оно работает» и «Факторы ранжирования». Схема четырёх этапов дальше работает в главе об индексации и обходе (технический разбор каждого этапа), в главе о санкциях и потере трафика (диагностика падений) и в главе о миграциях (что ломается при переезде на каждом этапе).