11.2Как тестировать и учиться: гипотеза, контрольная группа и журнал

Весной команда клининговой компании переписала заголовки и описания у тридцати страниц услуг. К маю переходы на них выросли на сорок процентов. На планёрке это назвали лучшим решением квартала, владелец урезал рекламный бюджет на треть — «поиск теперь вытянет», — а осенью предложили сделать то же на втором сайте. Никто не посмотрел, что стало за то же время со страницами, которые не трогали. Они выросли на тридцать семь процентов: весна — сезон генеральных уборок и мытья окон.

Почему в SEO нельзя верить на слово никому, включая эту книгу

Утечки, заявления, исследования и кейсы дают гипотезы; как их читать, разобрано в главе 27. Подтвердить или опровергнуть гипотезу для вашего сайта может только ваш сайт. Причин три.

Поиск неоднороден. Веса зависят от тематики, типа запроса, региона и системы. То, что сработало у соседа по нише в Яндексе, может не сработать у вас в Google, и наоборот.

Поиск меняется. Вывод, верный в прошлом году, мог перестать быть верным после пары апдейтов — у гипотезы есть срок годности (глава 27).

Ваш сайт уникален. История домена, ссылки, бренд, конкуренты, качество страниц — контекст, в котором любой приём даёт свой эффект, и на вашем сайте может оказаться выполнено условие, при котором позиция книги неверна.

Но и своим данным верить на слово нельзя. Счётчик ломается, сезон совпадает с изменением, апдейт приходится на середину теста, соседний отдел меняет шаблон, конкурент меняет цены. Свои данные — лучший источник, если обращаться с ними как с источником: проверять, откуда взялась цифра и что ещё могло её дать.

Кто за что отвечает. SEO — за то, чтобы выводы, на которых строятся работы, были проверены или честно помечены как непроверенные. Разработка — за то, чтобы во время проверки на сайте не менялось ничего, кроме проверяемого, и чтобы сбор данных не ломался. Бизнес — за то, чтобы не требовать быстрых доказательств там, где их не бывает, и не принимать дорогих решений по одному удачному месяцу. Поведение людей, конкуренты и апдейты — зона неопределённости: эксперимент её сужает, но не снимает.

Гипотеза: как формулировать так, чтобы её можно было проверить

«Попробуем переписать тексты и посмотрим» — не гипотеза. Через два месяца что-нибудь обязательно изменится, и это изменение назовут результатом. Гипотеза — утверждение, которое можно опровергнуть, сформулированное до того, как появились данные.

Рабочая форма: если сделать [изменение] на [группе страниц], то [метрика] изменится на [величину] за [срок] по сравнению с [контрольной группой], потому что [механизм].

• Изменение — одно. Если одновременно переписать заголовки, добавить цены и ускорить шаблон, рост нельзя приписать ничему.
• Группа страниц — определена заранее, а не выбрана после того, как стало видно, где выросло.
• Метрика — то, что вы видите сами: показы, клики и кликабельность по фиксированному набору запросов из панелей вебмастеров, заявки из аналитики и CRM. Не «вес страницы» и не «доверие сайта» — их не видит никто.
• Величина — какое изменение вы сочтёте эффектом. Без порога любое движение можно объявить успехом.
• Срок — сколько ждать до вывода, чтобы не остановить тест на удачной неделе и не тянуть его бесконечно.
• Контрольная группа — с чем сравнивать. Без неё нельзя отличить эффект от сезона и апдейтов.
• Механизм — почему вы ждёте эффекта. Если механизм не подтвердился, а метрика выросла, вероятнее совпадение: заголовки переписали, а в выдаче показывается старый.

Хорошая гипотеза может предсказывать и отсутствие эффекта. Глава о скорости утверждает, что ускорение влияет на конверсию сильнее, чем на позиции; проверить это — значит проверить обе половины утверждения.

Дизайн эксперимента: контрольная группа, размер выборки, срок

В маркетинге гипотезы проверяют через A/B-тест — эксперимент, в котором аудиторию случайно делят на группы и показывают им разные версии страницы, объявления или письма, чтобы по статистически значимой разнице выбрать лучший вариант. Для поиска так не получится. Тест для людей на странице допустим: Google описывает, как проводить его без вреда для поиска, — робот видит то же, что люди, основная версия указана как каноническая, а не закрыта noindex, перенаправления на версии — временные, тест длится не дольше нужного (справка Google о тестировании сайтов, обновлена 10.12.2025). Но такой тест проверяет конверсию. Разделить по версиям саму поисковую систему нельзя: у страницы для неё одна версия, а показывать роботу не то, что людям, — клоакинг. Поэтому, чтобы проверить эффект в поиске, делят не людей, а страницы.

Как набрать группы

Порядок такой: сначала составить пары похожих страниц, потом жребием решить, какая страница пары идёт в тест, а какая — в контроль. Если сначала выбрать тест, а потом подбирать к нему контроль, в тест неизбежно попадают страницы, которые «больше нуждаются в улучшении», и вывод смещается.

Похожие страницы — это:

• один шаблон и один тип интента: услуга с услугой, район с районом;
• сопоставимые показы и позиции: в одном коридоре, а не страница с тысячей показов против страницы с десятью;
• одинаковый тренд до старта: за 8–12 недель до теста обе страницы пары двигались одинаково;
• нет перелинковки и каннибализации между группами: если страница теста ссылается на страницу контроля или спорит с ней за запрос, эффект перетечёт в контроль, и разница пропадёт.

Как считать разницу

Вывод делают не по росту теста, а по разнице изменений теста и контроля. Пример: за шесть недель до изменения тестовая группа получила 2 000 кликов, контрольная — 2 100; за шесть недель после — 2 600 и 2 300. Тест вырос на 30 %, контроль — на 9,5 %. Эффект изменения — не тридцать процентов, а отношение роста теста к росту контроля: 1,30 / 1,095 ≈ 1,19, то есть около 19 % сверх того, что тест получил бы без изменения (2 600 против ожидаемых примерно 2 190). Сезон, апдейты и всё, что действовало на сайт целиком, контроль вычел.

Когда эффект есть

Разница в 19 % ещё ничего не доказывает, пока неизвестно, сколько гуляет отношение теста к контролю само по себе. Это видно до старта: возьмите 8–12 недель до изменения и посмотрите, как по неделям менялось отношение кликов теста к кликам контроля. Если оно гуляло в пределах ±7 %, эффект в 19 % выходит за коридор; если в пределах ±25 % — не выходит, и тест на такой выборке ничего не покажет. Тот же приём проверяет сам дизайн: если до старта отношение теста к контролю стабильно растёт или падает, группы набраны плохо.

Правило решения записывается до старта: эффект — если разница изменений выше заданного порога и вне коридора периода до изменения, по итогу всего срока, а не одной недели. Порог 10–15 % и срок 4–6 недель — ориентиры практики для страниц сайта услуг, а не правило поисковых систем.

Если результат неоднозначный

Чаще всего результат будет именно таким: разница есть, но в пределах коридора, или выше коридора, но ниже порога. Здесь работает правило главы 27 о цене ошибки.

• Изменение дешёвое и безвредное — сниппеты, цены, контакты: оставить и распространить, но без ярлыка «доказано». В журнале — «эффект не подтверждён, оставлено по цене ошибки».
• Изменение дорогое — переписывание сотен страниц, закупка, перестройка структуры: не тиражировать; повторить тест со сменой групп или запустить на половине раздела с возможностью отката.
• Изменение для людей — понятнее цена, быстрее ответ: оставить независимо от поиска, если растут заявки.

Размер выборки

Формулы для посетителей не переносятся на страницы: здесь единица — страница, а не человек, страниц мало, трафик неравномерен, на одну страницу может приходиться половина кликов группы. Рабочие ориентиры практики:

• в каждой группе — не меньше десяти-пятнадцати страниц и не одна-две страницы, которые дают основной трафик;
• кликов в каждой группе столько, чтобы коридор отношения теста к контролю за период до старта был заметно уже ожидаемого эффекта;
• если страниц и кликов на это нет, тест не даст вывода. Тогда решение по цене ошибки и возможности отката, а не по эксперименту. На маленьком сайте часть гипотез проверить нельзя вообще, и честнее сказать это владельцу, чем провести тест, который ничего не докажет.

Срок и момент отсчёта

Срок отсчитывается не от выкладки, а от момента, когда робот увидел изменение: это видно по логам сервера и по дате последнего обхода в проверке адреса в панелях вебмастеров. Дальше — по механизму. Сниппет в Google меняется после переобхода, и Google может показать не ваш заголовок, а собранный им самим: перед выводом посмотрите, что в выдаче показывается на самом деле. В Яндексе изменения страниц, по позиции книги, видны через один-два апдейта после переобхода. Изменения, которые работают через поведение и ссылки, — месяцы.

Останавливать тест раньше срока, потому что «уже видно», нельзя: на коротком отрезке случайные колебания выглядят как эффект чаще, чем кажется. Продлевать — только если условие продления записано до старта, например «если в середине теста пришёлся апдейт, продлить на четыре недели».

Метрика: что именно сравнивать

Средняя позиция в панелях зависит от того, по каким запросам страница показывалась: если появился новый хвост низкочастотных запросов на дальних местах, средняя позиция «ухудшится», хотя по главным запросам страница выросла. Поэтому позиции и кликабельность сравнивают по фиксированному набору запросов, выбранному до старта. Клики — по группе целиком. Заявки — по страницам входа и с поправкой на всё, что влияет на них помимо поиска.

Сквозные изменения

Шаблон всех страниц, меню, подвал, хостинг, протокол — изменения, у которых нет контрольной группы на том же сайте. Их проверяют поэтапно: выкатывают по разделам с интервалом в несколько недель, и ещё не изменённые разделы работают как контроль. Уверенность такого вывода ниже, чем у теста по парам, и это нужно записать.

Контекстная реклама как самый быстрый тест

Две вещи можно проверить, не дожидаясь поиска: работает ли посадочная страница и есть ли спрос. Для обеих подходит контекстная реклама — не как канал, а как инструмент проверки.

Порог такого теста задаётся в кликах, а не в днях. Чтобы различить конверсию посадочной 5 % и 6,5 %, нужно около 3 800 кликов на каждую версию — при обычных требованиях к уверенности вывода. При цене клика 300–500 ₽ в бытовых услугах Москвы это 2–4 млн ₽: тест на тонкую разницу почти никогда не окупается. Реклама хорошо различает грубое: версию, которая даёт 2 %, и версию, которая даёт 6 %, — там хватает нескольких сотен кликов.

Со спросом так же. Ноль заявок за неделю — не вывод: если ожидаемая конверсия 5 %, ноль заявок на 60 кликах случается примерно в одном случае из двадцати и при живом спросе. Ноль заявок на 300 кликах — уже сигнал, что спроса нет или предложение не то. Порог считают до запуска: сколько кликов нужно, чтобы отсутствие заявок что-то значило, и сколько это стоит.

Рекламная аудитория — не то же самое, что органическая: другие запросы, другой момент решения. Конверсия рекламного трафика — ориентир для органики, а не её прогноз. И реклама не поднимает органику сама по себе: это утверждение без основания, разобранное в главе о поведенческих факторах — там же пример теста, который выглядел как эффект рекламы на поиск и не имел контрольной группы.

Что мешает чистоте эксперимента: сезонность, обновления, чужие действия, в том числе атаки

Контрольная группа снимает большую часть помех, но не все.

Возврат к среднему — самая коварная помеха, потому что она выглядит как здравый смысл. Мы улучшаем страницы, которые просели в прошлом месяце. Часть из них просела случайно — колебания, переобход, неудачная неделя — и в следующем месяце вернётся сама. «Эффект» гарантирован и не имеет отношения к улучшению. Защита одна: контроль, набранный из таких же просевших.

Параллельные изменения — самая частая. Тест, во время которого на сайте шли другие работы, почти всегда даёт неоднозначный ответ. На время теста группы страниц замораживаются, и это записывается в журнал вместе с датой и именем того, кто согласовал заморозку.

Пример: уверенный вывод, который оказался сезонностью

Вернусь к клининговой компании из начала главы: двенадцать бригад, генеральная уборка, мытьё окон, уборка после ремонта, сайт на триста страниц по типам помещений и районам. Гипотеза была разумной: в сниппетах не было ни цены, ни срока, и заголовки с «от 4 900 ₽ за однушку, приедем завтра» выглядели лучше старых.

Ошибок в проверке было три. Контрольной группы не было. В тест выбрали страницы, которые в феврале просели сильнее остальных, — их тянуло вверх и без вмешательства. И срок совпал с сезоном.

Когда я разобрал данные задним числом, картина вышла такой. Тридцать переписанных страниц выросли по переходам на 40 %, двести семьдесят непереписанных — на 37 %. Год назад за тот же период те же тридцать страниц, тоже после февральской просадки, выросли на 38 %, остальные — на 35 %. Февральская просадка у этих страниц повторяется каждый год — это их собственный сезон; возврат к среднему и сезон здесь неотличимы, и сравнение год к году по той же группе снимает оба. Разница в 3 пункта есть и в году без изменений; эффект сниппетов неотличим от нуля. По заявкам — тот же результат: со страниц теста их стало больше ровно настолько же, насколько с остальных. Трафик ≠ результат, и решение о бюджете надо было принимать по заявкам.

Переписывание остальных двухсот семидесяти страниц стоило около девяноста тысяч рублей — это ошибка дешёвая: сниппеты полезны людям и без поиска. Дорогой оказалась другая ветка. Урезанная на треть реклама в июне недодала около пятидесяти заявок при среднем чеке около шести тысяч рублей — порядка трёхсот тысяч выручки за месяц, пока бюджет не вернули.

Решение бизнеса: бюджет рекламы не трогать по выводам из поиска без проверки на заявках; следующий тест — по парам и с коридором. Двадцать пар страниц, жребий внутри пар, порог 15 % по кликабельности в Google по фиксированному набору запросов, десять недель до старта для коридора — отношение теста к контролю гуляло в пределах ±6 %. Через шесть недель после того, как робот увидел изменения, кликабельность теста выросла на 12 % относительно контроля, позиции обеих групп не сдвинулись, в Яндексе измеримого эффекта не было. Двенадцать процентов — вне коридора, но ниже порога. По правилу неоднозначного результата: изменение дешёвое, его оставили на всём сайте с пометкой в журнале «эффект около 12 % по кликабельности в Google, ниже порога; на позиции и Яндекс не влияет».

Накопление своих данных: что фиксировать постоянно, чтобы эксперимент был возможен

Эксперимент невозможен без истории. Чтобы сравнить год к году, нужен прошлый год; чтобы понять, что изменилось, нужен журнал; чтобы увидеть, что робот увидел правку, нужны логи. Всё это собирается заранее: задним числом не восстанавливается.

Владелец журналов — SEO: он отвечает за то, чтобы они велись. Записывают все, кто меняет сайт и его окружение: разработка — релизы, маркетинг — цены и бюджеты, руководитель продаж — изменения в работе с заявками. Журнал, который ведёт один человек по памяти, через полгода бесполезен.

Это работа на часы в месяц, а не на дни, и её почти никто не делает. Поэтому через год после старта у большинства проектов нет ответа на вопрос «что из сделанного сработало». У владельца, который настоял на журналах и выгрузках, этот ответ есть, и он стоит дороже любого аудита. Журнал гипотез заодно защищает от главной ошибки команд — фразы «мы это уже пробовали, не работает», сказанной о тесте без контрольной группы на трёх страницах в августе.

Личная система обучения: источники, проверка, своя база наблюдений

Специалист, который учится только по чужим текстам, через пять лет знает много фольклора. Специалист, который учится только на своих проектах, знает мало, зато точно. Рабочая система сочетает оба источника и держит их раздельно.

• Первоисточники — по правилам главы 27: справка с датой, материалы в оригинале.
• Свои эксперименты — журнал гипотез и результатов.
• Своя база наблюдений — короткие записи: что увидел, на каком проекте, когда, какого уровня уверенности. Через год из них складываются закономерности, которых нет ни в одной книге.
• Сырые данные коллег. Обмен выводами даёт фольклор, обмен данными — знание. Таблицы выгрузок с обезличенными страницами и запросами, договорённость о том, что данные не уходят дальше, — и две компании из разных ниш проверяют больше гипотез, чем каждая в одиночку.

Как проверить чужой вывод на своих данных. Перевести его в гипотезу по форме этой главы. Оценить, хватает ли у вас страниц и кликов, чтобы проверить. Если хватает — поставить в план на квартал; если нет — решить по цене ошибки и записать, что вывод не проверен. Реалистичный темп для сайта услуг на несколько сотен страниц — один-два теста в квартал: больше не даст ни трафик, ни заморозка изменений.

И последнее: учиться на провалах больше, чем на успехах. Успех редко объясним — слишком много совпало. Провал почти всегда объясним, и объяснение переносится на следующий проект. Разборы таких случаев — в главе о провалах.

Мифы

• «Сделали — выросло — значит, сработало». Без контрольной группы рост может быть сезоном, апдейтом или возвратом к среднему. Вывод — по разнице изменений теста и контроля.
• «В SEO можно сделать A/B-тест, как на лендинге». Тест для людей проверит конверсию страницы. Влияние на поиск так не проверить: у страницы для робота одна версия. Для поиска делят страницы.
• «Уже через неделю видно, работает или нет». Через неделю видно колебание. Срок задаётся заранее и отсчитывается от момента, когда робот увидел изменение.
• «Мы это пробовали — не работает». Если пробовали без контроля, на трёх страницах и в неудачный сезон, вывода нет ни в одну сторону.
• «Чем больше изменений сразу, тем быстрее результат». Тем меньше понятно, что дало результат и что ему мешало.
• «Неделя рекламы покажет, есть ли спрос». Покажет, если кликов достаточно. Ноль заявок на шестидесяти кликах случается и при живом спросе.
• «На маленьком сайте тоже можно всё проверить». Нельзя: на десятке страниц и единицах заявок эффект не отличить от шума. Там решают по цене ошибки.

Что запомнить

Гипотеза до данных → одно изменение → пары страниц и жребий → коридор до старта, порог и срок записаны заранее → заморозка остального → отсчёт от момента, когда робот увидел изменение → вывод по разнице изменений теста и контроля → запись в журнал с датой.

Базового урока у этой главы нет.