3.2.1Дубликаты: какой тип дубля перед вами и чем его лечить

Владелец сервиса получает отчёт аудита: «найдено 3 400 дублей». Месяц уходит на то, чтобы обнулить эту цифру: отчёт становится зелёным, трафик не меняется. А две страницы одной и той же услуги, которые маркетолог когда-то сделал «под разные запросы», продолжают меняться местами в выдаче, и ни одна не поднимается выше второй страницы. Краулер их не нашёл: тексты и заголовки разные. Для поисковой системы это всё равно дубль, и он обходится дороже трёх тысяч технических.

Дубли — самая частая техническая проблема и одна из самых неверно понятых. Ошибаются в обе стороны: одни лечат тысячи безвредных копий, другие не видят нескольких дорогих. Определение дублей страниц и механика выбора основного адреса — в главе о том, как устроен поиск: система склеивает похожие страницы на этапе обработки и оставляет в индексе одну.

Чем вредны дубликаты

Самая распространённая формулировка — «за дубли наказывают». С неё начинается большинство неверных решений. Фильтр поисковой системы — санкция поисковика за нарушение правил: накрутку поведенческих факторов, покупные ссылки, переоптимизированные тексты. Сайт теряет позиции на всём сайте или его части. Технические копии страниц нарушением не являются: Google прямо пишет в справке, что некоторое количество дублей на сайте — нормальное явление и не нарушает его правил. Яндекс в справке тоже говорит не о наказании, а о последствиях. Их четыре.

Система выбирает не ту страницу. Из группы похожих адресов в поиске остаётся один, и выбирает его поисковая система, а не вы. Если она выбрала адрес с параметром, версию для печати или страницу из второстепенного раздела, в выдачу попадает именно она — иногда без формы заявки. Это главный вред и единственный, который напрямую стоит денег.

Сигналы размываются. Внешние ссылки, переходы, поведение людей распределяются между копиями. Пока копии не склеены, ни одна не набирает полного веса, а трафик в аналитике разбросан по нескольким адресам, и результат страницы не посчитать.

Расходуется обход. Каждую копию робот должен скачать и сравнить. На сайте в двести страниц это ничего не стоит; там, где копий в десятки раз больше, чем страниц, они отнимают обход у новых и изменённых страниц. Как это считать — в главе 1, управление обходом — в главе об индексации и обходе.

Страницы конкурируют — это каннибализация запросов из главы о спросе и интенте. Признак в панелях вебмастеров: по одному запросу в разные недели показываются разные адреса, позиция скачет на десяток мест. Чаще всего её рождают не технические дубли, а смысловые — две страницы под одну задачу человека. Как она возникает при распределении запросов — в главе о спросе и интенте и в уроке «Кластеризация».

Остальное — фольклор: дубли не «понижают траст сайта» и не копят штрафные баллы. Адрес с косой чертой и без неё, если внутренние ссылки ведут на один вариант, обычно склеивается без вашего участия. Сотни адресов с рекламными метками, по которым никто не ходит, — шум в отчёте аудитора. Формула главы 1 работает здесь в полную силу: техническая ошибка ≠ проблема. Дубль становится проблемой, когда в поиске оказывается не та страница, когда две страницы делят один спрос или когда копии отнимают обход у нужных страниц. Если ничего из этого не происходит, дубль можно лечить заодно, при следующей работе над шаблоном.

Отсюда первое распределение ответственности. Найти дубли и сказать, какие из них — проблема, — работа SEO. Устранить технические — работа разработки, и делается она в шаблоне и на сервере, а не на каждой странице руками. Смысловые дубли создаёт и устраняет бизнес: только он решает, нужны ли ему две страницы, и только он знает, чем они на самом деле отличаются.

Классификация

Классифицировать дубли стоит не ради порядка в отчёте. От типа зависит лечение, и почти каждая дорогая ошибка здесь — правильный инструмент, применённый к чужому типу: canonical на страницу с другим содержимым, перенаправление с адреса, который нужен посетителю, запрет обхода для страницы, которую надо склеить. Типы задаются четырьмя осями, и каждый дубль лежит на всех четырёх сразу.

Полные и частичные

Полный дубль — одно и то же содержимое по разным адресам: та же страница со слешем и без, с параметром и без. Частичный — страницы, у которых совпадает большая часть: список с разной сортировкой, страница и её печатная версия. Полный дубль система склеит почти наверняка; с частичным решает сама, и решение может меняться от обновления к обновлению базы.

Технические и смысловые

Технический дубль создаёт сайт: система управления сайтом (CMS) — программа, через которую сайт редактируют без правки кода, — фильтр, счётчик, отсутствующее перенаправление. Его никто не задумывал, и лечится он без владельца бизнеса; многие CMS без настройки отдают одну страницу по нескольким адресам. Смысловой дубль создают люди: две страницы, которые для компании разные, а для поиска отвечают на одну задачу. «Замена смесителя» и «установка смесителя»; страница услуги и статья в блоге с той же ценой и той же кнопкой. Смысловой дубль — это две страницы под один интент, и позиция книги здесь жёсткая: один интент — одна страница. Страница под два интента проигрывает двум страницам под один, а две страницы под один интент проигрывают одной. Неверно, когда интенты неразделимы в выдаче — тогда одна страница с двумя блоками и проверкой по выдаче.

Внутренние и межсайтовые

Внутренние дубли живут на одном сайте. Межсайтовые — на разных: ваш текст на втором домене компании, на сайте партнёра, на агрегаторе или у конкурента, который его скопировал. Граница важна потому, что инструменты разные и системы расходятся. Перенаправление на чужом сайте вы не поставите. Canonical на другой домен Google учитывает, а Яндекс, по его справке, не учитывает ни на другом домене, ни на другом поддомене: что работает для одной системы, для другой не решение.

Дубли содержимого и дубли метаданных

Одинаковые заголовки и описания на страницах с разным содержимым — не дубли страниц. Это ленивый шаблон: сорок услуг с заголовком «Услуги сантехника — компания в Москве». На склейку он почти не влияет, но делает страницы неразличимыми в выдаче. Лечится шаблоном метаданных, не канонизацией. Если одинаковы и заголовки, и содержимое, это уже полный или почти-дубль. Как писать заголовки и описания — урок «Title, description и заголовки».

Таблица «тип дубликата → способ лечения»

Оси дают типы, типы дают лечение. Таблица — центральная схема главы, на неё опираются главы о структуре, региональности, миграциях и модули книги. Она описывает тип, а не платформу, и годится для сайта услуг, магазина и портала.

Таблица читается слева направо, а работает справа налево: увидели в плане работ лечение из правой колонки — проверьте, не применено ли оно к чужому типу.

Откуда берутся

Почти все технические дубли рождаются одним путём: сайт отвечает «страница есть» на адрес, на который должен был ответить «такой страницы нет» или «страница переехала». Поэтому перечень ниже — не перечень платформ, а перечень мест, где этот механизм срабатывает.

Адрес

Слеш, регистр, служебные файлы. Одна страница открывается с косой чертой на конце и без, с заглавными буквами и строчными, с именем служебного файла в адресе и без него. Поисковые системы часть таких вариантов склеивают сами, но правило одно: у страницы один рабочий адрес, остальные варианты перенаправляют на него.

Зеркала и поддомены. Тот же сайт с www и без, по http и https, на втором домене — зеркала; как их склеивать и что делать, если склеилось не то, — в главе об индексации и обходе. Туда же — технические поддомены и тестовые копии, не закрытые паролем.

Параметры и метки. UTM-метки — параметры в адресе ссылки (utm_source, utm_medium, utm_campaign и другие), по которым системы аналитики определяют источник, канал и кампанию перехода. Они нужны во внешних ссылках. Во внутренних они создают копии: баннер на главной ведёт на услугу с меткой, и у услуги появляется второй адрес со ссылкой с самой сильной страницы сайта. Яндекс пишет в справке, что большинство меток удаляет из адресов сам, но параметры метками не исчерпываются: сессии, партнёрские коды, параметры виджетов система заранее не распознает.

Шаблон и навигация

Сортировки, фильтры, вид списка. Один и тот же список по цене и по популярности, плиткой и строкой — разные адреса с одним набором позиций. Фильтры порождают дубли, когда разные комбинации дают один набор и когда порядок фильтров меняет адрес, но не содержимое. Для магазина это главный источник дублей и расхода обхода; на сайте услуг с каталогом работ — тоже, как в кейсе главы 1. Как устроить фасетную навигацию, чтобы она не плодила адреса, — в главе о структуре и перелинковке и в уроке «SEO интернет-магазина».

Пагинация. Вторая и следующие страницы списка — не дубли первой: на них другие позиции. Дублями их делают только повторяющийся вводный текст и одинаковые заголовки. Ошибка здесь чаще в лечении, чем в болезни.

Одна страница в двух разделах. Услуга «установка бойлера» лежит и в разделе «сантехника», и в разделе «отопление», а CMS строит её адрес от раздела, через который на неё пришли. Система выбирает основной адрес сама — иногда тот, на который ведёт меньше ссылок. В магазине так же ведёт себя товар в нескольких категориях.

Версии для печати, отдельные мобильные и ускоренные версии. Каждая — копия страницы по своему адресу. Версия для печати вредна особенно: выбранная основной, она приводит человека из выдачи на страницу без меню, телефона и формы. Отдельная мобильная версия при mobile-first индексации — источник расхождений, разобранных в главе о скорости, рендеринге и мобильных.

Служебные страницы CMS. Теги, архивы по датам, страницы авторов, поиск по сайту повторяют анонсы основных страниц. На небольшом сайте их десятки, на портале — тысячи.

Решения людей

Шаблонные региональные страницы. Страница услуги, размноженная на города, округа или районы с заменой названия. Это почти-дубль в чистом виде.

Страницы «под запрос». Новая страница, сделанная, чтобы «закрыть» формулировку, на которую уже отвечает существующая: «цена», «недорого», «под ключ», «срочно». Каждая такая страница — смысловой дубль, если выдача по этой формулировке та же, что по основной.

Копии на чужих площадках. Компания копирует в профиль на агрегаторе услуг описания услуг с сайта, партнёр берёт статью «с указанием источника», дилер выкладывает каталог производителя. У площадки сильнее домен, и по вашему же тексту выше оказывается она.

Копирование конкурентами. В нише бытовых услуг тексты, цены и фотографии работ копируют постоянно. Для поисковой системы это межсайтовый дубль, в котором надо определить первоисточник. Обычно она определяет его верно; когда копирующий сайт сильнее и проиндексирован раньше, выбор может быть не в вашу пользу. Здесь копирование рассматривается как источник дублей; когда это атака — глава о санкциях и атаках.

Пример: шаблон CMS и версия для печати

Один из клиентов — служба мелкого бытового ремонта: сборка мебели, навеска, установка техники. Сайт на распространённой CMS, около 140 страниц, из них 62 — услуги. Жалоба была типичной: из Google заявок заметно меньше, чем из Яндекса, при сравнимых позициях.

Краулер нашёл около 2 300 адресов, отвечающих «страница есть». Источники были все сразу: услуги в двух разделах, версия для печати у каждой страницы, оба варианта слеша, метки в баннерах главной, страницы тегов блога.

Проблемой оказались две вещи. Для 19 услуг Яндекс выбрал основным адрес из второстепенного раздела, куда не вело ссылок из меню. В Google у шести услуг в выдаче стояла версия для печати — без шапки, телефона и кнопки вызова мастера; конверсия этих страниц из Google была в пять раз ниже, чем из Яндекса. Остальные две тысячи с лишним адресов не мешали ничему, кроме отчёта.

Лечили по таблице, в шаблоне: у услуги остался один адрес, второй перенаправлял на него; версию для печати убрали — печать стали делать стилями страницы; один вариант слеша перенаправлял на другой; метки сняли с баннеров; теги без спроса закрыли от индексации. Работа разработчика — три дня, SEO — день на постановку и проверку.

Через пять недель в Яндексе все 19 услуг стояли в поиске под нужными адресами, в Google исправление дошло недель через восемь. Заявки со страниц услуг из органики выросли за два месяца с 58 до 71 в месяц, и почти весь прирост дали шесть страниц, которые Google перестал показывать в печатном виде. Поставь задачу по отчёту аудитора — «дубли» закрыли бы запретом обхода, печатные страницы остались бы в выдаче без содержимого, а 19 услуг так и жили бы по чужим адресам.

Способы устранения

Способов семь: канонизация, перенаправление, запрет индексации, склейка, объединение страниц, переработка содержимого и удаление. Первые четыре — работа разработки по постановке SEO, объединение и переработка — работа SEO и бизнеса с содержанием, удаление страницы, которая кому-то казалась нужной, — решение бизнеса. Почти любой из них правилен для одного типа и вреден для соседнего, поэтому вместо рецептов — три вопроса по каждому дублю, в этом порядке.

1. Это одно и то же по смыслу или разное? Проверка — по выдаче: если по запросам обеих страниц выдача одна, интент один. Тогда страницы объединяют, и никакая разметка не сделает две одинаковые страницы разными. Если интенты разные, а страницы выглядят одинаково, лечить нужно не адреса, а содержание: развести страницы так, чтобы поисковая система увидела разницу.
2. Нужен ли этот адрес человеку? Если нет — посетителю не нужна версия со слешем, печать, второй путь к той же услуге, — адрес должен исчезнуть. Если нужен — сортировка, метка в рекламной ссылке, фильтр, — адрес остаётся, а поисковой системе сообщается, какой из адресов основной.
3. Есть ли у дубля сигналы, которые жалко потерять? Внешние ссылки, трафик, история в выдаче. Если есть — лечение должно их передать: перенаправление или canonical. Если нет — подойдёт и запрет индексации, и удаление.

Перенаправление

301-редирект (глава об индексации и обходе) — самый надёжный способ, потому что не подсказка: робот и человек физически попадают на основной адрес. Google называет его сильным сигналом, Яндекс — основным способом устранения дублей. Применять — когда адрес-дубль человеку не нужен. Ошибки — перенаправление с адреса, у которого есть функция, цепочки перенаправлений и перенаправление на страницу, которая не отвечает на запрос исходной: система может посчитать его удалением страницы. Временное перенаправление для склейки не годится: оно говорит, что страница вернётся. Коды и их различия — в техническом справочнике (П1) и в уроке «Коды ответа сервера, 404 и битые ссылки».

Канонизация

Canonical, как сказано в главе 1, — подсказка, а не приказ: обе системы прямо пишут об этом в справке. Его место — дубли, которые должны остаться доступны человеку: параметры, сортировки, метки, товар в двух категориях, если от второго адреса нельзя отказаться. Работает он, только когда страницы действительно похожи и остальные сигналы с ним не спорят: внутренние ссылки и карта сайта ведут на основной адрес, а тот отвечает «страница есть» и открыт для индексации. Ошибки: canonical на страницу с другим содержимым, со всех страниц на главную (типовая поломка шаблона), на адрес с перенаправлением или закрытый от индексации, на дубле, запрещённом к обходу, — робот его не увидит.

Для параметров у Яндекса есть свои инструменты — правило Clean-param и настройка GET-параметров в Вебмастере (глава об индексации и обходе), canonical для него — запасной вариант; у Google таких инструментов нет, и остаются canonical и внутренние ссылки без параметров.

Запрет индексации и запрет обхода

Noindex убирает страницу из поиска, но ничего не склеивает: сигналы закрытой страницы основному адресу не передаются. Он уместен там, где передавать нечего: служебные страницы CMS, внутренний поиск, теги без спроса. Для выбора основной версии Google в справке прямо советует не использовать ни noindex, ни запрет в robots.txt. Запрет обхода — инструмент экономии обхода, а не лечения дублей; проиндексированная страница после него может остаться в выдаче без содержимого (глава 1). Синтаксис — в уроке «robots.txt, sitemap.xml и метатег robots» и в П1.

Склейка

Склейка — перенаправление на уровне всего сайта: зеркала, второй домен, старый домен после переезда. Отличие — в масштабе ошибки: склеилось не то зеркало, и весь сайт в выдаче под адресом, который вы не продвигаете. Склейка зеркал — в главе об индексации и обходе, переезды — в главе о миграциях.

Объединение страниц

Главный способ для смысловых дублей. Из двух-трёх страниц под один интент остаётся одна — та, у которой сильнее сигналы и лучше адрес; в неё переносится всё полезное из остальных; остальные постоянно перенаправляют на неё. Это работа с содержанием, а не с адресами: перенаправьте две страницы на третью, не перенеся содержимое, — и часть их запросов уйдёт вместе с ними. Ошибка — объединять страницы, у которых выдача разная: тогда вы теряете интент, под который не осталось страницы.

Переработка содержимого

Способ для страниц, которые должны остаться разными, но выглядят одинаково: почти-дубли, страницы смежных услуг, статья и услуга на одну тему. Страницу переписывают так, чтобы она отвечала на свой интент и отличалась от соседки фактами, а не словами. Ошибка — переработка ради уникальности текста: синонимы, переставленные абзацы, текст, переписанный моделью «своими словами».

Удаление

Удаление — ответ сервера «страницы нет», коды разобраны в главе об индексации и обходе, — честный способ для дублей, у которых нет ни сигналов, ни спроса, ни функции: страницы-копии, сгенерированные шаблоном, мусорные адреса. Удалять — вместе со ссылками на них из меню, карты сайта и шаблонов, иначе робот найдёт их снова. Ошибка — удалять страницу, у которой есть внешние ссылки или трафик: её надо перенаправить.

Пример: четыре страницы одной услуги

Компания по электромонтажу в квартирах, сайт около 90 страниц, работает пятый год. Владелец спросил, почему «замена проводки в квартире» — главная услуга — в Яндексе не держится в первой десятке.

По панелям вебмастеров за квартал по этим запросам показывались четыре адреса: страница услуги, раздел «Электромонтажные работы» с половиной того же текста, страница «Цены на замену проводки», которую предыдущий подрядчик сделал, «чтобы закрыть запрос с ценой», и статья в блоге о стоимости замены с той же таблицей цен и той же кнопкой. Позиция скакала от четвёртой до девятнадцатой. В Google по коммерческому запросу показывалась статья: её читали и уходили.

Выдача по «замене проводки» и по «цене замены проводки» оказалась одной и той же: сайты компаний с ценой на странице услуги. Один интент — одна страница. Страницу цен объединили со страницей услуги — таблица цен, расчёт по площади и типу дома, примеры смет, — с её адреса поставили постоянное перенаправление: на него вели три купленные ссылки, и их сигналы сохранились. Раздел переписали в обзорную страницу со ссылками на все услуги, без текста о проводке. Статью — под информационный запрос: как понять, что проводку пора менять, из чего складывается стоимость, — без таблицы цен и со ссылкой на услугу.

Через два обновления поисковой базы Яндекс показывал по запросам о замене проводки один адрес, позиция установилась между третьей и шестой. Заявки с этой группы запросов выросли за три месяца с 11 до 24 в месяц. Статья в Google ушла с коммерческого запроса на информационные — переходов меньше, но тех, ради которых она написана. Ошибка в этой истории — страница цен: её сделали, чтобы закрыть запрос, а она отняла позиции у страницы, которая уже его закрывала. Цена на странице обязательна — на той странице, которая продаёт.

Почти-дубли и шаблонные страницы

Самая тонкая часть темы — страницы формально уникальные, а фактически неразличимые. Пятьдесят районных страниц с разными заголовками и первыми абзацами. Сорок карточек товара, отличающихся цветом. «Ремонт однушки», «ремонт двушки», «ремонт трёшки» с одним прайсом и одной галереей. Проверка уникальности не назовёт их дублями, а поисковая система назовёт — или проиндексирует часть и не покажет ни одну.

Порог различимости

Уникальность текста — доля текста, которая не совпадает с другими страницами в интернете, по проверке сервисами-антиплагиатами. Сама по себе позиций не даёт: поисковик оценивает, отвечает ли текст на запрос, а не процент уникальности. Поисковая система сравнивает не слова, а ответ: что человек узнает здесь такого, чего не узнает на соседней странице. Если ответ тот же, страница — почти-дубль при любом проценте антиплагиата.

Порог различимости проверяется тестом подмены. Замените на странице название района на соседний. Если страница осталась верной — те же цены, сроки, фотографии, отзывы, — она неразличима, и системе незачем держать в индексе обе. Если стала неверной — другие адреса работ, другая застройка, другое время приезда, — у страницы есть собственное содержание. Различать страницы должно основное содержимое: блоки, общие для всего сайта, система относит к шаблону.

Системы относятся к таким страницам по-разному, итог один. Яндекс, по его справке, страницы на региональных поддоменах с одинаковым содержимым дублями не считает; на практике неразличимые региональные страницы — и в папках, и на поддоменах — признаются малоценными или просто не поднимаются. Google в правилах о спаме прямо называет злоупотреблением страницы под города и регионы, ведущие человека к одному и тому же, — это уже риск санкций, а не только склейки.

Как делать шаблонные страницы, чтобы они не схлопывались

Шаблон сам по себе не порок: тысячи карточек магазина по одному шаблону ранжируются. Схлопываются страницы, у которых шаблон — всё, что есть. Рабочее правило — три условия.

• Спрос. Страница создаётся под сочетание, которое ищут: «сантехник в Марьино» — да, если такой запрос есть и за ним заявки; страница на каждый из ста двадцати пяти районов Москвы — нет. Проверка — по выдаче и по своим заявкам, а не по списку районов. Позиция книги по регионам: один город — папки или одна региональная страница на услугу; районные страницы — только при спросе и фактах.
• Факты, которых нет на соседней странице. Цена или её отличия, время приезда, примеры работ с адресами до улицы или жилого комплекса, типовая застройка и её проблемы, отзывы клиентов отсюда, бригада, которая сюда выезжает. Всё это знает только бизнес.
• Достаточно фактов, чтобы пройти тест подмены. Одного отзыва с названием улицы мало: страница держится на случайности, как в истории с двумя городами из главы 1.

Если не набирается ни спроса, ни фактов, страница не нужна. Это решение бизнеса, и его тяжело принять: кажется, что теряется «охват». Охвата не было — неразличимые страницы и так не показывались.

Пример: пятьдесят две районные страницы

Сервис сантехников с двенадцатью бригадами на востоке и юго-востоке Москвы. Два года назад за один вечер сделали по шаблону с заменой названия 46 районных и 6 окружных страниц. Когда они не пошли, подрядчик «уникализировал» тексты: переписал каждую страницу до 95 % уникальности.

Через четыре месяца после переписывания в индексе Яндекса — 9 страниц из 52, остальные исключены как малоценные или дубли и то выпадали, то возвращались. В Google проиндексировано около тридцати, переходов на все вместе — несколько десятков в месяц. Главная страница услуги «сантехник в Москве» начала делить запросы с окружными страницами и потеряла устойчивость в выдаче.

Решение начали не с текстов, а с заявок. В CRM за четыре года было около 7 800 вызовов с адресами. Районов, где вызовов было больше полутора сотен и где был запрос в поиске, нашлось одиннадцать; окружных страниц оставили две — по двум округам, где стояли базы бригад. Для тринадцати страниц владелец с диспетчером собрали то, что знает только сервис: время приезда из ближайшей базы, примеры работ с адресами до улицы и фотографиями, типовые дома района и их проблемы — старые стояки в пятиэтажках, разводка в новостройках конкретных жилых комплексов, — цены выезда, если они отличались, и отзывы клиентов из района. Это месяц работы диспетчера и выезды фотографа. Из остальных 39 страниц те, у которых были переходы или внешние ссылки, перенаправили на ближайшую оставшуюся или на главную страницу услуги, прочие удалили вместе со ссылками из меню и карты сайта.

Через три месяца все 13 страниц стояли в индексе обеих систем и больше не выпадали, 10 из них получали переходы из поиска. Заявки с районных страниц выросли с 4 до 17 в месяц, главная страница услуги вернулась на прежние позиции. Владелец сначала спорил с удалением: «пусть висят, есть не просят». Они просили — делили спрос с главной. Деньги на «уникализацию» пятидесяти двух текстов ушли впустую: уникальность была, различий не было.

Как находить

Поиск дублей — разовая работа с регулярным контролем. Позиция книги по техническому аудиту действует здесь буквально: один раз в порядок и раз в квартал контроль; непрерывное «техническое SEO» на малом сайте — расход. Неверно, когда сайт большой и меняется разработкой каждую неделю: тогда дубли появляются с каждым релизом, и контроль встраивается в приёмку изменений. Порядок проверки — от дешёвого к дорогому.

1. Сравнить три числа. Сколько страниц должно быть в поиске, сколько адресов знают поисковые системы и сколько запрашивает робот по логам сервера — записям сервера о каждом запросе, в том числе от роботов. Если второе и третье в разы больше первого, технические дубли есть, и логи покажут откуда.
2. Прочитать статусы в панелях. В Яндекс Вебмастере исключённые дубли получают статус «Дубль» (в справке — «Страница дублирует содержание другой страницы»); при дублях из-за параметров адреса Вебмастер показывает отдельное предупреждение в диагностике сайта. В Search Console важнее всего статус «Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают»: это список страниц, где система выбрала не ваш адрес. Как читать отчёты — урок «Яндекс Вебмастер и Google Search Console».
3. Пройти сайт краулером. Группы адресов с одинаковыми заголовками и содержимым, canonical на перенаправления и ошибки, внутренние ссылки на неосновные адреса.
4. Проверить шаблоны руками. Открыть страницу со слешем и без, с заглавной буквой, с произвольным параметром, через второй раздел, в версии для печати — и посмотреть, что отвечает сервер. Десять минут на тип страницы — и известно поведение шаблона на всём сайте.
5. Найти смысловые дубли по запросам. Краулер их не видит. Видят панели вебмастеров: запросы, по которым в разные периоды показывались разные адреса сайта, и страницы, у которых общие запросы. Каждую такую пару проверяют по выдаче: одна выдача — один интент.
6. Найти межсайтовые копии. Фрагмент текста в кавычках в поиске и сервисы проверки уникальности — для ключевых страниц, а не для всего сайта.

Инструменты внутри своего класса взаимозаменяемы, важен порядок. Как встроить проверку дублей в общий аудит — чек-лист аудита (П2).

Мифы

• «За дубли накладывают фильтр». Технические дубли — не нарушение правил ни в Яндексе, ни в Google. Вред от них — в другом, он разобран в начале главы. Исключение — массовые шаблонные страницы под города и районы, которые ведут человека к одному и тому же: Google в правилах о спаме называет их злоупотреблением.
• «Canonical — команда». Это подсказка, и обе системы пишут об этом прямо: если страницы не похожи или остальные сигналы указывают на другой адрес, система выберет сама.
• «Почти-дубль лечится уникальностью». Система сравнивает ответ, а не слова: текст с теми же фактами, переписанный до 95 % уникальности, остаётся почти-дублем. Лечат факты, которых нет на соседней странице.
• «Отчёт аудита без дублей — сайта без дублей». Краулер находит технические копии, но не видит смысловых: у двух страниц одной услуги разные тексты и заголовки. Их показывают только запросы в панелях вебмастеров и выдача.
• «Страницы пагинации — дубли первой». На них другие позиции. Canonical со всех страниц списка на первую лишает робота пути к товарам и материалам с дальних страниц; Google в справке прямо советует так не делать.
• «Скопировали текст — надо переписать свой». Первоисточник система обычно определяет верно, а переписывание после каждой кражи только сбрасывает историю страницы. Если копия систематически выигрывает — жалобы по авторскому праву; если это часть атаки — глава о санкциях и атаках.
• «Чем больше страниц под районы и синонимы, тем больше трафика». Неразличимые страницы делят спрос, а не умножают его. Пятьдесят две страницы без фактов дают меньше, чем тринадцать с фактами.

Что запомнить

Найден дубль → определить тип → лечить по типу.

• Одна выдача у двух страниц → смысловой дубль → объединение + постоянное перенаправление.
• Выдачи разные, страницы похожи → почти-дубль → факты по тесту подмены; нет ни спроса, ни фактов → удаление.
• Тот же документ, адрес человеку не нужен → постоянное перенаправление; весь сайт → склейка зеркал.
• Тот же документ, адрес нужен (параметр, сортировка, метка) → Яндекс: Clean-param или настройка GET-параметров, Google: canonical.
• Ни функции, ни сигналов → noindex или удаление вместе со ссылками.

Полная разводка — таблица «тип дубликата → способ лечения» в разделе «Классификация». Технические дубли — зона разработки по постановке SEO, за них можно отвечать сроками. Смысловые и почти-дубли — зона бизнеса: только он знает, чем страницы отличаются. Какую страницу оставит поисковая система и что сделают с вашим текстом конкуренты — граница влияния: повлиять можно, гарантировать нельзя. Если в плане работ дубли считают тысячами, а смысловых среди них нет ни одного, искали не там.

Базовый уровень этой главы — урок «Дубли, canonical и редиректы»; таблица «тип дубликата → способ лечения» дальше работает в главе о структуре и перелинковке (фильтры и навигация), в главе о региональности (страницы городов и районов) и в главе о миграциях (что становится дублем при переезде).