Дубли страниц на сайте: как найти и убрать без потери позиций

Дубли страниц — это одинаковое или почти одинаковое содержимое, доступное по разным адресам. Чтобы их убрать без потери позиций, нужно найти все варианты адресов, выбрать для каждой страницы основной URL и связать остальные с ним через 301-редирект, тег canonical или правила для GET-параметров — в зависимости от типа дубля. Удалять страницы «вслепую» нельзя: так легко потерять именно ту версию, которая была в поиске.

Почему дубли вредят сайту

Когда одна и та же страница доступна по нескольким адресам, поисковой системе приходится выбирать, какую из них показывать. Это приводит к нескольким проблемам:

• в выдачу попадает не та версия, например адрес с параметрами сортировки вместо основной категории;
• позиции «скачут», потому что поисковик периодически меняет основную страницу;
• ссылочный вес распыляется между копиями;
• робот тратит время на обход копий, а новые страницы индексируются медленнее;
• в Яндекс Вебмастере копии попадают в список исключённых страниц как дубли.

Сами по себе технические дубли обычно не являются нарушением правил, но они мешают продвижению и создают путаницу в аналитике.

Какие бывают дубли

Полные технические дубли

Одна и та же страница открывается по разным адресам:

• с www и без: www.site.ru и site.ru;
• по http и https;
• со слешем на конце и без: /catalog/ и /catalog;
• с index.php или index.html в адресе;
• в разном регистре: /Catalog/ и /catalog/.

Дубли из-за GET-параметров

Метки рекламы (utm, yclid, gclid), сортировка, фильтры, пагинация, параметры сессий. Например, /catalog/?sort=price показывает тот же набор товаров, что и /catalog/.

Дубли, которые создаёт CMS

Товар доступен в нескольких категориях по разным путям, страницы тегов и архивов в блоге повторяют записи, версии для печати, страницы вложений в WordPress.

Частичные (смысловые) дубли

Разные страницы с почти одинаковым текстом: карточки товаров, отличающиеся только цветом, или страницы услуг под разные города с заменой одного слова. Они конкурируют между собой за одни и те же запросы.

Как найти дубли: пошагово

1. Проверьте главное зеркало. Наберите в браузере все варианты адреса главной: с www и без, http и https. Все должны перенаправлять на один вариант через 301.
2. Посмотрите отчёты Яндекс Вебмастера. В разделе о страницах в поиске есть список исключённых страниц с причинами, в том числе дубли. Там же видно, какую страницу Яндекс выбрал основной.
3. Посмотрите Google Search Console. В отчёте об индексировании страниц есть статусы вида «Страница является копией, канонический вариант не выбран пользователем» и похожие — по ним видно, где Google нашёл копии.
4. Просканируйте сайт краулером. Screaming Frog SEO Spider, Netpeak Spider и аналоги показывают страницы с одинаковыми title, H1, описаниями и одинаковым содержимым.
5. Проверьте поиском по сайту. Запрос с оператором site: и точной фразой из текста в кавычках помогает увидеть, сколько адресов с этим текстом в индексе.

Совет: начинайте с массовых причин. Один неправильно настроенный слеш может создать столько же дублей, сколько страниц на сайте, и исправляется одним правилом на сервере.

Способы устранения дублей

301-редирект

Подходит для полных технических дублей, когда копия не нужна пользователям. Например, перенаправление с http на https, с www на без www, со страниц без слеша на страницы со слешем. Пример для Apache в файле .htaccess:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.site.ru$ [NC]
RewriteRule ^(.*)$ https://site.ru/$1 [R=301,L]

Подробнее о настройке на разных серверах — в статье как сделать 301-редирект.

Тег canonical

Подходит, когда копия нужна пользователям, но не нужна в поиске: страницы сортировки, фильтры без самостоятельного спроса, товар в нескольких категориях. В код копии добавляется:

<link rel="canonical" href="https://site.ru/catalog/divany/">

Canonical — это подсказка, а не строгая команда: поисковик может его не учесть, если страницы сильно отличаются.

Директива Clean-param для Яндекса

Для параметров, которые не меняют содержимое (метки, идентификаторы сессий), Яндекс поддерживает директиву Clean-param в robots.txt:

User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Google эту директиву не поддерживает, для него используйте canonical.

Мета-тег noindex

Подходит для служебных страниц, которые не должны быть в поиске: результаты внутреннего поиска, корзина, личный кабинет. Важно: страницу с noindex не нужно одновременно закрывать в robots.txt, иначе робот не увидит сам тег.

Переработка содержимого

Для смысловых дублей технические методы не помогут. Нужно либо объединить похожие страницы в одну, либо сделать каждую действительно уникальной: свой текст, свои примеры, цены, ответы на вопросы.

Какой способ выбрать: таблица

Тип дубля	Пример	Решение
Зеркала www / без www, http / https	www.site.ru и site.ru	301-редирект на главное зеркало
Слеш на конце	/catalog и /catalog/	301-редирект на единый формат
Рекламные метки	?utm_source=…	Clean-param для Яндекса, canonical
Сортировка и фильтры	?sort=price	canonical на основную категорию
Товар в нескольких категориях	/sofa/item/ и /sale/item/	Единый адрес товара или canonical
Служебные страницы	/search/?q=…	noindex
Похожие тексты	Услуга в разных городах	Переписать или объединить страницы

Как убрать дубли и не потерять позиции

1. Выясните, какая версия сейчас в поиске. Основным делайте тот адрес, который уже ранжируется и на который ведут ссылки, а не тот, который кажется красивее.
2. Не удаляйте страницы с трафиком. Если копия приносит посетителей, ставьте с неё 301-редирект, а не отдавайте 404.
3. Меняйте поэтапно. Сначала зеркала и слеши, затем параметры, затем контент. Так проще понять, какое изменение на что повлияло.
4. Обновите внутренние ссылки и sitemap.xml. В меню, карточках и карте сайта должны быть только основные адреса.
5. Следите за отчётами Вебмастера и Search Console в течение нескольких недель после изменений.

Мы в Pear Advert при техническом аудите проверяем дубли одним из первых пунктов: часто это самая быстрая доработка с заметным эффектом для индексации. Если хотите пройти сайт самостоятельно, воспользуйтесь чек-листом технического аудита сайта.

Как предотвратить появление новых дублей

• Закрепите единый формат URL на уровне сервера: протокол, www, слеш, нижний регистр.
• Настройте canonical по умолчанию в шаблонах CMS (в WordPress это делают популярные SEO-плагины).
• Перед запуском новых фильтров в каталоге решайте, какие из них нужны в поиске.
• Раз в квартал сканируйте сайт краулером.

Частые вопросы

Может ли сайт попасть под фильтр из-за технических дублей?

Обычно технические дубли не считаются нарушением, но они ухудшают индексацию и ранжирование. Массовые смысловые копии, созданные ради охвата запросов, поисковики могут считать малополезным контентом.

Что лучше — 301-редирект или canonical?

Если копия не нужна людям, используйте 301: это более сильный сигнал. Если страница нужна посетителям (сортировка, фильтр), используйте canonical.

Можно ли закрыть дубли в robots.txt?

Можно для служебных разделов, но это не лучший способ для страниц, которые уже в индексе: робот перестанет их посещать и не увидит ни редиректа, ни canonical. Google при этом может оставить такие адреса в выдаче без описания.

Как быстро дубли исчезнут из поиска?

После исправления поисковикам нужно заново обойти страницы. Обычно это занимает от нескольких дней до нескольких недель в зависимости от размера сайта.

Итог

Дубли страниц появляются почти на каждом сайте, особенно с каталогом. Найдите их через панели вебмастера и краулер, определите основной адрес для каждой группы и выберите подходящий способ: редирект, canonical, Clean-param, noindex или переработку текста. Главное правило — не удалять страницы, которые уже приносят трафик, а аккуратно перенаправлять их.

Если не хотите разбираться сами — закажите SEO-продвижение в Pear Advert: проведём технический аудит, уберём дубли и настроим сайт так, чтобы они не появлялись снова.