Чаще всего сайт не индексируется из-за технического запрета — закрывающего robots.txt, тега noindex, ошибок сервера или неправильного canonical. Реже причина в том, что поисковик считает страницы малоценными или дублями, а иногда — в санкциях. Найти точную причину помогают Яндекс Вебмастер и Google Search Console: они прямо пишут, почему страница исключена.
Сначала уточните: что именно не индексируется
«Сайт не индексируется» — это три разные ситуации с разными причинами:
- Весь сайт отсутствует в поиске. Почти всегда технический запрет, недоступность сервера, свежий домен или жёсткие санкции.
- Часть страниц не попадает в индекс — например, карточки товаров или статьи блога. Обычно это дубли, слабый контент, плохая перелинковка.
- Страницы то появляются, то пропадают. Типично для «малоценных» страниц в Яндексе и для нестабильного хостинга.
Быстрая проверка — оператор site:example.ru в поисковой строке Яндекса и Google. Он показывает приблизительное число страниц в индексе. Точные данные — только в панелях вебмастеров, поэтому, если сайт ещё не подключён к ним, начните с этого.
Технические причины: запреты и ошибки
1. Запрет в robots.txt
Классика после запуска: разработчики закрыли тестовую версию строкой Disallow: /, а при переносе на боевой домен её забыли убрать. Откройте example.ru/robots.txt и проверьте. В Вебмастере есть «Анализ robots.txt», где можно проверить конкретные URL.
2. Тег noindex или заголовок X-Robots-Tag
В WordPress в «Настройки» → «Чтение» есть галочка «Попросить поисковые системы не индексировать сайт» — её часто оставляют включённой. В SEO-плагинах noindex может стоять на целых типах записей. Проверьте исходный код страницы на <meta name="robots" content="noindex">.
3. Ошибки ответа сервера
Страница должна отдавать код 200. Коды 5xx, долгие ответы и таймауты заставляют робота уходить ни с чем. Проверьте инструментом «Проверка ответа сервера» в Вебмастере и «Проверкой URL» в Search Console. Если ошибки плавающие — вероятно, не справляется хостинг.
4. Неверный canonical
Если на всех страницах каталога canonical указывает на главную или на первую страницу раздела, поисковик послушно проиндексирует только её. Это частая ошибка шаблонов и плохо настроенных плагинов.
5. Цепочки редиректов и «мягкие 404»
Несколько редиректов подряд или страница «товар не найден», отдающая код 200, путают робота. Первое тратит краулинговый бюджет, второе засоряет индекс пустыми страницами.
6. Контент, который рендерится только скриптом
Если текст и ссылки появляются только после выполнения JavaScript, робот может их не увидеть или увидеть с задержкой. Google рендерит JS, Яндекс тоже умеет, но надёжнее, когда основной контент и навигация есть в исходном HTML. Особенно актуально для сайтов на SPA-фреймворках без серверного рендеринга.
Бонус: медленный или перегруженный хостинг
Робот ограничивает скорость обхода, если сервер отвечает медленно, — чтобы не «уронить» сайт. В итоге крупный каталог может месяцами индексироваться частями. Проверьте время ответа в Вебмастере («Статистика обхода») и в Search Console («Настройки» → «Статистика сканирования»). Если время ответа заметно растёт в часы пик, стоит оптимизировать сайт или сменить тариф. Для сайтов, собирающих персональные данные россиян, по 152-ФЗ их первичная обработка должна идти на серверах в РФ — учитывайте это при выборе хостинга.
Структурные причины: робот не находит страницы
7. Страницы-сироты
Если на страницу не ведёт ни одна внутренняя ссылка, робот узнаёт о ней только из Sitemap — и считает её неважной. Так бывает с посадочными страницами под рекламу, старыми статьями, товарами из глубоких фильтров.
8. Ошибки в Sitemap
В карте сайта должны быть только канонические страницы с кодом 200. Если там половина адресов с редиректами или закрытых от индексации, поисковики начинают меньше доверять файлу. Проверьте, что Sitemap обновляется автоматически при публикации новых страниц.
9. Глубокая вложенность
Страницы, до которых от главной больше четырёх-пяти кликов, робот посещает реже. Решение — плоская структура, хлебные крошки, блоки «похожие товары» и «читайте также», продуманное меню.
Контентные причины: робот нашёл, но не взял
10. Дубли
Одинаковые страницы по разным адресам: с параметрами сортировки и UTM-метками, со слешем и без, версии для печати, одинаковые карточки товаров, отличающиеся только цветом. Поисковик выбирает одну, остальные исключает. Лечится canonical, директивой Clean-param в robots.txt для Яндекса, склейкой или уникализацией.
11. «Малоценные или маловостребованные страницы»
Это статус в Яндекс Вебмастере. Он означает, что страница, по мнению алгоритма, не отвечает на запросы пользователей лучше уже имеющихся в поиске. В Google похожая ситуация выглядит как «Страница просканирована, но пока не проиндексирована». Типичные случаи:
- карточки товаров из одного названия, фото и цены;
- теговые страницы блога без уникального текста;
- страницы услуг «под каждый город» с заменённым названием города;
- тексты, сгенерированные нейросетью без редактуры и без реальной экспертизы.
Помогает не «добавить текста», а сделать страницу полезнее: характеристики, ответы на вопросы, фото, отзывы, цены, условия доставки. Как это сделать для товаров, мы разбирали в статье о карточке товара, которая продаёт.
Санкции и нарушения
12. Фильтры поисковых систем
Если трафик и число страниц в индексе резко упали без технических изменений, проверьте «Безопасность и нарушения» в Вебмастере и «Меры, принятые вручную» в Search Console. Поводы для санкций: накрутка поведенческих факторов, покупные ссылки, переоптимизированные тексты, вредоносный код на взломанном сайте, агрессивная реклама. Устранив нарушение, отправьте запрос на перепроверку — в Вебмастере для этого есть кнопка в самом уведомлении.
Отдельный случай — новый домен. Первые недели он может индексироваться медленно просто потому, что поисковики мало о нём знают. Это не санкции, но и не повод ждать сложа руки: Sitemap, Метрика, ссылки из соцсетей и справочников ускоряют знакомство.
Порядок диагностики: от простого к сложному
| Шаг | Что проверить | Где |
|---|---|---|
| 1 | Критичные ошибки и уведомления | Вебмастер → «Диагностика»; Search Console → обзор |
| 2 | robots.txt и noindex | Анализ robots.txt; исходный код страницы |
| 3 | Код ответа и скорость сервера | «Проверка ответа сервера», «Проверка URL» |
| 4 | Причины исключения страниц | «Страницы в поиске» → «Исключённые»; «Индексирование страниц» |
| 5 | Sitemap и внутренние ссылки | «Файлы Sitemap»; краулер вроде Screaming Frog |
| 6 | Качество и уникальность контента | Ручной анализ и сравнение с конкурентами из топа |
| 7 | Санкции | «Безопасность и нарушения»; «Меры, принятые вручную» |
После исправлений отправьте ключевые страницы на переобход в Вебмастере и запросите индексирование в Search Console. Изменения в индексе обычно видны в течение нескольких дней или недель, в зависимости от размера сайта.
Частые вопросы
Сколько времени нужно новой странице, чтобы попасть в индекс?
Единого срока нет: на хорошо индексируемом сайте с активной перелинковкой это может быть день-два, на новом домене — недели. Ускоряют процесс ссылки с уже проиндексированных страниц, обновлённый Sitemap и ручная отправка адреса на переобход.
Страница в индексе Google, но нет в Яндексе. Почему?
У поисковиков разные алгоритмы оценки качества. Чаще всего Яндекс относит такую страницу к «малоценным». Посмотрите причину в Вебмастере и сравните страницу с конкурентами в выдаче Яндекса: чего не хватает — цен, фото, характеристик, ответов на вопросы.
Помогут ли сервисы «быстрой индексации»?
Сторонние сервисы, обещающие мгновенно загнать страницы в индекс, не устраняют причину исключения. Если страница техническим образом закрыта или считается малоценной, её либо не возьмут, либо быстро исключат снова. Надёжнее исправить первопричину.
Сайт на Tilda: есть ли специфические причины?
Да. Проверьте, что в настройках проекта не включён запрет индексации, страницы опубликованы, а у каждой заданы свои заголовок и описание в разделе SEO. Тестовые страницы-дубли лучше удалить или снять с публикации, чтобы они не конкурировали с основными и не засоряли индекс.
Нужно ли удалять из индекса лишние страницы?
Да, служебные страницы, результаты поиска по сайту, корзину, дубли с параметрами лучше закрыть от индексации. Чем меньше мусора в индексе, тем лучше поисковик оценивает сайт в целом и тем чаще робот посещает действительно важные страницы.
Если причина не находится за час или проблем несколько сразу, лучше провести полноценный технический аудит. Pear Advert проверит сайт, составит список исправлений и при необходимости сам их внедрит в рамках SEO-продвижения или поддержки сайта — от 5 000 ₽ в месяц за базовый тариф. Стоимость SEO называем после бесплатного аудита.
