Если сайт выпал из индекса Яндекса целиком или большая часть страниц пропала из поиска, причина почти всегда одна из пяти: запрет индексации, недоступность сервера, ошибки в ответах страниц, нарушения правил поиска или заражение сайта. Найти её помогает Яндекс Вебмастер: там видно, какие страницы исключены и по какой причине. Ниже — порядок диагностики и действия, которые помогают вернуть страницы в поиск.
Как понять, что сайт действительно выпал из индекса
Сначала отделите выпадение из индекса от падения позиций. Это разные проблемы: в первом случае страниц нет в поиске вообще, во втором они есть, но стоят ниже.
- Введите в поисковой строке Яндекса оператор
site:вашдомен.ru. Если результатов нет или их заметно меньше, чем страниц на сайте, — проблема с индексом. Оператор даёт примерную картину, точные данные — в Вебмастере. - Откройте Яндекс Вебмастер и посмотрите график страниц в поиске. Резкий обрыв указывает на дату, с которой начались проблемы.
- Найдите в поиске точное название своей компании или уникальную фразу с главной страницы. Если главной нет даже по названию — дело серьёзное.
Если сайт ещё не добавлен в Вебмастер, начните с этого — инструкция в статье как добавить сайт в Яндекс Вебмастер. Без него диагностика превращается в угадывание.
Основные причины выпадения из индекса
Запрет в robots.txt
Самая частая и самая обидная причина. Файл robots.txt может закрыть весь сайт одной строкой. Так бывает после переноса с тестового сервера, обновления плагина SEO или ручной правки. Проверьте файл по адресу вашдомен.ru/robots.txt и инструментом анализа robots.txt в Вебмастере.
Метатег noindex или заголовок X-Robots-Tag
Страница может быть закрыта в коде. Откройте исходный код страницы и найдите строку:
<meta name="robots" content="noindex, nofollow">Если она есть на страницах, которые должны быть в поиске, её нужно убрать. В WordPress проверьте настройку видимости для поисковых систем и настройки SEO-плагина для типов записей.
Сервер отдаёт ошибки
Если робот несколько раз подряд получает ошибку 5xx или не может дождаться ответа, страницы со временем исключаются. Ошибки 500, 502, 504 и их причины разобраны в статье ошибки 500, 502 и 504.
Неправильный canonical и редиректы
Если на всех страницах canonical указывает на главную, Яндекс посчитает их неканоническими и оставит в поиске только одну. Похожий эффект дают цепочки редиректов и редирект всех страниц на главную после смены структуры.
Нарушения и санкции
За поисковый спам, переоптимизированные тексты, дорвеи, скрытый текст или накрутку поведенческих факторов Яндекс может понизить сайт или исключить его страницы. Информация об этом появляется в разделе диагностики и нарушений в Вебмастере.
Взлом сайта
Злоумышленники могут добавить скрытые ссылки, редирект посетителей с поиска или сгенерировать тысячи спам-страниц. Яндекс помечает такие сайты как опасные и может убрать их из выдачи.
Дубли и малоценные страницы
Если на сайте много пустых, почти одинаковых или неинтересных пользователям страниц, Яндекс исключает их как малоценные или маловостребованные. Это не выпадение всего сайта, но может составлять большую часть страниц.
Таблица: причина исключения и что делать
| Что видно в Вебмастере | Что это значит | Что делать |
|---|---|---|
| Страница запрещена в robots.txt | Робот не может её обходить | Убрать лишний Disallow, проверить файл в Вебмастере |
| Запрещена метатегом noindex | Страница закрыта в коде | Удалить метатег или изменить настройки SEO-плагина |
| Ошибка HTTP 4xx | Страница не найдена или запрещена | Восстановить страницу или настроить 301-редирект |
| Ошибка HTTP 5xx / недоступна | Сервер не отвечает или падает | Разобраться с хостингом, нагрузкой, ошибками кода |
| Неканоническая страница | Canonical указывает на другой адрес | Проверить и исправить rel=»canonical» |
| Дубль | Содержимое совпадает с другой страницей | Убрать дубли, настроить редиректы или canonical |
| Малоценная или маловостребованная | Яндекс не видит пользы страницы | Доработать содержимое, объединить, закрыть лишнее |
Формулировки в интерфейсе Вебмастера могут меняться, но смысл причин остаётся тем же.
Пошаговая диагностика
- Проверьте уведомления в Вебмастере за последние два-три месяца. Сообщения о недоступности, нарушениях и безопасности — самые важные.
- Откройте раздел диагностики и посмотрите критичные ошибки.
- Изучите список исключённых страниц и сгруппируйте их по причине. Обычно одна причина объясняет большинство исключений.
- Проверьте ответ сервера для нескольких важных страниц инструментом проверки ответа сервера в Вебмастере. Нормальный ответ — 200 OK.
- Проверьте robots.txt и метатеги robots на ключевых страницах.
- Проверьте canonical в коде главных шаблонов: главная, категория, карточка, статья.
- Убедитесь, что сайт не заражён: сравните, как сайт выглядит при заходе напрямую и при переходе из поиска с мобильного.
- Вспомните последние изменения: обновления, переезд, смену темы, новый плагин.
Совет: в консоли браузера или через сервисы проверки ответа сервера смотрите не только код ответа, но и итоговый адрес. Редирект на главную вместо 404 — частая скрытая причина исключения страниц.
Быстро проверить ответ страницы можно и из командной строки:
curl -I https://вашдомен.ru/stranica/В ответе должна быть строка с кодом 200, без заголовка X-Robots-Tag: noindex.
Как вернуть страницы в индекс
После того как причина устранена, нужно помочь роботу быстрее увидеть исправления.
- Обновите sitemap.xml: в нём должны быть только рабочие канонические страницы с ответом 200.
- Отправьте sitemap в Вебмастер, если не делали этого раньше.
- Отправьте важные страницы на переобход через соответствующий инструмент Вебмастера. Количество страниц в сутки ограничено, поэтому выбирайте главные: главную, ключевые услуги, категории.
- Если были нарушения, после исправления сообщите об этом через Вебмастер — там есть кнопка для отправки сайта на перепроверку.
- Следите за графиком страниц в поиске раз в несколько дней.
Сроки возвращения зависят от размера сайта и причины. Технические проблемы обычно уходят быстрее, санкции снимаются после перепроверки и не мгновенно. Обещать точную дату нельзя.
Если сайт был взломан
При подозрении на взлом последовательность другая: сначала безопасность, потом индекс.
- Смените пароли от хостинга, панели управления, FTP, базы данных и админки.
- Найдите и удалите вредоносный код, проверьте пользователей с правами администратора.
- Обновите CMS, тему и плагины.
- Удалите спам-страницы и отдайте для них код 404 или 410.
- Отправьте сайт на перепроверку безопасности в Вебмастере.
Подробный порядок действий — в статье что делать, если сайт взломали.
Как не потерять индекс в будущем
- Настройте уведомления Вебмастера на почту — о проблемах вы узнаете в тот же день.
- Проверяйте robots.txt после каждого переноса и обновления SEO-плагина.
- Держите резервные копии и тестовую копию сайта для экспериментов.
- Не удаляйте страницы с трафиком без редиректа.
- Раз в месяц смотрите отчёт об исключённых страницах.
Мы в Pear Advert в рамках сопровождения проверяем эти пункты регулярно, потому что исправить ошибку в первый день гораздо проще, чем через месяц.
Частые вопросы
Сколько времени Яндекс возвращает страницы в поиск?
От нескольких дней до нескольких недель после исправления причины, иногда дольше. Многое зависит от того, как часто робот посещает сайт. Переобход и актуальный sitemap.xml помогают ускорить процесс.
Сайт есть в Google, но нет в Яндексе. В чём дело?
Проверьте, нет ли в robots.txt отдельных правил для робота Яндекса, нет ли нарушений в Вебмастере и не заблокирован ли робот на уровне хостинга или защиты от ботов. Подробнее общие причины разобраны в статье почему сайт не индексируется.
Нужно ли заново добавлять сайт в Вебмастер?
Нет, если права на сайт подтверждены. Но если при переезде сменилась версия сайта (например, появился HTTPS или сменился домен), нужно добавить новую версию и проверить главное зеркало.
Можно ли попросить Яндекс вернуть сайт быстрее?
Можно отправить страницы на переобход и, если были нарушения, запросить перепроверку. Обратиться в поддержку стоит, если причина исключения непонятна после всех проверок.
Если не хотите разбираться сами — закажите поддержку сайта: мы найдём причину выпадения из индекса, исправим её и проследим, чтобы страницы вернулись в поиск.
