Индексация сайта: почему страниц нет в поиске и как ускорить

Сайт сдан, тексты написаны, кнопки нажимаются. Проходит месяц, вы вбиваете в Яндекс название своей компании и не находите половину страниц. Каталог есть, а в поиске его нет. Ощущение, будто платили за витрину, которую закрыли фанерой.

Между «страница существует» и «страница участвует в поиске» лежит отдельный процесс. Он называется индексацией, идёт без вашего участия и ломается тихо: никто не присылает уведомление о том, что робот развернулся на пороге.

Разбираем по справкам Яндекса и Google: как проверить, что вообще попало в индекс, из-за чего страницы туда не доходят, какими инструментами ускорить обход и что делать, если целый раздел выпал из поиска.

Что происходит между публикацией и поиском

Коротко. Сначала робот узнаёт адрес страницы, потом скачивает её содержимое, потом решает, брать ли её в базу. Индексация — это третий шаг, и до него доходят не все.

Путь страницы в поиск состоит из трёх участков, и на каждом она может застрять. Сначала поисковик должен узнать, что такой адрес существует: из карты сайта, из ссылки на другой странице, из счётчика аналитики. Потом робот приходит и скачивает содержимое. Только после этого страница попадает в очередь на включение в базу.

Скачивание и включение в базу — разные вещи, и путаница между ними стоит людям недель. Робот может исправно ходить по адресу, но не брать его в поиск, потому что содержимое дублирует соседнюю страницу или не несёт самостоятельной ценности.

Сроки тут неспешные. Справка Яндекса про переобход описывает картину прямо: отправленные страницы попадают в очередь, робот заходит на них в течение примерно трёх дней, а обновлённые данные появляются в поиске в течение двух недель. То есть даже при ручной отправке результата в тот же день ждать не стоит.

Ещё одно частое заблуждение: раз адрес есть в карте сайта, страница обязана попасть в поиск. Карта сайта — это подсказка, а не распоряжение. Поисковик читает её как список рекомендаций и сам решает, что брать и в какой очерёдности.

Как проверить, что уже в индексе

Коротко. Смотреть надо в кабинетах вебмастера. Оператор site в строке поиска покажет голый список, кабинет назовёт причину, по которой страница из него выпала.

В Яндекс Вебмастере нужный отчёт лежит в разделе «Индексирование», подраздел «Страницы в поиске». Там видно, сколько адресов участвует в выдаче, сколько добавилось и сколько ушло за последнюю неделю, и главное — по какой причине ушло.

Причины исключения формулируются по-человечески: недостаточно качественная страница, дубль, ошибка сервера, запрет в robots.txt. Половина проблем диагностируется прямо здесь, без сторонних сервисов. Если кабинет ещё не заведён, начните с разбора, как добавить сайт в Яндекс Вебмастер.

В Google Search Console аналог называется «Индексирование страниц». Отчёт делит адреса на проиндексированные и непроиндексированные, а внутри второй группы раскладывает по причинам: страница с переадресацией, обнаружена и пока не проиндексирована, заблокирована в robots.txt.

Две системы считают по-разному, и складывать их цифры бессмысленно. У Яндекса в индексе может быть 340 страниц, у Google 290, и оба числа верные. Сравнивать имеет смысл каждую систему саму с собой во времени: выросло, упало, стоит на месте.

Технические причины, по которым робот не доходит

Коротко. Чаще всего виноваты четыре вещи: запрет в robots.txt, метатег noindex, канонический адрес на другую страницу и ошибки сервера.

Начинать диагностику стоит с запретов, потому что они выключают страницу целиком и обнаруживаются за пять минут.

Что стоит на странице	Что делает робот	Где проверить
Disallow в robots.txt	Не заходит на адрес вовсе	Анализ robots.txt в Вебмастере
Метатег noindex	Заходит, но в базу не берёт	Исходный код страницы, поиск по noindex
rel=canonical на другой адрес	Считает страницу копией указанной	Исходный код, отчёт по каноническим адресам
Ответ сервера 404 или 500	Считает страницу несуществующей или сломанной	Проверка ответа сервера в Вебмастере
Редирект 301 или 302	Индексирует адрес назначения	Проверка цепочки переадресаций

Классика жанра — забытый запрет после разработки. Сайт делали на тестовом домене, закрыли от роботов целиком, выкатили на боевой и не сняли запрет. Страницы при этом открываются в браузере прекрасно, потому что запрет читают только роботы. Как устроены оба файла и что в них писать, разобрано в материале про robots.txt и sitemap.xml.

Вторая классика — канонические адреса, расставленные плагином по умолчанию. Плагин ставит canonical на главную со всех страниц, и сайт схлопывается в одну строчку выдачи. Проверяется поиском по исходному коду двух-трёх страниц.

Содержательные причины, по которым страницу не берут

Коротко. Робот дошёл, скачал и отказался. Обычно за этим стоит дубль, почти пустая страница или текст, который повторяет десяток соседних.

Эта группа причин неприятнее технической, потому что чинится не галочкой в настройках. Зато и встречается она у сайтов, где техника уже в порядке.

• Карточки товаров, отличающиеся только цветом и артикулом, с одинаковым описанием
• Страницы фильтров и сортировок, порождающие сотни почти одинаковых адресов
• Разделы услуг по городам, где меняется только название города в шести местах
• Пустые категории каталога без единой позиции внутри
• Страницы пагинации с повторяющимися заголовком и описанием
• Технические адреса с параметрами, доступные роботу наравне с основными

Отдельная тема — дубли, возникающие сами собой из-за настроек движка: со слешем и без, с www и без, с параметрами сортировки. Их находят и убирают по инструкции из статьи про дубли страниц. Пока они живы, робот тратит время на копии вместо нужных разделов.

Отдельно стоит группа страниц, которые робот честно отбраковывает по качеству. Формулировка в Вебмастере звучит как «недостаточно качественная страница», и обижаться на неё бесполезно. Это сигнал, что содержимое либо повторяет соседей, либо не отвечает ни на один вопрос человека.

Инструменты Яндекса для ускорения

Коротко. Три рычага: ручной переобход для единичных адресов, обход по счётчику Метрики для регулярной работы и IndexNow для мгновенного уведомления об изменениях.

Ручной переобход живёт в Вебмастере, раздел «Индексирование», пункт «Переобход страниц». Вы вставляете список адресов, они попадают в очередь. Суточный лимит ограничен и обновляется каждый день, поэтому загонять туда весь каталог бессмысленно.

Статусов у отправленной страницы три. «В очереди» означает, что робот придёт в ближайшие дни. «Обработано» — робот уже был, данные появятся в течение двух недель. «Ошибка» — страница не открылась, и тут вопрос к серверу.

1. Разовая правка на паре страницПереобход вручную. Отправили адреса, ждёте несколько дней, проверяете статус.
2. Регулярные обновления и новые материалыОбход по счётчику Метрики. Справка сама рекомендует его вместо ручной отправки при массовой работе.
3. Магазин с постоянно меняющимися ценамиIndexNow. Сайт сам сообщает поисковику об изменении конкретного адреса.
4. Новый раздел из десятков страницКарта сайта плюс ссылки из меню и соседних материалов. Без внутренних ссылок раздел выглядит для робота сиротой.

Обход по счётчику Метрики включается в паре мест: сначала счётчик привязывается к сайту в настройках Вебмастера, потом включается сам обход в разделе индексирования. После этого робот узнаёт о страницах, на которые заходят живые люди, даже если ссылок на них нет.

Инструменты Google и почему он медленнее

Коротко. В Search Console работает проверка URL с кнопкой запроса индексирования. Лимиты там жёстче, а очередь длиннее, поэтому массово через неё не работают.

Инструмент «Проверка URL» показывает, знает ли Google про адрес, когда он был просканирован, какой канонический адрес выбран и не мешает ли что-то индексированию. Оттуда же отправляется запрос на индексирование.

Google относится к запросам спокойнее Яндекса и на маленьких сайтах может тянуть неделями. Кнопка запроса тут помогает слабо. Работают карта сайта, внутренние ссылки и общая полезность материала. Про особенности площадки мы писали в статье про продвижение сайта в Google.

Разница в поведении двух систем видна на новых сайтах. Яндекс обычно забирает первые страницы за одну-две недели после подтверждения прав в Вебмастере. Google на молодом домене без внешних упоминаний может держать раздел в статусе «обнаружена» месяц и дольше, и это нормальное поведение, а не поломка.

Краулинговый бюджет: за что робот платит временем

Коротко. У робота ограниченный лимит обращений к вашему сайту. Если он тратит его на мусорные адреса, до нужных страниц очередь доходит нескоро.

Термин звучит академично, смысл бытовой. Робот заходит на сайт конечное число раз за период. Чем больше у сайта адресов и чем медленнее сервер, тем реже обновляется каждая отдельная страница.

Для сайта на сорок страниц это неважно. Для интернет-магазина с фильтрами, где движок порождает десятки тысяч комбинаций, это главная причина, по которой новые товары висят вне поиска месяцами.

Проверить, на что уходит внимание робота, можно в статистике обхода в Вебмастере. Там видно, сколько страниц он загрузил за день и какие коды ответа получил. Если в списке загруженных преобладают адреса с параметрами сортировки, а карточки товаров мелькают раз в месяц, диагноз поставлен.

Лечится расчисткой. Мусорные адреса закрываются от обхода, дубли схлопываются, скорость ответа сервера поднимается. Про последнее у нас есть отдельный разбор, как ускорить загрузку сайта: медленный сервер бьёт и по обходу, и по людям.

Что делать, если раздела нет в поиске

Коротко. Идите сверху вниз: сначала запреты, потом ответ сервера, потом содержание, потом ссылки. Отправлять на переобход имеет смысл в последнюю очередь.

Порядок действий важнее скорости. Отправить страницу на переобход можно за минуту, но если на ней стоит noindex, это ничего не изменит.

• Открыть страницу в режиме инкогнито и убедиться, что она отдаёт содержимое, а не ошибку
• Посмотреть исходный код на предмет noindex и канонического адреса на другую страницу
• Проверить robots.txt через анализатор в Вебмастере на конкретном адресе
• Найти страницу в отчёте «Страницы в поиске» и прочитать причину исключения
• Убедиться, что на неё ведут ссылки из меню, каталога или текстов других страниц
• Проверить, что адрес есть в карте сайта и карта отдаётся без ошибок
• Только после этого отправить на переобход и подождать две недели

И держите реалистичные ожидания по срокам. Даже когда всё исправлено, поиск обновляется не мгновенно: робот должен зайти, переоценить страницу и обновить базу. Три-четыре недели на полный цикл — обычная картина для небольшого сайта, а не признак того, что работы сделаны зря.

Отдельный случай — выпадение после переезда или смены структуры адресов. Там причина почти всегда в переадресациях, и разбирается она по инструкции из статьи про перенос сайта без потери позиций. Если страницы в индексе есть, а трафика нет, вопрос уже не к индексации: об этом мы писали в разборе, почему сайт не в топе.

Быстрый способ проверить сайт по технической части целиком — наш интерактивный чек-лист. А базовую механику поиска, если термины пока путаются, мы разложили в материале про SEO простыми словами.

Если разбираться некогда, оставьте заявку на бесплатный экспресс-аудит. Посмотрим, что в индексе, что выпало и по какой причине, и назовём порядок работ. Мы ведём SEO-продвижение и разработку сайтов одной командой, поэтому техническую правку не придётся заказывать на стороне. Телефоны и адрес — на странице контактов.