Почему сайт не индексируется в Google: диагностика по доказательствам

Сначала отчет Search Console

Сначала поймите, что именно отсутствует. URL может быть в индексе, но не показываться по нужному коммерческому запросу, это уже вопрос позиций. Он может быть известен Google, но еще не загружен. Может быть загружен, но Google выбрал другой основной адрес. Для каждого случая нужны свои доказательства.

Статусы отчета об индексировании

Ниже статусы из справки об отчете индексирования и то, что нужно проверить дальше.

Google прямо пишет, что не стоит ждать индексации каждого URL. В счетчике отчета есть старые редиректы, технические адреса и дубли. Проверяйте свой список целевых страниц, цвет отчета целиком мало что значит.

URL Inspection

Поиск по оператору site не заменяет проверку URL. В ней видны время последнего обхода, разрешены ли обход и индексация, canonical, заданный вами, и canonical, выбранный Google. Все это относится к версии из последнего обхода. Живой тест загружает страницу сейчас, и Google в справке пишет, что ни один тест не дает уверенности, что страница попадет в индекс.

Выберите страницы для расследования

Возьмите по одной-две важные страницы каждого шаблона, например услугу, статью, кейс и языковую версию. Добавьте страницу, которая уже в индексе, для контроля. Если проблема у всего шаблона, переписывать тексты по одному бесполезно. Если сломан один раздел, глобальная правка robots.txt создаст новые ошибки.

Дальше идите по дереву диагностики и останавливайтесь на первом подтвержденном дефекте.

1. 1Сервер отдает публичному посетителю 200 и нужный текст? Если нет, разбирайте ответы сервера и защиту.
2. 2URL открыт в robots.txt? Если нет, решите, нужен ли запрет.
3. 3Нет noindex в HTML и в заголовке X-Robots-Tag? Если есть, найдите, кто его ставит.
4. 4Canonical, ссылки и sitemap указывают на этот адрес? Если нет, согласуйте сигналы.
5. 5Основной текст и ссылки есть после отрисовки JavaScript? Если нет, смотрите рендеринг.
6. 6Страница не дублирует другую и решает свою задачу? Если дублирует, объединяйте.
7. 7Все пункты в порядке, а статус не меняется? Смотрите журналы сервера и ждите обработки.

HTTP, robots и noindex

Проверяйте адрес без авторизации и старых cookie. Сохраните ответ на GET-запрос, цепочку редиректов, заголовки и HTML. HEAD-запрос и зеленая галочка в мониторинге не показывают, что увидел робот.

Ответ сервера

По документации Google об HTTP-ошибках содержимое страниц с ответом 4xx не используется, а уже проиндексированные такие URL удаляются из индекса. Ответы 5xx и 429 заставляют робота замедлить обход, и при долгих ошибках URL выпадают. Ответ 200 тоже не гарантия, пустая страница или сообщение об ошибке с кодом 200 попадет в отчет как ложная 404. По редиректам Google проходит до 10 переходов, 301 и 308 считает сильным сигналом, 302 и 307 слабым.

robots.txt и noindex

robots.txt управляет обходом и не убирает страницу из Google. Закрытый URL может попасть в выдачу без описания, если на него ссылаются. Чтобы страница не индексировалась, нужен noindex, и по справке о блокировке индексации страница при этом не должна быть закрыта в robots.txt, иначе робот директиву не увидит.

Проверьте и meta robots в HTML, и HTTP-заголовок X-Robots-Tag. Заголовок может ставить сервер или плагин кеша, и редактор CMS его не видит. Защиту служебных разделов не снимайте, пока не выяснили, зачем она стоит.

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

Canonical и обнаружение URL

По правилам консолидации дублей редирект и rel=canonical Google считает сильными сигналами, а наличие в sitemap слабым. Google все равно может выбрать другую основную страницу, если содержание похоже. Для канонизации robots.txt не используют.

Сверьте, куда указывают внутренние ссылки, sitemap, редиректы и canonical. Русская статья не должна без причины ссылаться canonical на главную или на английскую версию. Для международных сайтов отдельно нужна настройка hreflang, она работает только вместе с согласованными canonical.

Как Google находит страницу

Страница без входящих внутренних ссылок может долго оставаться необнаруженной. Google переходит только по ссылкам в теге a с атрибутом href, навигация через JavaScript-обработчики без href не годится. Большие наборы новых адресов отдавайте через sitemap, Google сам советует так делать.

JavaScript

По основам JavaScript SEO Google обрабатывает такие страницы в три этапа, обход, отрисовку и индексацию, и отрисовка может стоять в очереди. Если в исходном HTML есть noindex, Google может не дойти до отрисовки, и скрипт, который потом удаляет директиву, не поможет. Сравните исходный HTML и HTML после отрисовки. Сам по себе JavaScript индексации не мешает.

Серверные логи и подлинность Googlebot

Строку User-Agent подделать легко, поэтому запись Googlebot в журнале ничего не доказывает. Google описывает проверку обратным DNS-запросом с прямой перепроверкой либо сверкой IP со списками адресов, которые публикует Google. После этого сопоставьте время, URL и код ответа с данными URL Inspection.

Если в доступном куске журнала нет визитов Googlebot, это может значить, что журнал неполный. Уточните у хостинга, сколько дней хранятся логи и пишет ли CDN свои отдельно. Регулярный разбор логов и мониторинг можно автоматизировать, подход описан в статье об автоматизации технического SEO.

Содержание и дубли

Когда техника в порядке, а страница остается в статусе "просканирована, не проиндексирована", смотрите на содержание. Сравните страницу с соседними по шаблону. Карточки, которые отличаются одним словом в заголовке, Google может посчитать дублями и оставить в индексе одну. Объединяйте близкие страницы или добавляйте каждой свои данные, например цены, условия, примеры, ответы на вопросы.

Медленный сервер тоже бьет по индексации. Статус "обнаружена" Google объясняет тем, что обход мог перегрузить сайт, а ошибки 5xx и 429 замедляют сканирование. Проверьте время ответа сервера и не раздувайте обход фильтрами и параметрами URL.

Ручные меры проверьте в отчете о мерах, принятых вручную. Google сообщает о них там и в центре сообщений Search Console. Нет сообщения, значит, нет оснований говорить о санкциях или теневом бане.

Комментарий Q2 AgencyВ Q2 мы не советуем менять домен или дизайн, пока причина не найдена. Если на новом домене останутся те же запреты, пустые шаблоны и дубли, переезд только добавит редиректы и новые адреса, которые Google придется обработать заново.

Карточка инцидента для разработчика

Скопируйте таблицу в задачу и заполните по одной карточке на дефект. В поле дефекта пишите установленное расхождение. Название статуса из отчета туда не подходит, оно описывает симптом.

Такие карточки удобно собирать в ходе SEO-аудита сайта, где их сразу группируют по шаблонам.

Когда отправлять URL на повторную проверку

Отправляйте после того, как исправили подтвержденный дефект и повторили тест из карточки. По справке о повторном обходе у ручной отправки есть дневная квота, повторные запросы одного URL обход не ускоряют, а сам обход занимает от нескольких дней до нескольких недель. Для большого числа адресов отправьте sitemap.

Правку принимайте по повторному тесту дефекта. Изменение статуса в индексе проверяйте отдельно, после обработки. Если нужна помощь с диагностикой, закажите SEO-аудит, мы начнем с выборки шаблонов и журналов.