Причина 1: Сайт закрыт от индексации в файле robots.txt
Проблема: В файле robots.txt может стоять директива Disallow: /, которая запрещает поисковикам сканировать сайт. Как проверить: Перейдите по адресу вашсайт.ru/robots.txt и проверьте, нет ли запрета на весь сайт или важные разделы. Как исправить: Удалите или измените запрещающие директивы. После изменений — рекомендуем проверить индексацию сайта в Google Search Console, можно ли его сканировать.Причина 2: Ошибки в файле sitemap.xml
Проблема: Некорректный sitemap может мешать индексации — устаревшие URL, ошибки формата, недоступные страницы. Как проверить: Зайдите в Google Search Console → “Файлы Sitemap” и проверьте статус. Обратите внимание на количество проиндексированных vs. отправленных URL. Как создать корректный sitemap:- Используйте генераторы (например, через плагин Yoast, Screaming Frog или онлайн-сервисы).
- Включайте только актуальные и индексируемые страницы.
- Формат: .xml, без ошибок.
- Добавьте ссылку на sitemap в robots.txt и отправьте в GSC.
Причина 3: Медленная загрузка страниц
Обязательно нужно проверить скорость загрузки в Google. В этом же может крыться причина того, почему сайт не индексируется в Яндексе. Проблема: Если страницы грузятся слишком долго, Googlebot может не дождаться ответа и не проиндексировать сайт полностью. Как проверить: Используйте PageSpeed Insights или [Lighthouse] в Chrome. Обратите внимание на показатель Time to First Byte (TTFB) и общее время загрузки. Как ускорить сайт:- Включите сжатие (Gzip, Brotli)
- Оптимизируйте изображения
- Используйте кеширование
- Уменьшите количество и вес JS/CSS
- Перейдите на быстрый хостинг или CDN
Причина 4: Отсутствие или неправильные мета теги
Если Google не индексирует сайт, причиной могут быть отсутствующие или неправильные метатеги. Проблема: Если на страницах нет метатега <meta name="robots"> или он содержит директиву noindex, Google может исключить их из индекса. Как проверить: Откройте исходный код страницы (Ctrl+U) и найдите строку: <meta name="robots" content="noindex"> Если такая есть — страница закрыта от индексации. Как исправить: Удалите noindex или замените на index, follow Убедитесь, что шаблоны CMS не добавляют этот тег по умолчанию Перепроверьте страницы в Google Search Console → “Покрытие” → “Исключено” Корректные метатеги — залог доступности индексации сайта.Причина 5: Проблемы с дублированным контентом
Почему не индексируются страницы сайта – часто задаваемый вопрос. Причиной могут быть дубли контента. Google может не индексировать дубликаты страниц или выбрать одну, игнорируя остальные. Как устранить:- Настройте канонический тег (<link rel="canonical">)
- Объедините одинаковые страницы
- Удалите лишние URL или закройте их от индексации
- Проверьте фильтры, пагинацию и параметры в URL
Причина 6: Технические ошибки (404, 500 и т.д.)
Ошибки индексации также могут быть обусловлены техническими недочетами. Проверьте отчёт об ошибках в Google Search Console → «Покрытие» Также используйте краулер (Screaming Frog, Netpeak Spider). Как устранить: Настройте корректные коды ответов Удалите битые ссылки Почините серверные ошибки Здоровый сайт — лучше индексация.Причина 7: Отсутствие внешних и внутренних ссылок
Продвижению сайта наряду с ошибками индексации зачастую мешают отсутствующие внешние и внутренние ссылки. Если на страницу не ведут ни внутренние, ни внешние ссылки, Google может её не найти и не проиндексировать. Как исправить:- Добавьте внутренние ссылки с других страниц сайта
- Разместите внешние ссылки (гостевые посты, соцсети, крауд)
- Используйте карты сайта и навигационные блоки
- Проверяйте, чтобы важные страницы не были «висячими» (orphan pages)
Причина 8: Плохое качество контента
Для эффективного продвижения сайта, индексации в Google, поработайте над качеством контента. Google не индексирует страницы с бесполезным, шаблонным или слишком коротким контентом. Как улучшить:- Раскройте тему глубже и полезнее конкурентов.
- Используйте заголовки, списки, медиа.
- Избегайте воды и дублирования.
- Пишите для людей, а не только для SEO.
Причина 9: Проблемы с безопасностью сайта (вирусы, вредоносный код)
Если сайт заражен вирусами или содержит вредоносный код, Google может исключить его из индекса или пометить как опасный. Как выявить:- Проверьте сайт в Google Safe Browsing
- Используйте антивирусные сканеры (например, Sucuri, VirusTotal)
- В GSC проверьте раздел «Проблемы безопасности»
- Как решить:
- Очистите сайт от вредоносного кода
- Обновите CMS, плагины, пароли
- Отправьте сайт на повторную проверку в Google Search Console
Если сайт не индексируется в Google — это сигнал, что есть технические или содержательные проблемы. Важно регулярно проверять robots.txt, sitemap, метатеги и состояние страниц в Google Search Console. Убедитесь, что контент полезный, структура логичная, а сайт безопасен и быстро загружается.
Краткие рекомендации:
Настройте техническую базу (robots.txt, sitemap, метатеги) Создавайте уникальный и качественный контент Следите за скоростью и безопасностью сайта Используйте внутренние и внешние ссылки Регулярно анализируйте отчеты в GSC и устраняйте ошибки Чем быстрее вы устраните препятствия, тем быстрее перестанете задаваться вопросом – почему не индексируется сайт, поисковая система начнет приводить трафик.Подробнее о том как мы работаем читайте в наших кейсах: опыт seo продвижения онлайн-курсов по менеджменту в Германии, SEO кейс продвижение сайта по продаже авто в Корее.
Частые вопросы о индексации в Google
1) Как понять, что индексацию блокируют правила (robots.txt, noindex, canonical)?
Проверьте в Google Search Console (GSC) → «Проверка URL»: статус «Заблокировано robots.txt»/«Исключено по метатегу noindex»/«Альтернативная страница с указанным canonical».
Что делать:
- В robots.txt не блокируйте нужные разделы (Allow/Disallow).
- Уберите <meta name="robots" content="noindex"> / заголовок X-Robots-Tag: noindex.
- Проверьте rel="canonical" — он должен указывать на саму страницу (или верный канонический дубль), а не на другой URL/версию.
2) Что означает «Обнаружено — пока не проиндексировано» и «Сканировано — пока не проиндексировано»?
- Обнаружено… — Google знает о странице, но ещё не забирал её (часто мало сигналов важности: нет внутренних/внешних ссылок, карта сайта не помогает, слабая производительность).
- Сканировано… — страницу скачали, но посчитали низкокачественной/дубликатом или временно отложили.
Что делать: усиливайте внутренние ссылки, добавляйте в sitemap.xml, улучшайте контент (уникальность, полнота), избавляйтесь от дублей/тонких страниц, ускоряйте загрузку. После правок — «Запросить индексирование».
3) Может ли JavaScript мешать индексации?
Да. Если контент/ссылки появляются только после рендера JS, бот может не увидеть важное. Блокированные ресурсы (Disallow: *.js, *.css) и SPA-навигация без обычных <a href> тоже мешают.
Что делать: внедрить SSR/пререндеринг для ключевых страниц, не блокировать статику, использовать чистые ссылки <a href="/path/">, критический контент отдавать в HTML до JS.
4) Как серверные ошибки и перенаправления выбивают страницы из индекса?
Коды 4xx/5xx, «мягкие 404» (пустая страница с кодом 200), длинные цепочки 301/302, конфликт http↔https/ www↔без-www, очень медленный TTFB — все это приводит к исключениям.
Что делать:
- Добейтесь 200 OK на каноническом URL, сократите цепочки редиректов до 1 шага.
- Исправьте 404/500, настройте корректные заголовки кеширования.
- Ускорьте сервер (CDN, кеш, сжатие, БД). Проверяйте в GSC → «Просмотреть проиндексированную страницу» и логах сервера.