Ускоренная индексация сайта. Миссия выполнима



Любой владелец сайта хочет видеть свой контент в топе выдачи. Для того чтобы легко найти страницу с опубликованным материалом в поиске, ее нужно прописать в индексе – специальной базе поисковиков. Потому что те страницы, о которых не знают поисковые системы, и не участвуют в выдаче. Их нужно “познакомить”, иначе говоря – проиндексировать. 

1. На что влияет индексация

Эту задачу выполняют специальные роботы, которые обходят весь ресурс и собирают информацию с его страниц, а также отправляют запросы серверу. Если ресурс прошел проверку успешно, то его данные вносятся в индекс.

В процессе индексации роботы оценивают совокупность факторов:

  • качество и частота обновления контента – текстов, графических элементов;
  • попадание в тематику;
  • вовлеченность и посещаемость;
  • доступность с различных устройств;
  • внутренние и внешние ссылки;
  • вложенность страниц;
  • скорость загрузки и т.д.

Чем выше полезность сайта, тем выше ранжируются его страницы, а рост в выдаче влечет приток трафика. Таким образом, индексация способствует быстрому продвижению веб-ресурса и, вследствие увеличения посещаемости, повышению конверсий. Безусловно, стоит знать, как ускорить индексацию.

2. Алгоритмы индексации

При обновлении сайта лишь время от времени поисковые роботы заходят на ресурс не чаще раза в неделю, при ежедневном – индексация проводится несколько раз в день. За одно посещение поисковик индексирует не больше 30 страниц.  

Есть еще такой показатель, как глубина индексации: это количество уровней, которое робот последовательно проходит по ссылкам сайта, стартуя с главной его страницы.  Но часто он изучает только верхние уровни, соответственно, нижние временно остаются без индексации, до следующего раза. Поэтому хочется ускорить индексацию ссылок, чтобы на сайт быстрее пришла целевая аудитория и совершила нужные действия.

Проанализировав страницу, поисковые роботы ранжируют сайт. На частоту индексации сайта влияют главным образом два фактора: посещаемость сайта и то, насколько часто обновляется сам ресурс с помощью нового контента. Роботы отслеживают любые недочеты и снижают авторитетность сайтам, на которых размещена недостоверная и/или плохо поданная информация. Содержание страниц должно быть релевантным пользовательским запросам. 

Кроме того, влияют и мелкие вспомогательные факторы: так, понятная и удобная структура сайта, наличие рабочих ссылок – все это положительно сказывается на индексации. Роботы поисковых систем самостоятельно находят и проверяют созданный сайт или новые страницы уже просмотренного веб-ресурса. 

Если на нем выполняются необходимые условия, то индексация сайта проходит быстрее и занимает от 24 часов до недели. Если же не все в порядке, то поисковики «забудут» о сайте и пойдут исследовать другие. Так, например, Google не проиндексирует веб-ресурс в том случае, если он попал под санкции – высветится уведомление о том, что адрес сайта запрещен к добавлению на индексацию, или в случае, если есть проблемы с сервером – появится сообщение о том, что хостинг не отвечает на запросы  системы.

3. Как проверить, что сайт проиндексирован

Для проверки веб-ресурса можно использовать три основных способа:

  1. Вручную, при помощи оператора site

Нужно ввести в поисковую строку команду: site:[url_сайта], чтобы получить данные обо всех проиндексированных страницах. Если значения в Гугле и в Яндексе различаются заметно, то есть вероятность, что сайт находится под фильтром.

Рис. 1 – Проверка индексирования вручную

Рис. 1 – Проверка индексирования вручную

  1. Использовать бесплатные инструменты для вебмастеров. 

Например, посмотреть данные на странице Google Search Console.  Понадобится открыть раздел «Индекс Google» и перейти к блоку «Статус индексирования». Также там доступны отчеты об индексировании и о файлах Sitemap. Google проверяет страницы быстрее, сперва сканируя сайт полностью и затем пропуская лишь лучшие его страницы.

Это можно сделать и в Яндексе: нужно внести в форму URL сайта, подтвердить свой статус владельца, перейти на «Индексирование сайта» и затем на «Страницы в поиске». 

  1. Применить плагины для браузеров, они поддерживаются и Chrome, и Opera, и Mozilla, например, RDS Bar. Или специальные инструменты для этих целей,  среди них популярны XSEO.in, SEOGadget
Рис. 2 – Плагин RDS Bar для Хрома

Рис. 2 – Плагин RDS Bar для Хрома

Рис. 3 – Интерфейс XSEO.in

Рис. 3 – Интерфейс XSEO.in 

Рис. 4 – Интерфейс SEOGadget

Рис. 4 – Интерфейс SEOGadget

4. Способы ускорения индексации

Ожидание сканирования роботом новых страниц сайта зачастую затягивается. Выход – ускоренная индексация. Подрасти в выдаче можно несколькими способами, показавшими свою эффективность:

  1. Использовать файл карты Sitemap.xml, который определяет скорость индексации новых страниц. Если добавлять ссылки на них сразу же, то роботы, которые следят за обновлением контента, найдут их быстрее. Файл нужно сохранить в корне сайта.

Можно обновлять файл вручную после корректировок содержимого веб-ресурса и отправлять его с помощью специального отчета, но намного удобнее использовать динамический Sitemap.xml: по мере создания новых страниц файл будет обновляться сам. 

Например, для сайтов на основе Tilda эта карта динамическая по умолчанию, а для других CMS можно поставить дополнительные плагины: так, для WordPress может подойти All in One SEO Pack.

  1. Посмотреть как Googlebot с помощью панели вебмастера Google. Опция так и называется, находится она в разделе «Сканировать». Выполняется просмотр вручную. Для этого нужно вставить адрес желаемой страницы, удалив из урла название самого сайта. Далее нажимаем кнопку «Сканировать» и далее – «Добавить в индекс». В течение получаса просканированная страница появится в индексе.
  1. Оптимизировать с помощью настройки файла robots.txt. В нем необходимо запретить посещение технических, служебных страниц и просмотр другой информации, которая не несет пользы.
  1. Создать RSS-канал и использовать соцсети. Первый способ уже неактуален для большинства пользователей, но поисковики все еще видят ссылки на добавленные новые страницы. Что касается соцсетей, то сегодня и так всем ясно, что наращивание ссылочной массы с помощью ссылок на стоящий контент влияет на индексацию. Вообще, наличие ссылок на площадках, где генерируется целевой трафик – отличная идея.
  1. Настроить DFI – Click Distance from Index (количество кликов от главной страницы сайта до текущей, которую важно проиндексировать). Чем меньше кликов между ними, тем больший приоритет у страницы с точки зрения алгоритма поискового робота. Юзабилити сайтов сегодня сложно недооценить: оптимальный путь до любой индексируемой страницы должен составлять не более трех кликов от главного меню.

Кроме того, для ускорения индексации не помешает проверить:

  • структуру разделов и их перелинковку – поисковому роботу неоткуда перейти на нее, соответственно, возникают проблемы с релевантностью;
  • размещение контента на сайте: насколько он полезен, как часто обновляется, какое соотношение в каждом тексте количества ключевых слов и общего его объема;
  • навигацию и коды страниц сайта – нет ли там дублей и ошибок;
  • вес изображений, поскольку он может замедлять загрузку страниц и плохо отражаться на индексировании в выдаче.

5. С какими проблемами можно столкнуться

  1. Если страницы не индексируются совсем либо только одним из поисковиков, значит, нужно в первую очередь проверить настройки хостинга и файл robots.txt. Важно, чтобы не было запрета на индексацию. Если сайт видит только один поисковик, то проблема может заключаться именно в наличии фильтров и санкций. Стоит определить, какие из них лежат на сайте и внести правки.
  1. В случае, если индексация происходит, но долго, то вариантов причин намного больше и нужно проверять их по очереди. Проблемы могут заключаться в недостаточной оптимизации, в отсутствии перелинковки, в редком обновлении контента и т.д.
  1. При проблемах с конкретными URL можно отправить эти страницы на переобход в Google Search Console (пригодится Инструмент проверки URL) и Яндекс.Вебмастер (ищем Индексирование – Переобход страниц). 

Индексация сайта – комплексная работа. Это достаточно непредсказуемый процесс, но так как ее влияние на ранжирование сайта в выдаче очень важно, то стоит максимально упростить задачу для поисковых роботов. 

Если оперативно применить большинство общих рекомендаций, описанных в этой статье, то скорее всего, они положительно скажутся на скорости индексирования. И безусловно, после этого стоит заняться продвижением веб-ресурса.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Поделиться:

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: