Индексация сайтов в Google

Peter Bazov
4 min readJun 25, 2020

--

Предисловие

В данной статье будут рассмотрены основные рекомендации для того, чтобы веб-сайт корректно индексировался поисковым роботом Google.

Примечание: рассмотренные в статье рекомендации делают индексацию веб-сайта возможной и безошибочной, но не помогают раскрутить сайт и поднять его в поисковой выдаче.

Рекомендации

Добавьте сайт в Search Console

Добавление сайта в Search Console позволит вам получить подробную информацию об индексировании поисковым роботом Google и управлять этим процессом.

Добавление сайта состоит из двух шагов:

  • Регистрация ресурса
  • Подтверждение права на владение ресурсом

Ресурсом может быть домен или ссылка:

У каждого из этих способов есть свои преимущества и недостатки. Если добавить домен, то вы автоматически настроите консоль для работы с субноменами, разными протоколы (https, http), но для подтверждения права на владение ресурсом вам понадобится редактировать TXT записи DNS. При добавлении ссылок вам понадобится регистрировать разные ресурсы для разных протоколов и субдоменов, но при этом есть альтернативные способы подтверждения, такие как рендеринг meta-тегов на сайте. Такой способ подтверждения может быть гораздо удобнее, если у вас нет прямого доступа к редактированию записей DNS, но есть контроль над исходниками.

С дополнительной информацией о функциональности Search Console вы можете ознакомиться здесь:

Создайте Sitemap

Sitemap — это XML-файл, содержащий информацию для поисковых роботов о веб-страницах, которые подлежат индексации. Файл нужно выложить в публичный доступ на вашем сайте, а затем указать ссылку на него в соответствующем разделе Search Console:

Таким образом можно сообщить поисковому роботу Google о структуре вашего сайта, что упросит процесс индексации.

По примеру ниже вы можете ознакомиться со структурой файла Sitemap:

Детальное описание формата Sitemap можно изучить здесь:

Такие файлы можно как создавать вручную, так и использовать для этого соответствующие библиотеки. Например, чтобы создавать Sitemap в проектах Ruby On Rails, вы можете воспользоваться Gem-ом:

Настройте файл robots.txt

Robots.txt — это текстовый файл, который содержит параметры индексации сайта для роботов поисковых систем. Чтобы улучшить индексацию сайта или закрыть для индексации определенные ссылки, нужно положить в публичную директорию вашего сайта файл с названием robots.txt и корректно его настроить. В файле обязательно нужно указать:

  • Список ссылок, разрешенных для индексации.
  • Список ссылок, запрещенных для индексации.
  • Список ссылок на файлы Sitemap.

Это позволит сообщить параметры индексации не только для поискового робота Google, но и других провайдеров.

Ниже приведен пример файла robots.txt, который:

  • Разрешает индексировать весь сайт кроме ссылок, начинающихся с “/profile” и “/admin”.
  • Указывает на Sitemap, сжатый с помощью gzip.

Выдавайте поисковым ботам страницы с контентом

Для корректной индексации поисковым роботам нужно отдавать веб-страницы, наполненные контентом и перекрестными ссылками. Однако, если ваш сайт рендерится с помощью JavaScript на стороне браузера, то роботы видят пустые страницы, так как не исполняют JavaScript.

Есть несколько способов решить эту проблему. Вот два из них:

  • Server Side Rendering.
  • Prerender.

При реализации рендеринга со стороны сервера весь процесс первоначального наполнения страниц контентом будет перенесен на сервер, что требует особых навыков от команды программистов.

Альтернативный способ — это настройка Prerender. Он является NodeJS приложением, которое рендерит веб-страницы на стороне сервера через браузер Google Chrome и отдает поисковым роботам готовый статический HTML.

Для меня предпочтительным способом является Prerender, так как он не зависит от языков программирования и фреймворков, которые используются для создания сайта. Установить и настроить Prerender в связке с nginx вы можете по инструкции:

Задайте корректные заголовки и описания у страниц

Чтобы в поисковой выдаче пользователи видели актуальную информацию о страницах, необходимо задать корректные заголовки и описания у каждой страницы. Это делается с помощью тега <title> и дополнительных мета тегов “title” и “description”.

Ниже указан пример для страницы контактов:

Дублировать заголовок дополнительным мета тегом необходимо, потому что некоторые поисковые боты берут значение именно из мета тега.

Настройте корректные тексты ссылок

Чтобы в поисковой выдаче пользователи видели красивую структуру вашего сайта, необходимо привести в соответствие тексты ссылок и заголовки страниц, на которые они указывают. Например, если в подвале вашего сайта есть ссылка на страницу контактов, то она должна иметь соответствующий текст, а страница контактов — соответствующий заголовок.

Рекомендации от Google:

Дополнительная информация о текстах ссылок:

--

--