Индексация сайтов в Google
Предисловие
В данной статье будут рассмотрены основные рекомендации для того, чтобы веб-сайт корректно индексировался поисковым роботом Google.
Примечание: рассмотренные в статье рекомендации делают индексацию веб-сайта возможной и безошибочной, но не помогают раскрутить сайт и поднять его в поисковой выдаче.
Рекомендации
Добавьте сайт в Search Console
Добавление сайта в Search Console позволит вам получить подробную информацию об индексировании поисковым роботом Google и управлять этим процессом.
Добавление сайта состоит из двух шагов:
- Регистрация ресурса
- Подтверждение права на владение ресурсом
Ресурсом может быть домен или ссылка:
У каждого из этих способов есть свои преимущества и недостатки. Если добавить домен, то вы автоматически настроите консоль для работы с субноменами, разными протоколы (https, http), но для подтверждения права на владение ресурсом вам понадобится редактировать TXT записи DNS. При добавлении ссылок вам понадобится регистрировать разные ресурсы для разных протоколов и субдоменов, но при этом есть альтернативные способы подтверждения, такие как рендеринг meta-тегов на сайте. Такой способ подтверждения может быть гораздо удобнее, если у вас нет прямого доступа к редактированию записей DNS, но есть контроль над исходниками.
С дополнительной информацией о функциональности Search Console вы можете ознакомиться здесь:
Создайте Sitemap
Sitemap — это XML-файл, содержащий информацию для поисковых роботов о веб-страницах, которые подлежат индексации. Файл нужно выложить в публичный доступ на вашем сайте, а затем указать ссылку на него в соответствующем разделе Search Console:
Таким образом можно сообщить поисковому роботу Google о структуре вашего сайта, что упросит процесс индексации.
По примеру ниже вы можете ознакомиться со структурой файла Sitemap:
Детальное описание формата Sitemap можно изучить здесь:
Такие файлы можно как создавать вручную, так и использовать для этого соответствующие библиотеки. Например, чтобы создавать Sitemap в проектах Ruby On Rails, вы можете воспользоваться Gem-ом:
Настройте файл robots.txt
Robots.txt — это текстовый файл, который содержит параметры индексации сайта для роботов поисковых систем. Чтобы улучшить индексацию сайта или закрыть для индексации определенные ссылки, нужно положить в публичную директорию вашего сайта файл с названием robots.txt и корректно его настроить. В файле обязательно нужно указать:
- Список ссылок, разрешенных для индексации.
- Список ссылок, запрещенных для индексации.
- Список ссылок на файлы Sitemap.
Это позволит сообщить параметры индексации не только для поискового робота Google, но и других провайдеров.
Ниже приведен пример файла robots.txt, который:
- Разрешает индексировать весь сайт кроме ссылок, начинающихся с “/profile” и “/admin”.
- Указывает на Sitemap, сжатый с помощью gzip.
Выдавайте поисковым ботам страницы с контентом
Для корректной индексации поисковым роботам нужно отдавать веб-страницы, наполненные контентом и перекрестными ссылками. Однако, если ваш сайт рендерится с помощью JavaScript на стороне браузера, то роботы видят пустые страницы, так как не исполняют JavaScript.
Есть несколько способов решить эту проблему. Вот два из них:
- Server Side Rendering.
- Prerender.
При реализации рендеринга со стороны сервера весь процесс первоначального наполнения страниц контентом будет перенесен на сервер, что требует особых навыков от команды программистов.
Альтернативный способ — это настройка Prerender. Он является NodeJS приложением, которое рендерит веб-страницы на стороне сервера через браузер Google Chrome и отдает поисковым роботам готовый статический HTML.
Для меня предпочтительным способом является Prerender, так как он не зависит от языков программирования и фреймворков, которые используются для создания сайта. Установить и настроить Prerender в связке с nginx вы можете по инструкции:
Задайте корректные заголовки и описания у страниц
Чтобы в поисковой выдаче пользователи видели актуальную информацию о страницах, необходимо задать корректные заголовки и описания у каждой страницы. Это делается с помощью тега <title> и дополнительных мета тегов “title” и “description”.
Ниже указан пример для страницы контактов:
Дублировать заголовок дополнительным мета тегом необходимо, потому что некоторые поисковые боты берут значение именно из мета тега.
Настройте корректные тексты ссылок
Чтобы в поисковой выдаче пользователи видели красивую структуру вашего сайта, необходимо привести в соответствие тексты ссылок и заголовки страниц, на которые они указывают. Например, если в подвале вашего сайта есть ссылка на страницу контактов, то она должна иметь соответствующий текст, а страница контактов — соответствующий заголовок.
Рекомендации от Google:
Дополнительная информация о текстах ссылок:
