Как ваш сайт может управлять поисковыми системами

Не секрет, что поисковые системы очень своевольные создания и не терпят вмешательства в свою работу. Никто не может сказать им, на каком месте и по какому запросу следует показывать сайт. Но есть несколько инструментов, которые позволяют управлять их поведением на вашем сайте.

Файл robots.txt

Начнем с файла robots.txt, который должен находиться в корне вашего сайта. В нем лежат инструкции для роботов, которые приходят на ваш сайт, в том числе и роботов поисковых систем. Через специальный синтаксис вы можете настроить какие из страниц вашего сайта будут доступны для индексации, как быстро их проверять и, что самое важное, указать основной адрес вашего сайта.

Например в Старонке мы имеем технический адрес сайта, но из-за того что в файле robots.txt указан основной адрес, поисковые системы используют именно его.

Ещё одним элементом robots.txt является карта сайта (Sitemap). В ней можно указывать важные для индексации страницы. Давайте поговорим о ней подробнее!

Файл Sitemap

Карта сайта содержит адреса страниц для индексации и информацию о том, как часто проводить переиндексацию. Ссылка на него может быть в robots.txt или её можно просто положить в корень сайта в виде sitemap.xml. С помощью этого файла вы можете заставить поисковые системы чаще проверять страницу новостей вашего сайта и реже более статичные разделы.

В Старонке мы автоматически генерируем карту сайта и вам не стоит об этом даже задумываться!

Современные поисковые системы и сами легко находят все страницы вашего сайта, поэтому Sitemap — это скорее решение для больших систем с миллионами страниц, чем для небольших сайтов.

HTML-тэги

Тэги добавляются прямо в страницу и относятся только к ней, а не ко всему сайту, в отличие от первых двух вариантов. Это дает более гибкие возможности по настройке, но и требует больших затрат времени.

Во-первых, это, конечно, мета-теги Keywords и Description, которые рассказывают о странице поисковым системам. Про них написано огромное количество материалов, поэтому я не буду останавливаться на них подробно.

Кстати, в Старонке есть специальный интерфейс, в котором удобно редактировать мета-теги с предпросмотром в Яндекс и Google.

Один из новых, но очень важных мета-тегов, связан с мобильной версией и называется viewport. Если ваш сайт оптимизирован под мобильные платформы, то просто установите его в значение width=device-width, initial-scale=1 и сайт не только станет правильно отображаться в телефонах и планшетах, но и, с недавнего времени, будет размещаться выше в выдаче Яндекса и Google.

Все сайты в Старонке оптимизированы для просмотра на мобильных платформах. Я как-то писал большую статью о мобильности сайтов, рекомендую.

Ну и напоследок расскажу о специальном атрибуте, который позволяет склеивать дубли страниц на вашем сайте. Достаточно часто одна и та же страница на сайте доступна по разным адресам. Например, раздел каталога с платьями и поиск по каталогу с фильтром по платьям. Чисто технически они трактуются как две разные страницы, а следовательно теряется уникальность контента и снижается рейтинг страницы внутри поисковика. Чтобы этого избежать, нужно добавить тэг link c rel атрибутом canonical — это установит канонический (основной) адрес для страницы и склеит эти страницы в одну.

Именно таким образом в Старонке склеиваются адреса вашадрес.бай и вашадрес.бай/index.html, что делает одностраничный сайт действительно одностраничным!

Хотелось бы отметить, что это далеко не все варианты мета-тегов, если вам вдруг станет интересно, то можете ознакомиться с отличной документацией в Вебмастере Яндекса. И помните, что именно знание и использование таких тонкостей сайтостроения превращает обычный сайт в отличный!