Настройка сайта для поисковых систем

08.07.2015

Чтобы настройка сайта для поисковых систем прошла успешно, надо зарегистрироваться в Яндекс. Веб-мастере и в Инструментах веб-мастера.

Регистрация в закладке веб-мастера дает возможность просмотреть информацию обо всех действиях совершенных с сайтом в поисковых машинах, а к ним относятся: индексация, неправильное сканирование, санкции и т. д. Если продвигать сайт, не зарегистрировавшись в них, эту информацию нельзя будет увидеть.

Количество страниц в индексе должно совпасть с общим числом страниц сайта. Если количество страниц прошедших индексацию меньше, чем на сайте, значит, есть какие-то проблемы. К ним могут относиться следующие неисправности:

  • контент сайта не был оптимизирован под поиск;
  • случайно была включена функция «скрыть от индексации»;
  • включен фильтр индексации и т. д.

Поисковая система Яндекса отличается от Гугла тем, что она загружает в базу только страницы с полезным контентом. Гугл же принимает любой контент даже тот, который сгенерирован ошибочно. Поэтому Гугл имеет опцию «основной поисковый индекс». Эта опция отсеивает ненужный контент и принимает только полезный.

Robots. txt-файл, который содержит определенные директивы, которые «рассказывают» поисковикам какие страницы следует посещать, а какие – нет. Этот файл должен быть составлен без ошибок. Правильность его работы проверяется яндекс.сервисом.  Он должен быть корректно составлен и загружен в корневую папку ресурса.

Для того, чтобы сообщить роботам, какие страницы нужно проиндексировать, также используется функция sitemap. xml. Поисковики воспринимают домены с тремя английскими «дубль в» и без них как разные сайты. Но чтобы поисковая система воспринимала их как один сайт и они индексировались как одно целое надо поставить перенаправление 301 с вторичного сайта на основной.

В яндексе для этой задачи нужно зайти в пункт меню «помощь веб-мастеру» и включить функцию «сообщить о новом сайте». Затем вводится адрес ресурса с www и без www. Если эта задача выполняется через Гугл то в здесь надо просто в строке поиска ввести «site: домен сайта с www и без». После этого Гугл выдаст вам отчет о проиндексированных страницах.

Обычно поисковые системы не приветствуют дублирование ссылок на одну и туже страницу. Но так как ваша главная страница имеет дубли, их надо устранить перед тем, как открывать сайт для индексации поисковыми роботами. Выполняется это тоже с помощью перенаправления 301.

Для обнаружения дублированных ссылок сайта можно воспользоваться программой Xenu. Эту программу можно скачать в интернете. После скачивания она устанавливается на компьютер. После ее инсталляции необходимо открыть нужный файл (подробную инструкцию по работе программы можно найти в Интернете) и набрать домен сайта.

Программа начнет его сканировать. Этот процесс займет определенное время. После того, как сканирование закончится, надо отсортировать страницы по пункту Title и найти повторяющиеся заголовки. Теперь их можно удалять.

http://text.ru/antiplagiat/558b7e554b872