□ структура сайта, его разделы и сервисы;
□ типы и источники контента;
□ семантическое ядро;
□ присутствие в социальных медиа;
□ источники ссылок;
□ видимость в поисковых системах;
□ трафик с поисковых систем.
Структура сайта
В рамках изучения структуры (рис. 2.5 а, б) вы должны определить:
□ разделы, их взаимосвязь, источники трафика для каждого из них;
□ типы страниц, источники трафика для них;
□ структуру URL;
□ схему перелинковки;
□ структуру метатегов.
Пример схемы перелинковки (рис. 2.6).
Вовсе не обязательно слепо копировать все приемы, используемые конкурентом, но взять на вооружение наиболее эффективные из них необходимо. Кроме того, совокупное изучение структуры сайта и статистики позволит получить информацию о том, что именно нужно пользователю и как именно он решает свои проблемы при помощи сайта. Вполне возможно, что у лидера есть серьезные ошибки в навигации: они вряд ли отпугнут старых пользователей, но вот новые вполне могут предпочесть ваш портал просто потому, что он удобнее.
Рис. 2.5, а
Рис. 2.5, б
Рис. 2.6
Кластеры. Если портал имеет нормальную структуру, в нем легко выявить кластеры, которые будут иметь URL типа site.ru/klasterl, site.ru/klaster2, site.ru/klasterl/podklasterl и т. п. Крайне желательно составить максимально полный список всех кластеров и подкластеров с масками URL – это позволит упростить изучение индексов.
Сравнение индексов
Изучая поисковые индексы «Яндекс» и Google с помощью операторов inurclass="underline" и site, мы можем найти разницу в количестве проиндексированных страниц по сайту в целом и по каждому кластеру в частности. Это самая простая и эффективная проверка сайта на ошибки, дубликаты, мусор, проблемы индексации, и она позволит нам составить перечень проблем. Например, такой.
□ Одна и та же страница расположена по разным URL (дублирование). Причины разнообразны – это и смена системы URL без установки кода ответа 301 (страница перемещена навсегда), и использование кода ответа 302 (страница перемещена временно) вместо 301, просто создание нескольких страниц с одинаковым контентом, неправильное использование тегирования, отсутствие закрывающих инструкций в robots.txt и многое другое.
□ В индексе отражены версии страниц для печати.
□ Страница выглядит как сообщение об ошибке, но на уровне сервера отдает код ответа 200 (все в порядке).
□ Страницы с практически идентичным контентом.
□ Страницы с ошибкой базы данных (страница отдает код ответа 200, но весь контент на ней – ошибка базы данных (БД)).
□ Дубли, связанные с индексацией страниц с www и без.
□ Дубли, связанные с возможностью зайти на сайт по IP.
□ Дубли, связанные с Session ID.
□ Дубли, связанные с сортировкой элементов в каталогах.
□ Дубли, связанные с пагинацией и календарем событий.
□ Индексация страниц внутренней поисковой выдачи (тут следует отметить, что «Яндекс» не желает индексировать такие страницы, но грань между страницей внутренней поисковой выдачи и страницей каталога довольно зыбка).
□ Страницы с поддоменов – зеркальных, тестовых и т. п.
Веселая история про тестовый поддомен. Забавная история из практики связана с тестовыми поддоменами. Клиент звонит в ужасе и говорит: «Мы попали под фильтр». – «Почему?» – «У нас одна страница в выдаче». Смотрим – правда, одна страница в выдаче. Непонятно, как так получилось. Вчера было несколько тысяч страниц, сегодня одна. Оказалось, программист, перенося сайт с тестового домена на основной, поскольку на тестовом все продумано, перенес и robots.txt со строчкой «disallow/». Все.
Все отмеченные ранее проблемы приводят к тому, что вес размывается, нужные страницы не индексируются и ранжирование осуществляется не по тем страницам, которые нам необходимы, а по тем, которые нашел робот. При создании нами портала все эти проблемы должны быть исключены.
Как выявлять подобные проблемы?
Большая разница между количеством проиндексированных страниц в кластере говорит о том, что какая-то система проиндексировала большое количество дублей (это почти всегда Google) или какая-то система вследствие большого количества ошибок не хочет полноценно индексировать кластер (мы не будем называть ее по имени, но это, конечно, «Яндекс»). Таким образом, разница в индексах является важным поводом для более пристального изучения.
HTML-код страниц разных типов
Детальное изучение кода страниц – очень кропотливая и неинтересная работа, но ее необходимо выполнить. Это позволит вам выявить ошибки, допущенные конкурентом, и решения, им разработанные. И то и другое необходимо учитывать при создании собственного сайта.