. Эффективно хранить в распределённой и склонной к отказам среде поступающий контент и получаемую на его основе индексную базу, конечно же, здорово, однако самая суть работы любого поисковика — быстрый и экономичный алгоритм создания индексной базы. Ведь, в конце концов, именно благодаря ему наши ключевые слова в строке поиска превращаются в ссылки на конкретные ресурсы.
3.3. Роботы Google
Поисковыми роботами принято называть любые программы (такие как роботы или пауки), которые автоматически обнаруживают и сканируют веб-сайты, переходя по ссылкам от страницы к странице. Основной поисковый робот Google называется Googlebot. В следующей таблице приведены сведения о популярных поисковых роботах Google, регистрируемых в журналах источников ссылок. Кроме того, показано, как задавать этих роботов в файле robots.txt, в метатегах robots и в командах X-Robots-Tag HTTP.
Поисковый робот
Специализация/предназначение
Робот Googlebot (веб-поиск Google)
Основной робот
Новостной (принцип быстрого робота)
Изображения
Видео контент
Индексация мобильного контента.
Мобильные объявления
Сервис контекстной рекламы от Google.
Проверка качества целевой страницы
3.4. Оценка качества ресурсов
Руководство для веб-мастеров содержит технические рекомендации, советы по дизайну и обеспечению качества. Ниже приведены советы по оптимизации сайта для Google:
3.4.1. Предоставьте посетителям необходимую информацию
Создайте высококачественное содержание для своих страниц, особенно для главной. При разработке полезного и информативного сайта создавайте страницы с четким и точным описанием их тематики.
3.4.2. Приложите усилия, чтобы на других сайтах были ссылки на ваш сайт
Ссылки повышают вероятность обнаружения вашего сайта нашими сканерами и частоту его отображения в наших результатах поиска. Алгоритмы могут отличать естественные ссылки от неестественных.
3.4.3. Обеспечьте легкий доступ к своему сайту
Создавайте сайт с использованием логической структуры ссылок. На каждую страницу должен быть доступен переход хотя бы по одной статической текстовой ссылке.
Чего не следует делать:
Не заполняйте свои страницы списками ключевых слов, не пытайтесь публиковать разное содержание для поисковых систем и для пользователей, не создавайте страницы, предназначенные только для сканеров.
Не используйте изображения для показа важных имен и названий, а также другого важного содержания и ссылок. Робот не распознает текст, содержащийся в изображениях. Если основное содержание и ключевые слова на вашей странице нельзя перевести в обычный HTML-формат, используйте ALT.
Не создавайте несколько копий страницы под разными URL-адресами. Многие сайты содержат текстовые версии страниц и версии для печати, имеющие такое же содержание, как и соответствующие страницы с графикой. Если на вашем сайте хранится несколько страниц с одинаковым содержанием, вы можете указать URL канонической (предпочитаемой) версии для Google.
3.4. Специальные поисковые запросы
С помощью специальных поисковых запросов можно увидеть пример результатов, показывающих, как Google индексирует ваш сайт. Чтобы увидеть их полный список, воспользуйтесь оператором info:. Пример: info:google.com. Подробнее о каждом типе поиска рассказано ниже.
Памятка специальных запросов Google: https://support.google.com/webmasters/answer/35256?hl=ru
Глава 2.
Введение в поисковые системы. Формула ранжирования
Введение в поисковые системы. Формула ранжирования
1.1 Краткое введение в поисковые системы
1.2 Поисковая система глазами посетителя и владельца сайта
1.3 Формула ранжирования
1. Введение в поисковые системы