— Модель была неправильная, как мы теперь понимаем, — говорит Сегалович. — Там нет тегов и круга друзей. Но я надеюсь, что мы сделаем revival.
— Мы потихонечку, — вступает Волож. — Руки-то у нас доходят до всего, но «только Аллах может все, и даже Аллах не может все сразу». Главный вопрос, который решается на еженедельных менеджерских встречах, — что мы НЕ делаем. Мы растем очень быстро, у нас уже работает больше трехсот человек, но все равно не успеваем.
«Поиск по блогам и форумам», по мнению присутствующих, — это любимый и здоровый ребенок. Довольно оригинальное на первый взгляд решение — объединить поиск по блогам с поиском по форумам — вызвано тем, что в «Яндексе» особых различий между блогами и форумами не делают: «Первое сообщение форума ничем не отличается от первого сообщения в комьюнити» (Сегалович); «Форумы и блоги — это почти один формат» (Волож). Еще один довод в пользу объединенной индексации — полезность форумов: «Сообщество ru_seo на порядки менее интересно форума на Search-Engines.ru» (Себрант).
— По-хорошему, нужно индексировать все, включая комментарии, что в блогах мы делать пока не умеем, — говорит Сегалович, — но при поиске следует понимать разную ценность разных частей — очевидно ведь, что первое сообщение форума важнее всех остальных. Форумы отдают RSS так, как они его отдают, и отрезать первое сообщение от остальных трудно. Но мы уже умеем искать отдельно по форумам и отдельно по блогам (это появится в ближайшей версии). Они у нас не в одной куче, это только так кажется.
Форумы и блоги отделены от «большого робота», потому что важный признак, объединяющий форумы и блоги и четко отделяющий их от всего остального, — это время. Даже выдача на запрос по умолчанию сортируется по времени.
— Вот эта временная шкала совершенно перестраивает мозги, — продолжает Илья, — это не алгоритм PageRank, а совершенно иная мера.
— Неслучайно мы по умолчанию выдаем результаты, отсортированные по времени, — замечает Андрей Себрант. — Трехлетней давности сообщение в форуме представляет скорее исторический интерес, каким бы релевантным оно ни казалось.
Несмотря на всю полезность поиска по блогам он явно не дотягивает до зарубежных аналогов и в первую очередь — до Technorati. Аркадий Волож с такой оценкой не согласен, но даже если и так, отмечает он, сервис не заброшен, работа над ним ведется очень активно. Илья Сегалович идет еще дальше.
— Technorati — лишь первый шаг в нужном направлении. Там есть задел, но нужно двигаться вперед. В блогах часто попадается ценная информация, но как ее оттуда извлечь? Мы уже решили похожую проблему с новостями, создав полностью автоматизированный сервис (руками только добавляются сами ресурсы). Ни один редактор не пострадал. Такой должности, как журналист, в «Яндексе» нет. Вот.
В голосе Ильи слышится такая неподдельная радость, что оба редактора нервно поправляют свои розовые кофточки, ожидая в следующую минуту услышать классическое «А теперь встали и вышли отсюда».
— Что касается блогов, — продолжает суровый директор по технологиям, — то есть чудовищный соблазн сделать что-то интересное. Прошлый год уже показал, что в блогосфере есть настоящие жемчужины, которые нужно доносить до внимания общественности. Они перетекают в новости в полуразмытом виде, и нужно научиться их находить и выделять. Вопрос — как это сделать. Технически это очень нетривиально.
Место действия: большая переговорная в старом офисе «Яндекса».
Действующие лица те же.
Волож: Я против разговоров о том, что Google придет в Россию. Черная рука идет по улице, черная рука стучится в ваш подъезд…
Сегалович: (перебивает) Черный ящик на семи колесиках…
Волож: Ну хорошо. В разных лагерях рассказывали по-разному. Google приходит в Россию? Да он в 2001 году сюда пришел, как только открыл Google.ru! И посмотрите статистику — что-то принципиально изменилось? Они в прошлом году потрясающе выросли, кстати. С пяти до шести процентов. Без шуток — это 20-процентный рост.
Сегалович: Точно так же, как «Яндекс» пугают приходом Google, Google пугали Microsoft. Мол, придет страшный черный ящик на семи колесиках и всех раздавит, как клопов. MSN в прошлом году сделал свой поиск. И что? Пять лет кричали о том, что Microsoft сделает лучший в мире поиск, Microsoft перетащила себе большую команду из Китая, разработала, выпустила — и в результате доля MSN в поиске упала с пятнадцати процентов до семи.
«КТ»: А кстати, как вы «отвоевали» Mail.ru у Google?
Волож: Ничего про это не знаю. Они сами к нам пришли. И это был большой подарок судьбы. А почему? Видимо, им понравилось, сколько денег мы собираем.
«КТ»: Просто немного странно. Они же к движку Google серьезно относились, даже морфологию русскую прикрутили.
Сегалович: О, тут как раз ничего странного нет. Алексей Сокирко, который делал русскую морфологию в Mail.ru для движка Google, теперь работает у нас.
«КТ»: А насколько качество поиска коррелирует с популярностью поискового сервиса?
Себрант: Ни насколько.
Волож: Да нет, если наш поиск долго будет хуже гугловского или рамблеровского, то люди начнут уходить.
Себрант: Но не наоборот. Если предположить, что гугловский поиск будет на два процента лучше, то… Во-первых, что значат эти два процента? Во-вторых, что значит «лучше»?
Волож: Неизвестно, как устроена эта материя. Почему пользователи приходят туда, а не сюда — никто не знает.
Сегалович: Ну нет, я знаю.
Волож: У тебя теории. У всех свои гипотезы. Я вот считаю, что просто не надо вредить. Надо стараться делать хорошо.
Сегалович: В конце 2004 года у нас был небольшой кризис, из которого мы вышли, и в течение всего 2005 года последовательно улучшали робота. Робот у нас очень приличный. По скорости занесения в базу мы опережаем конкурентов от нескольких часов до суток.
«КТ»: А в среднем прямое занесение в базу сколько времени занимает? Сколько времени проходит от момента, когда веб-мастер сообщает вам URL своего ресурса, до начала индексации?
Сегалович: Прямое занесение, то есть механизм «Добавить URL», играет не очень большую роль. А вот если на вас сослались из какого-нибудь интересного места, это дело, скажем, нескольких часов.
«КТ»: А почему при обновлении индекса из «Яндекса» частенько пропадают сайты?
Сегалович: Это стандартная беда всех веб-мастеров и всех роботов…
«КТ»: Но ругаются-то обычно именно на «Яндекс».
Себрант: Потому что когда перестает приходить трафик с «Яндекса» — это заметно, а если, допустим, с Google — то не очень.
Сегалович: Это, конечно, тоже играет роль. Но дело еще и в том, что у нас база обновляется очень часто, трижды в неделю. И если какой-то сайт почему-то не ответил, мы его сразу же убираем. А у того же Google месячный период обхода плюс быстрый робот, который обслуживает далеко не всех. И если уж я попал в Google со своей страничкой, то так в нем и живу. А «Яндекс» может меня выкинуть, потому что сайт в тот момент, когда ткнулся робот, лежал. И всё. На три дня меня в базе нет. То есть сама наша живость — это, безусловно, плюс, но у нее есть и неприятный побочный эффект.
Себрант: Нужно учесть, что когда мы случайно выкинули какой-то сайт, качество ответа практически не изменилось.
Волож: Зато увеличилась живость всей базы.
«КТ»: Веб-мастера жалко.
Себрант: Жалко. Но одним из проявлений кризиса, о котором говорит Илья, были мертвые ссылки в первой десятке выдачи. Люди переходили по ссылке, а ничего не открывалось. И это было страшно раздражающим фактором.