Спрашивать об этом самих тестеров было бы нелепо, а потому мы обратились за разъяснениями в антивирусные компании. Директор по исследованиям и разработке Лаборатории Касперского Николай Гребенников объективными считает av-comparatives.org и avtest.org, ведущий технический консультант из Symantec Рамиль Яфизов предпочитает Virus Bulletin, а директор компании "Доктор Веб" Борис Шаров ко всем "проверяющим организациям" относится со здоровым скепсисом, хотя и признает их влиятельность: "мнение ведущих тестеров - Virus Bulletin, немецкой лаборатории avtest.org и австрийской av-comparatives.org Андреаса Клементи - это путевка в жизнь для одних и приговор для других". Выходу "Доктора Веба" из рейтинга Virus Bulletin предшествовало несколько строгих приговоров: если верить VB, то с декабря прошлого года Dr.Web показал неудовлетворительные результаты в четырех сравнительных тестированиях подряд.
Впрочем, без пиетета Шаров относится и к остальным тестерам. По его мнению, раз уж антивирусные компании предоставляют свои продукты на растерзание, то вполне резонно ожидать не только результатов, но и подробностей об условиях, в которых проходило тестирование, а это, увы, случается далеко не всегда. А когда тестеры раскрывают методологию, то к ним возникает множество дополнительных вопросов. К примеру, Андреас Клементи из av-comparatives.org всегда присылал пропущенные антивирусом во время тестирования файлы, однако "часть этих файлов относится к так называемым неподтвержденным вирусам - в них имеется испорченный или ошибочный, но совершенно безопасный вирусный код". Какие-то антивирусы на эти файлы реагируют, продолжает Шаров, какие-то нет, но ведь "речь идет о детектировании опасности!" Конечно, тестеру трудно самостоятельно проверить 800 тысяч файлов, для этого нужно слишком много ресурсов, тем не менее на этой непроверенной базе составляется рейтинг, который, так или иначе, влияет на выбор пользователей. О том, что Клементи собирается брать с производителей антивирусов деньги за тестирование, Шаров говорит с улыбкой: "По-нашему, независимый тестер должен быть независим от тех, кого тестирует".
В компании Symantec ничего страшного в "безопасных вирусах" не видят. "Мы считаем, что программа антивирус должна отлавливать такие файлы, - говорит Яфизов, - поскольку дело не только в опасности файла. Важно и то, как он был заражен или испорчен вирусом - такая информация позволит проследить распространение вируса". Ситуацию же с платными независимыми тестами "Доктор Веб" и Symantec расценивают одинаково: от кого получаешь деньги, от того и зависишь.
У Лаборатории Касперского своя позиция. Гребенников согласен с Шаровым в том, что коллекции для тестов должны подбираться более ответственно, но против денежных претензий тестеров не возражает: "Тестирование требует времени и ресурсов, и вендоры, понимая это, по большей части готовы платить за проведение тестов. Подчеркиваю: не за результаты, а за процесс".
О недостатках нынешних тестов
- Существует много методов динамической защиты, которые практически не рассматриваются независимыми тестирующими лабораториями. И дело не в том, что кто-то этого не понимает, а в том, что процесс подготовки и проведения тестов очень трудоемок. Практика тестирования должна соответствовать практике научного эксперимента. Любой человек должен иметь возможность, взяв исходные данные, повторить тестирование. Коллекцию, на которой тестируются программы сейчас, никто не готов предоставлять.
Методики тоже непрозрачны. Закрытость тестирования сама по себе всегда будет вызывать недоверие.
Об Amtso и будущем
- После того как AMTSO выработает общие для всех методики, тестовые лаборатории, входящие в эту организацию, как мы надеемся, начнут их применять. Перед лабораториями, не входящими в AMTSO, двери никто не закрывает. Журналистам и другим заинтересованным сторонам вне отрасли будут предложены упрощенные процедуры и методы, которые можно использовать для не слишком трудоемких тестов. Эти тесты не будут всесторонними, зато ограничения в процедуре будут четко обозначены и одинаковы для всех. И результаты тестов будут одинаковы. То, что сейчас творится с результатами, порой просто фантастика…