Тестирование антивирусов

Приветствуем вас на независимом тестировании антивирусов Клубом сисадминов. Мы проводим регулярное один раз в полгода тестирование антивирусных решений с целью выявления сильных и слабых сторон продуктов, динамики развития и качества обнаружения…

В этом тестировании мы расширили базу тестируемых продуктов, улучшили и разнообразили набор образцов вредоносного ПО.

Тестирование антивирусов проводилось в три этапа: на первом этапе использовалась коллеция из 92 заведомо рабочих файлов, ориентировочным результатом на этом этапе стало обнаружение 100% предоставленных файлов.

На втором этапе использовалась коллекция из 3339 файлов. Это меньше, чем в предыдущем тестировании, однако использовалась уже другая коллекция вредоносного ПО, которая была дополнительно оптимизирована — из нее были удалены повторяющиеся образцы, а также части вредоносного ПО, которые сами по себе не представляют угрозы (например, являются загрузчиками к вирусам).

Таким образом удалось снизить уровень мусора в коллекции в несколько раз, хотя некоторые файлы были сознательно оставлены для проверки ложных срабатываний. Ожидаемый показатель детектирования на этом этапе — 95%.

На третьем этапе ранее мы тестировали программы-шутки, однако в этот раз состав коллекции изменен — теперь на третьем этапе тестируется коллекция номер 2, из которой удалены все файлы-пустышки. Таким образом, на этом этапе мы ожидаем 100% детектирование файлов, допуская небольшое отклонение, обусловленное наличием старых вирусов, которые были удалены из баз современных антивирусов по причине неработоспособности под последними ОС.

В этом тестировании участвовали следующие продукты:

Антивирус Касперского 2011
Dr. Web 6
Dr. Web CureIt
Symantec Endpoint Protection 11
Norton Internet Security 17
Eset NOD32 v4.2
Avira Antivir
Comodo Internet Security
Avast 5
Avast для Linux
Microsoft Security Essentials
G-Data Antivirus 2010
BitDefender Antivirus 2010
AVG
Panda Cloud
Panda Antivirus
ClamAV для Windows
Emsisoft Anti-Malware
McAfee VirusScan

Как видите, список тестируемых продуктов заметно расширился. Всем тестером было рекомендовано обновить антивирусные базы перед тестированием и установить максимальный уровень обнаружения. Ввиду того, что Антивирус Касперского 2009, 2010 и 2011 использует одни и те же базы, в данном тестировании продукт представляет последняя версия, однако была протестирована и версия 2010, которая отличилась только временем сканирования.

Перед началом также стоит сказать, что все образцы из первой и третьей коллекции есть во второй и имеют уникальные номера, таким образом легко отследить, где какой файл был пропущен и впоследствии более детально ознакомиться с ним. Также, в тестировании некоторые вирусы были представлены в том виде, в котором они распространяются — как самораспаковывающиеся архивы. Это вызвало определенные проблемы, о которых будет сказано в конце тестирования при подведении итогов.

I этап — 92 образца

На данном этапе использовалась коллекция, состоящая из 92 файлов, каждый из которых был проверен вручную. Вот архив с коллекцией (ссылка), пароль virus. Итак, сводная таблица результатов тестирования:

(*) Norton Internet Security 17 участвует "за компанию" с SEP11, т.к. несмотря на все настройки он отказался удалять архивы, содержащие вирусы, и в итоге количество оставленных файлов не соответствует количеству обнаруженных угроз. То есть вирус он из архива удалил, но сам пустой архив оставил, а отследить все такие изменения в коллекции из 3339 файлов довольно сложно, и было принято решение считать просто оставленные файлы.

На данном этапе все прошло предсказуемо и прозрачно ввиду малого количества образцов — по указанным ссылкам предоставлены номера пропущенных образцов, вы можете их проверить самостоятельно, если есть сомнения в результатах.

Если вы читали прошлые наши тесты, то можете возразить насчет Avast 5 vs Avast Linux, ведь ранее утверждалось, что они используют одну и ту же базу вирусов. Действительно, использовали, до пятой версии. Теперь, как видно из результатов, все изменилось.

II этап — 3339 образцов

На данном этапе используется самая большая коллекция с 3339 образцами. Возникают определенные проблемы с отслеживанием оставленных образцов — во-первых, перечислять все ~500 файлов поименно довольно утомительно и бесполезно, а во-вторых некоторые антивирусы несмотря на все настройки пытаются "лечить" архивы, мотивируя это тем, что там может быть полезная пользователю информация.

Это мешает точному определению количества обнаруженных угроз, поэтому на этом этапе может наблюдаться погрешность в числе обнаруженных угроз в пределах 5%. Архив с коллекцией доступен по ссылке (ссылка) и на него установлен стандартный пароль virus. Итак, результаты нашего тестирования:

Обратите внимание на высокий процент обнаружения угроз антивирусами Kaspersky, Avira, Comodo, Avast, G-Data, Emsisoft и McAfee. Особенно удивительно, что непопулярные на первый взгляд бесплатные антивирусы показывают такие высокие результаты, в то время как множество платных продуктов пропустило около 20% угроз. Это один из самых важных этапов тестирования и вы уже сейчас можете оценить качество работы того или иного продукта.

III этап — 3335 образцов

Третий этап очень похож на второй, разница лишь в том, что здесь тестируются образцы за вычетом мусора. Вы можете сравнить этот результат с предыдущим и определить, сколько ложных срабатываний произошло на втором этапе. Естественно, доступен архив с образцами (ссылка) и соответствующий пароль virus.

На данном этапе лучшими можно признать те антивирусы, которые показали наиболее близкие ко второму этапу результаты, однако он сам по себе не так существенен как первые два этапа.

Итоги

Вот и закончено шестое тестирование антивирусов Клубом сисадминов. Какие выводы можно сделать? В первую очередь, мы убедились, что тестировать только наиболее популярные в России решения опрометчиво — западные антивирусы показали себя ничуть не хуже знаменитого Касперского или Dr.Web'a.

Во-вторых, при внимательном изучении образцов мы обнаружили одну неприятную особенность — даже при совершенно четком указании удалять зараженные архивы, некоторые антивирусы стремятся очистить их, что по моему скромному мнению есть недостаток.

В-третьих, мы можем оценить динамику развития антивирусов, что не менее важно, чем непосредственно детектирование угроз. Итак, классические выводы по каждому конкретному продукту в той последовательности, в которой они проходили у нас по таблицам. Плюс — сюда же включены мнения тестеров, они соответствующим образом помечены.

Антивирус Касперского 2011 показал себя двояко. С одной стороны он показал традиционно высокую степень детектирования, что, безусловно, плюс. С другой — посмотрите на этот скриншот!

Продукт сканировал наш второй набор более девяти часов, тогда как другие укладывались в несколько минут. Причем подобные результаты достигли несколько человек (можете проверить лично, архивы доступны). Это в высшей степени не приемлимо, ведь если он сканирует 3339 файлов 9 часов, то сколько же займет полная проверка всего компьютера?

Ранее Антивирус Касперского назывался у нас лидером тестирования, сейчас же он просто "один из", и не самый лучший не по времени, ни по качеству. К слову, версия 2010 сканирует ощутимо быстрее, однако все равно дольше конкурентов.

Субъективное мнение (IwanS): Касперский испортился, он получает хорошие результаты благодаря накопленной годами базой, а последняя версия 2011 просто ужасна. Теперь я точно не буду ставить это чудо на свой компьютер.

Субъективное мнение (GreatEvilGod): Несмотря на неплохие результаты считаю что "Лаборатория Касперского" совсем обленилась и зажралась все без исключения антивирусы на виртуальной машине укладывались за несколько минут, а некоторые даже секунд, Касперский же на "реальной" машине работал 3,5 часа над каждым архивом, это перебор!!!

Dr.Web 6 и DrWeb CureIt

показали примерно однаковые средние результаты, что подтверждает все предыдущие тестирования. Динамика развития данного продукта — поддержка качества обнаружения на одном уровне (не самом худшем, разумеется). Есть продукты, которые пропустили меньше, и причем бесплатные, поэтому целесообразность использования данного продукта под вопросом.

Symantec Endpoint Protection и Norton Internet Security

вновь показали себя средним классом. Конечно, данные продукты в своем вооружении используют и другие, не испытанные технологии обнаружения вирусов, однако мы здесь говорим только о качестве детектирования антивирусной базой и эвристикой, а она — средняя.

Субъективное мнение (IwanS): Смысла платить за один антивирус, когда соседний бесплатный не уступает ничем первому — я лично не вижу, поэтому и отношение к платным антивирусам среднего класса у меня не очень хорошее.

Eset NOD32 v4.2

в очередной раз успешно провалил предложенные ему тесты. В первой коллекции были пропущены 3 файла, в остальных по половине. Конечно, отработал он быстро, и даже удалял зараженные архивы в полном соответствии со своими настройками, но над качеством детектирования еще работать и работать.

Субъективное мнение (IwanS): да, кстати, после проверки он еще долго отправлял "подозрительные" файлы на серверы Eset. Может когда-нибудь он и улучшит результаты сканирования конкретно наших архивов, но сегодня два независимых теста показали одни и те же цифры (см. тему на форуме).

Avira

показал себя с лучшей стороны — прекрасные показатели детектирования, удобный и понятный интерфейс, сканнер действительно удаляет зараженные архивы. В общем — большего от него и не требовалось. Твердая пятерка за тест.

Субъективное мнение (GreatEvilGod): Меняю свое мнение о этом продукте на положительное, удобный, понятный и сканирует приемлемо.

Comodo Internet Security

также хорошо себя показал, особенно на второй и третьей коллекциях. Небольшая сложность конфигурации компенсируется высоким качеством детектирования. Тоже весьма достойный продукт.

Субъективное мнение (IwanS): на самом деле, я конкретно от этого антивируса ожидал значительно худших результатов, и приятно удивлен тем, что увидел.
Субъективное мнение (GreatEvilGod): На мой взгляд несколько сложен в настройке, особенно "Internet Security", плюс имеет свойство задавать 1001-н вопрос.

Avast 5 и Avast для Linux

показывают очень интересные результаты. Если раньше они показывали одинаковые результаты сканирования, то теперь разница ощутима. Linux-версия показывает результаты, похожие на Avast 4.8, вероятно используются устаревшие базы.

Стоит понаблюдать за динамикой развития продукта, однако уже сейчас видно, что пятая версия прекрасно определяет все представленные для проверки угрозы и к тому же по-прежнему бесплатна.

Субъективное мнение (IwanS): Всегда был лучшим бесплатным антивирусом, таковым и остался. Радует, что не смотря на бесплатность, антивирус уверенно движется вперед.
Субъективное мнение (GreatEvilGod): На мой взгляд среди бесплатных остался лучшим! Как по удобству использования, так и по времени, так и по количеству обезвреженного ПО.

Microsoft Security Essentials

показал неплохие для бесплатного антивируса результаты, его смело можно рекомендовать домашним пользователям, хотя пока что до некоторых бесплатных конкурентов он не дотягивается.

G-Data Internet Security

удивил всех. На западе это известная и уважаемая компания, которая пользуется популярностью и уважением среди пользователей, однако в России она не так известна, и, как мы видим, зря. Лучшие результаты детектирования в тестировании и удобный интерфейс.

Субъективное мнение (IwanS): Признаться, раньше не знал о нем. Когда только скачивал, удивлялся большому размеру дистрибутива, а теперь вижу, что антивирус очень хороший.
Субъективное мнение (GreatEvilGod): Отличный антивирус, очень простой в использовании настройки более чем интуитивно понятны, плюс еще и работает очень хорошо!

BitDefender

представлял себя платной версией своего антивируса и показал неплохие результаты сканирования.

AVG

пропустил около 500 образцов на втором и третьем этапе, что относит его к среднему классу антивирусов. Конечно, он бесплатный, но среди бесплатных есть и более эффективные решения.

Субъективное мнение (GreatEvilGod): Какой то "топорный" интерфейс, а так вроде более или менее работает...

Panda Cloud

— это попытка сделать облачный антивирус и предоставлять антивирус "SaaS" (как сервис, см. википедию), ничем хорошим не увенчалась. Низкое качество детектирования в сочетании с почти полным отсутствием настроек делают продукт бесполезным для домашнего пользования.

Субъективное мнение (IwanS): Пожалуйста, ну путайте с обычной пандой, это другое.
Субъективное мнение (GreatEvilGod): Настоятельно не рекомендую использовать, даже если кому то покажется что результат сканирования приемлем, это животное оставляет за собой горы мусора, да еще и настроек практически нет...

Panda Antivirus

— та самая "обычная" панда, показала себя на втором и третьем этапе в 2.5 лучше, чем облачная. Обычный антивирус среднего класса, не более.

ClamAV for Windows

был оттестирован "для галочки", т.к. он сильно урезан и для использования, видимо, не предназначен. Худшие во всем тестировании показатели подтверждают.

Субъективное мнение (GreatEvilGod): Отвратительно, все что я увидел это бесполезный набор битов, начиная от ужасных результатов, отвратительного интерфейса, рекламного банера и заканчивая практически отсутствующими настройками половина из которых заблокирована по причине бесплатности.

McAfee VirusScan Enterprise

неплохо себя показал, подтвердив свой неизменно высокий уровень обнаружения. Никаких неожиданностей, но приятно, что продукт "держит марку".

Субъективное мнение (IwanS): чтобы скачать с сайта демо, надо заполнить тучу анкет, форм, ждать непонятно чего. это превращено в проблему. А так неплохо, хотя летом компания была куплена Intel, вектор развития может измениться.

Emsisoft Anti-Malware

показал на удивление хорошие результаты, вторые после G-Data, что очень и очень неожиданно и требует присмотреться к продукту внимательнее.