Интересен ли Хабру тест оперативности антивирусных продуктов ?

Question

[Андрей]

Для личных целей выбора антивируса проанализировал 2500 вирусных результатов virustotal-а с 1.1.2010 (ссылки, которые нашел посредством поисковых систем; причем из них только те, где не менее 8 движков признали файл вирусом). По этим ссылкам построил таблицу качества обнаружения для разных антивирусных движков — точнее, получается — рейтинг скорости добавления вирусных описаний в их базы.

Интересен ли будет хабраобщественности материал с результатами? Или не позориться «отсебятиной без методики» и не вступать в конкуренцию с монстрами типа Anti-Malware.ru?

Answer 1

[Igor Petrov]

Лично мне была бы интересна статья, хоть я и далек от данной тематики.

Comments

[dezo]

Да всем, думаю, будет интересно, ждем тестов! :]

Answer 2

[un1t]

Интересно!

Answer 3

[rtzra]

Искренне не понимаю смысла таких вопросов. Если лично ВАМ какая-то тема интересна — дерзайте, пробуйте и делитесь результатами. ВСЕГДА найдутся люди, которым ваш материал пригодится.

Comments

[artyomst]

Обычно, такие вопросы создают для повышения кармы, но у автора с ней всё нормлаьно и мне в таком случае тоже не понятно для чего вопрос?

[zizop]

Я бы перефразировал, обычно ВСЕГДА найдутся люди, которым, ваш материал не интересен. Они то и будут минусовать. Хотя мне тема нравится.

Answer 4

[Артём]

Риск — дело благородное! Дерзайте и удачи!

Answer 5

[Webtun]

Интересно!

Удачи!

Answer 6

[gjf]

Поясните плз, какова была методика оценки? Просто чтобы Вы понимали: когда отправляют файл на VirusTotal, если сэмпл не получил детект — его отправляют всем вирлабам-участникам.

Плюс — «детект» иногда может быть на зловреда:
1) сигнатурной базой («полноценный детект»);
2) эвристикой или облачной технологией (не показатель качества антивируса, но показатель эвристики);
3) на упаковщик/протектор кода (вообще спорный результат).

Отсюда — если сравнивать детект по п.1 — это одно, по п.2 — другое. Более того, зачастую срабатывание может быть ложным — живой пример: любой кейген, упакованный автором ворованной Themida, чтобы крякерские группировки-конкуренты не стырили алгоритм генерации — вызовет «стойку» большинства антивирусов, поскольку той же ворованной Themida пакуют зловредов, а распаковать антивирь не может — итого всех гребут одной гребёнкой. как расценивать такой детект?

Безусловно, Ваша работа заслуживает похвалу как любой серьёзный подход к выбору программного (и не только) продукта, но будьте готовы к серьёзной критике.

Comments

[Андрей]

Методика, если ее можно назвать таковой, предельно проста и конечно может вызвать множество нареканий от профессионалов в этой области. Собственно поэтому я и задал этот вопрос (отвечаю на вопрос artyomst) и поэтому привел методику в самом вопросе:

В сети (в основном конечно в форумах с просьбой «полечить») я нашел 3200 ссылок на прошедшие на VirusTotal-е анализы, скачал результаты wget-ом, обработал. Получил 2500 фактов, когда как минимум 8 антивирусных движков сказали на экземпляре «фас» и выяснил, что именно это были за движки (отсортировал их по частоте срабатывания).

1. Да, я понимаю, что факт отправки экземпляра на VT обычно представляет собой где-то начало или середину временного периода ознакомления антивирусных компаний с экземпляром. Поэтому, через неделю-две на этот же экземпляр срабатываний будет гораздо больше. Но мне собственно и интересен рейтинг именно в середине этого процесса — чьи аналитики раньше/быстрее получают экземпляры из feedback либо чьи эвристики являются более жесткими.

2. Я понимаю, что есть проблема ложных срабатываний (это к вопросу об эвристиках больше). Сейчас порог выбран в 8 движков, признающих экземпляр вирусом. Давайте еще жестче загрубим планку — например, в 12-15 срабатываний? Тогда я думаю сомнений не останется в отсеивании 99% false positive.

3. Я понимаю риск наличия условных вероятностей и зависимостей, из-за того, что я не сам отправлял на анализ экземпляры, а выбрал готовые результаты из Инета за 2010 и 2011 год. Однако, считаю, что сам объем выборки в 3200 штук всё же делает эту проблему менее актуальной и переводит исследование в разряд репрезентативных.

Теперь, собственно по Вашему вопросу: я проводил исследование для себя. Воспринимайте его как один из множества альтернативных. Своей цели я достиг — для себя результатом доволен. Именно из-за непрочности методики я вынес вопрос «интересны ли подобные результаты Хабру ?» в Q/A. А серьезная критика — это всегда хорошо. Я постарался максимально снизить риски корреляций и ошибок, насколько это позволяют мои входные данные. Был бы рад увидеть Ваши конструктивные предложения по улучшению этого процесса здесь или в личной почте.

[gjf]

Мне трудно сейчас что-либо предложить, потому что вопрос достаточно сложный и интересный. Отсеивать эвристические результаты неверно, поскольку срабатывание эвристики в какой-то степени тоже является мерой защиты — даже при условии наличия фалсов.

Я бы заведомо отсеял все детекты, связанные с упаковщиками (ака Packed, Black.a и т.д.) — потому как имхо полноценным детектом это тоже назвать сложно.

Моё мнение в целом схоже со всеми остальными — публикуйте статью. Учитывая достаточное количество специалистов и даже представителей антивирусных вендоров на Хабре, материал будет интересен и вызовет здоровый и конструктивный (надеюсь) спор.

Только Вам действительно нужно очень внимательно и серьёзно подойти к изложению материала, чтобы не вызвать непонимания.

Answer 7

[IllariPosselt]

Безусловно, интересно

Answer 8

[0xZ]

В ожидании.

Answer 9

[Михаил Лялин]

честно говоря, смотрю тесты только на Anti-Malware.ru — независимый информационно-аналитический центр

Comments

[Андрей]

ну я же упоминаю их в самом вопросе — прочитайте внимательно