Тест на лечение активного заражения 3

[C. Tantin]

Umnik, в твоём предыдущем посте я согласен со ВСЕМ. Но не могу понять одного: в чём я не прав, говоря:

мхо - было бы побольше малвари, да отобранной независимо ни от чего - результаты были бы совсем другие.

....

А так - моё мнение - цифра 100% для любого антивируса (при условии что ближайшие конкуренты, и притом не худшие, а если худшие, то ненамного - по тестируемому параметру, не добрались и до 80%) - это пиар. И переубедить меня в этом очень сложно. Хотя бы потому, что могу подобрать набор зловредов, при котором на как на первом месте окажется ДрВэб, КАВ или Аваст, так и на последнем (из трёх).

 

Плюс маленькая ремарка: условия обязательного детекта - совсем необязательно, при условии выбора "широко известной" малвари и полученной "ITW". А то я завтра напишу за день антивирь, который будет детектить полсотни известной малвари и будет все полсотни активно лечить - и возьму 100% в таком тесте. Несмотря на то, что такой "продукт" и антивирусом нельзя будет назвать ;-) Ситуация надуманная, но намёк, думаю, ясен.

[Umnik]

Получится превосходная утилита для лечения активного заражения.

[IStogov]

Получится превосходная утилита для лечения активного заражения.

 

 

А то я завтра напишу за день антивирь, который будет детектить полсотни известной малвари и будет все полсотни активно лечить - и возьму 100% в таком тесте.

если в полсотни включить 15 из теста - не напишите, а жаль

[Zanuda]

И всё-же, поддержу автора темы.

По-моему, она создавалась вовсе не для обсуждения методики проведения теста (которая, ИМХО, полностью соответствует поставленной задаче и вполне чётко изложена здесь). Понятно, что для тех трёх сэмплов процедуры лечения на момент тестирования были не совсем адекватны.

Вопрос, ответ на который очень бы хотелось услышать: исправлено ли лечение в настоящий момент? На подробности рассчитывать врядли приходится, но хотя бы ДА/НЕТ?

[C. Tantin]

если в полсотни включить 15 из теста - не напишите, а жаль

Естественно не напишу, поэтому и запостил это:

 

Ситуация надуманная, но намёк, думаю, ясен.

 

[добавлено чуть подумав]: ну, может не за день, но задача довольно реальная и имхо выполнимая. Я это к чему вообще писал - что можно написать утилиту для лечения активного заражения (Umnik точно классифицировал), которая окажется в таком вот тесте лучше любого антивируса, а обыватель как у нас - не на суть смотрит, а на цифры, награды и рейтинги. Большинству юзеров очень непросто объяснить в чём разница тестов на детект и тестов на активное лечение. Юзер смотрит на проценты. А я считаю что такие тесты - прямой пиар. Созданный при помощи "грамотного" подбора малвари. К чему я про "могу написать утилиту..." - в таких тестах она будет первой, в реальной ситуации - последней. Потому что большинство малвари будет просто не детектить. В то время как большинство антивирей по количеству детектируемой и лечимой малвари в десятки раз превзойдут такую вот прогу... Насчёт напишу-не напишу: я такой цели не ставил, поэтому точно даже не скажу, это был пример, показывающий малополезность таких тестов.

Изменено 26 октября, 2008 пользователем C. Tantin

[Umnik]

Есть же всякие Руткит Анхукеры, завоевавшие золото на тесте борьбы с руткитами. Их антивирусами не называют. А тестировались антивирусы.

Калинин тоже антивирус писал...

[C. Tantin]

Есть же всякие Руткит Анхукеры, завоевавшие золото на тесте борьбы с руткитами. Их антивирусами не называют. А тестировались антивирусы.

Понятно. Но я не об этом. Кстати да, специализированное, узконеправленное ПО всегда будет лучше "комбайнов". Но, во первых, держить кучу софта для ИБ (одну софтину - от руткитов, другую - от кейлоггеров, третью - от адвари, четвёртую - в качестве фаера, и т.п.) не всегда удобно и оправдвно. Во-вторых, на на настройку, а потом на поддержание этого зоопарка тулзов нужен не только определённый опыт, но и время. Поэтому комбайны и рулят для большинства юзверей и конфигураций. Этот пример (про "тилиту для лечения активного заражения") был приведён для иллюстрации негативного влияния результатов таких тестов на мнение не сильно понимающих в данном вопросе юзверей. Плюс было сказано о сомнительной (это мягко говоря) точности результата тестов. Подливает масла в огонь тезис об обязательном детекте тестовой малвари всеми антивирями - если есть распространённая и далеко не новая малварь, а какие-то антивири даже не детектят её, то присуждать "золото" (или какое-то другое место) этому антивирю, имхо, неразумно... Это может и допустимо, но тогда тест будет чисто синтетическим и мало соотносимым с реальной работой антивирей. Короче говоря - малополезным. Имхо...

 

А это привожу просто без комментариев (речь шла про тесты VB100):

Поскольку тесты эти - увы, туфта... И никакой полезной нагрузки уже давно не несут.

Изменено 26 октября, 2008 пользователем C. Tantin

[Sandynist]

исправлено ли лечение в настоящий момент? На подробности рассчитывать врядли приходится, но хотя бы ДА/НЕТ?

 

Очень будет странная ситуация, если для теста на лечение активного заражения №4 будут взяты эти же 3 образца, на которых мы показали не самые лучшие результаты, и это не позволит нашему продукту занять первое место

 

Я сейчас порылся в истории проведения тестов - троян Rootkit.Win32.Agent.ea принимал участие в тесте на лечение активного заражения №2, который проводился год тому назад. За этот год ничего не изменилось, разбора полётов не было, выводы не были сделаны, процедуры лечения нет до сих пор

 

Странно будет три года подряд проигрывать на одном и том же вирусе

 

Подробное обсуждение результатов теста на лечение №2

[Zanuda]

Самое печальное то, что этот руткит появился ещё во времена шестёрки (KIS 7 начали тестировать где-то в апреле 2007, если мне не изменяет память?). Вот такой вот "задел" на будущее оказался

[Fasawe]

Не верю я тестам. Всегда найдутся такие вирусы, которые одни антивирусы будут ловить, а другие нет.

Хотел бы увидеть как антивирусы справлялись бы со "старичками" типа Sentinel, OneHalf и т.п.

Вот на это было бы интересно посмотреть...

 

З.Ы. По слухам, NOD32 проваливает этот тест вчистую...

Изменено 17 ноября, 2008 пользователем Fasawe

[Sandynist]

Всегда найдутся такие вирусы, которые одни антивирусы будут ловить, а другие нет.

 

Здесь немного иная ситуация - по условиям проведения тестирования продукт как минимум должен детектировать образец, который примет участие в тестировании. Или на крайний случай - вендор должен быть оповещён о том, что именно этот образец будет включён в тест.