Рейтинги антивирусов обманчивы

[C. Tantin]

Ты тяготеешь как раз к заточке теста под вендора, а не в нормальный тест.

Неверный логический вывод Методика тестирования должна учитывать особенности аверов, хотя бы на этапе выводов, а хорошо бы и на этапе тестирования (чтобы искусственно не ставить авер в неудобные условия, намеренно или ненамеренно).

 

Не нужно. Нужно создать стенд, приближенный к реальному. Само-собой, нужно учитывать только специфику АВ. Т.е. если он облачный, то без облака он работать не сможет. Только для этого не нужно обладать экспертными знаниями.

Для очевидных случаев - да Но кто сказал, что всё в этом мире очевидно?

 

Сколько метод ты уже успел прочитать и в скольких нашел критичные ошибки?

Если честно - немного. Но только потому, что не считаю себя экспертом в области АВ-индустрии. А улыбают результаты в том плане, что на практике я иногда вижу саааавсем другую ситуацию. Тестеры называют это спецификой ситуации, я же называю несовершенством тестов. Да и Е.К. можно послушать на эту тему.

 

Сколько обсуждений методологий ты уже успел прочитать?

Сколько обсуждений методологий ты прочитал?

Ты уже прочитал методу теста лечения активного заражения?

Да, я о ней

 

Возьмем уникальный - тест лечения активного заражения.

Для остальных участников - выложи ссылку плиз на обсуждение и результаты последнего теста

[Umnik]

Неверный логический вывод wink.gif Методика тестирования должна учитывать особенности аверов, хотя бы на этапе выводов, а хорошо бы и на этапе тестирования (чтобы искусственно не ставить авер в неудобные условия, намеренно или ненамеренно).

Не должен Должен быть тест, который приближен к юзеру и показывает реальные результаты. Т.е. если антивирус ХХХ дает просадку 200% на сжатии файлов раром, это не должно быть "особенностью" АВ, это просто результат теста, с которым будет мучаться пользователь.

Для очевидных случаев - да wink.gif Но кто сказал, что всё в этом мире очевидно?

Тесты проводятся повторно на следующий год. Вот ошибки прошлых и учитываются. Вообще, желательна практика "пилотных" тестов. Например, динамический тест был пилотным.

Да, я о ней wink.gif

Отлично. В тесте лечения активного заражения 2 вредоноса = 2 метода заражения и будут иметь весомое значение. Но ты же читал, по каким параметрам выбираются вредоносы. Они не затачиваются "против" вендоров, чтобы его "опустить".

Для остальных участников - выложи ссылку плиз на обсуждение и результаты последнего теста wink.gif

Методология теста лечения активного заражения: http://www.anti-malware.ru/node/668

Результаты: http://www.anti-malware.ru/malware_treatment_test_2008

Изменено 12 октября, 2009 пользователем Umnik

[C. Tantin]

Не должен Должен быть тест, который приближен к юзеру и показывает реальные результаты. Т.е. если антивирус ХХХ дает просадку 200% на сжатии файлов раром, это не должно быть "особенностью" АВ, это просто результат теста, с которым будет мучаться пользователь.

А вот это уже серьёзная проблема теста - как провести грань между особенностями и недостатками (как там говорили... "это не баг, это фича!" ) Для этого и нужны эксперты

 

Отлично. В тесте лечения активного заражения 2 вредоноса = 2 семейства и будут иметь весомое значение. Но ты же читал, по каким параметрам выбираются вредоносы. Они не затачиваются "против" вендоров, чтобы его "опустить".

Угу. Но никто же не знает, что за сэмплы использовались А названия или даже SHA-1 не много скажут. Есть ещё пакеры-протекторы-крипторы и т.д. Официально - конечно, не затачиваются.

[Umnik]

А вот это уже серьёзная проблема теста - как провести грань между особенностями и недостатками (как там говорили... "это не баг, это фича!" biggrin.gif) Для этого и нужны эксперты wink.gif

Обычно достаточно здравого смысла.

Угу. Но никто же не знает, что за сэмплы использовались wink.gif А названия или даже SHA-1 не много скажут. Есть ещё пакеры-протекторы-крипторы и т.д. Официально - конечно, не затачиваются.

Как минимум смогут воспроизвести те, кто:

1. Имеет доступ к семплам (эксперты, администрация, активные участники АМ, доказавшие свою адекватность)

2. Те из вендоров, кто пожелает оспорить результаты/доказать подкуп. Им, кстати, это легче всего было бы сделать.

3. Те, кто имеет в коллекции набор. Таких не мало среди тех, кто помогает лечить компы (хелперы, например).

[C. Tantin]

Обычно достаточно здравого смысла.

Вот и получаются тесты "пользователей со здравым смыслом" а не экспертов.

 

Как минимум смогут воспроизвести те, кто:

Говорю же - воспроизводимость сама по себе - мало что значит. Речь о методике. Невоспроизводимые тесты вообще вызывают презрительную усмешку, несовершенная методика - сочувственную улыбку.

 

Да, кстати, тесты отдельных аспектов работы авера - энд-юзеру мало что скажут (по крайней мере, должны мало что сказать), нужен комплексный тест, дающий вес "циферкам в процентах" напротив названия авера... но это задача для экспертов

 

Обычно достаточно здравого смысла.

Вот и получаются тесты "пользователей со здравым смыслом" а не экспертов.

 

Как минимум смогут воспроизвести те, кто:

Говорю же - воспроизводимость сама по себе - мало что значит. Речь о методике. Невоспроизводимые тесты вообще вызывают презрительную усмешку, несовершенная методика - сочувственную улыбку.

 

Да, кстати, тесты отдельных аспектов работы авера - энд-юзеру мало что скажут (по крайней мере, должны мало что сказать), нужен комплексный тест, дающий вес "циферкам в процентах" напротив названия авера... но это задача для экспертов

[Umnik]

Вот и получаются тесты "пользователей со здравым смыслом" а не экспертов.

Метода - результат коллективного мышления. По-моему уже несколько раз об этом говорил.

Говорю же - воспроизводимость сама по себе - мало что значит. Речь о методике. Невоспроизводимые тесты вообще вызывают презрительную усмешку, несовершенная методика - сочувственную улыбку.

Сколько раз мне цитировать про методу?

Да, кстати, тесты отдельных аспектов работы авера - энд-юзеру мало что скажут (по крайней мере, должны мало что сказать), нужен комплексный тест, дающий вес "циферкам в процентах" напротив названия авера... но это задача для экспертов wink.gif

http://www.anti-malware.ru/tests_history

http://www.anti-malware.ru/forum/index.php?showtopic=7900

[C. Tantin]

Метода - результат коллективного мышления. По-моему уже несколько раз об этом говорил.

Это как-то оправдывает сомнительность результатов? Помню я, как малварь для теста ЛАЗ выбирали... Я даже думал зарегаться... почитал - передумал.

 

Сколько раз мне цитировать про методу?

Сколько мне раз цитировать, что она сомнительна?

 

Вообще, если честно, меня этот разговор утомил...В общем, если это кому-нибудь нужно - пусть тестят

 

У меня пару раз возникало желание сделать что-то типа АМ - но с пониманием, сколько времени и сил нужно на качественный тест - желание напрочь отпадало В общем, я за истребление вирусописателей, а не за тесты аверов

[SergeyUser]

"Критично ошибочное заблуждение. За это время у пользователей уже сопрут все, что можно будет спереть. Вот здорово, правда? А патчи делаются совсем не 1 день. Их нужно сделать, протестировать. Т.е. у авторов вредоносов будет совсем не один день и даже не неделя."

 

Уточню - безусловная публикация информации об уязвимости спустя неделю с момента предоставления полной информации о проблеме вендору. Если за неделю вендор не может выпустить критический фикс, значит вендор не подходит.

 

По поводу анализа продуктов - не понимайте все слишком буквально. Тест - это инструмент, выводы же *всегда* делает человек. Я хотел именно это подчеркнуть.

 

"Возьмем уникальный - тест лечения активного заражения".

 

Я понимаю, почему всем нравится это тест - было пространство для творчества. Вот только незадача - для меня, например, это параметр вообще не аргумент и он не интересен, и я, как эксперт, настаиваю, что лечить зараженную систему в активном состоянии не есть признак профессионализма, поэтому даже пытаться этого делать не буду, и уж тем более советовать кому-то это делать. Мы ведь говорим про KIS - продукт для пользователей с продвинутыми требованиями и определенным пониманием происходящего? Да, я помню про "обычных" пользователей. Но только в их случае нужно или обратиться к специалисту, или смочь перезагрузить компьютер с "чистого" диска, и потом уже разбираться, что произошло с системой и как это исправить. И в данном случае мне не нравится, когда независимые порталы вроде АМ начинают косвенно подталкивать пользователей совершать действия, которые лучше бы были им вообще не доступны, и они не знали про них. Все мы знаем про попытки зловредов противостоять отладке, и потенциальное наличие дополнительных вредоносных проявлений при обнаружении попыток изучить зловред. В этом случае останется только дождаться, когда начнут появляться мутации зловредов, проявляющие себя особенно злобно при осуществлении попыток лечения. Это вопрос времени - как только пользователи начнут рассчитывать, что данный механизм (лечения активного заражения) работает, он станет особо атакуемым звеном защиты.

 

Umnik, и я так и не понял в итоге - воспроизводимость важна или нет? По-моему, она важна. Это не единственный фактор, но его можно считать если и не необходимым, то по крайней мере очень желательным. Тест ЛАЗ не воспроизводим по той причине, что нет способа получить набор зловредов, который использовался для проведения тестов. Да, на это есть причины, но само по себе это еще один принципиальный минус методики тестирования.

 

Или возможность есть какая-то, сертифицироваться на проведение тестов с особо токсичным зловредами, принять присягу, пройти детектор лжи и пр.? Запишите меня тогда в очередь Боюсь, что я смогу услышать только то, что "мы образцы зловредов в принципе никому не выдаем". Ну так и толку мне с таких тестов, как независимому эксперту. В итоге я напрямую зависим от тех, от кого хотелось бы быть полностью независим при воспроизведении тестов. Не видите никаких противоречий со здравым смыслом? Остается только сидеть и собирать свой собственный зоопарк, и потом доказывать, что у меня те же образцы? Сравнивать по SHA и надеяться, что у меня все-таки именно те же образцы, что особенно актуально для полиморфных семейств? Хм...

Изменено 13 октября, 2009 пользователем SergeyUser

[Umnik]

Это как-то оправдывает сомнительность результатов?

Ты никак не можешь привести дырки в методе. Вообще, у некоторых тут логика как у Данилова: "Это неправильные тесты, потому что это АМ". Не, ну я тоже могу говорить: "Это неправильный метод, потому что у меня пятка чешется".

Сколько мне раз цитировать, что она сомнительна?

Объяснений нет же.

Уточню - безусловная публикация информации об уязвимости спустя неделю с момента предоставления полной информации о проблеме вендору. Если за неделю вендор не может выпустить критический фикс, значит вендор не подходит.

Вы, наверное, не занимаетесь разработкой, тестированием, и выпуском программ, вроде антивирусов. Неделя, это маленький срок.

Я понимаю, почему всем нравится это тест - было пространство для творчества.

Нет. Просто он проверяет одну из важнейших функций антивируса и является уникальным.

Вот только незадача...

Вот это вот длинный монолог не учел маааленькой штучки - вредонос уже запущен, а сигнатура приплыла через минуту после запуска.

Umnik, и я так и не понял в итоге - воспроизводимость важна или нет?

Важна.

Тест ЛАЗ не воспроизводим по той причине, что нет способа получить набор зловредов, который использовался для проведения тестов. Да, на это есть причины, но само по себе это еще один принципиальный минус методики тестирования.

Я уже говорил, что вопроизвести недоброжелатели их могли бы, если бы результат не подтвердил тестов АМ. И наверняка воспроизводят, но у себя, внутри. Кусают локти и молчат.

Распространение же вредоносов - вообще статья. Конечно, есть свои тонкости, потому в закрытом разделе, ограниченный круг лиц имеет туда доступ, а вот широкие массы - нет.

Или возможность есть какая-то, сертифицироваться на проведение тестов с особо токсичным зловредами, принять присягу, пройти детектор лжи и пр.? Запишите меня тогда в очередь wink.gif Боюсь, что я смогу услышать только то, что "мы образцы зловредов в принципе никому не выдаем".

И дальше длинно.

Вы лично можете получить доступ.

[SergeyUser]

Umnik,

 

Обсуждение становится более конструктивным, что радует. Давайте будем продолжать внимательно слушать друг друга, и тогда в споре может родиться истина. Далее - по сути ваших последних комментариев.

 

"Вы, наверное, не занимаетесь разработкой, тестированием, и выпуском программ, вроде антивирусов. Неделя, это маленький срок."

 

Занимаюсь разработкой (не антивирусов), поэтому знаю, что говорю. Срок вам кажется маленьким только потому, что вы его примеряете к текущему, стандартному процессу разработки. Когда речь идет о точечном закрытии конкретной проблемы - недели должно быть более чем достаточно. Допустим, в KIS 2 млн. строк кода (не сильно ошибся ?), ну и что с того? Продукт модульный, соответственно при правильном подходе можно обеспечить приемлемый уровень совместимости и стабильности (будем надеяться, что разработчики KIS используют многие тысячи unit-тестов для контроля регрессии базовой функциональности), и даже если что-то пойдет совсем не так, можно выпустить обновление поверх обновления по стандартному каналу обновлений. Вы будете говорить, что этого времени мало, до тех пор, пока не найдется компания, которой этого времени будет достаточно. Тогда сразу и вам его станет достаточно.

 

Приведу пример. Раньше MS тоже считала, что операционная система должна разрабатываться 3-5 лет. А потом пришла Apple и стала выпускать систему каждый год. И, о чудо - MS резко ускорила выпуск новых версий Windows. Рынок делает свое дело, даже для таких монстров, как MS. А уж для AV-вендоров и подавно.

 

"Нет. Просто он проверяет одну из важнейших функций антивируса и является уникальным."

"Вот это вот длинный монолог не учел маааленькой штучки - вредонос уже запущен, а сигнатура приплыла через минуту после запуска."

 

Я вас правильно понял, вы настаиваете, что правильным подходом в данной ситуации (активное заражение) будет именно использование возможности лечения активного заражения, без перезагрузок с чистого диска и проч., это и есть ваша рекомендация как эксперта? Т.е. функция настолько надежна и распрекрасна, что она более предпочтительна, чем лечение заражения в чистой среде? Постарайтесь ответить да или нет, без уходов в сторону.

 

"Вы лично можете получить доступ."

Спасибо за доверие. Возможно, в будущем воспользуюсь вашим предложением, чтобы помочь общественности получить более объективную картину происходящего.

Изменено 13 октября, 2009 пользователем SergeyUser

[Umnik]

Занимаюсь разработкой (не антивирусов), поэтому знаю, что говорю.

Недельного тестирования достаточно для патча, который поправит орфографическую ошибку в скине. Недели хватит, чтобы проверить, не разъехался ли ГУЙ на 6-ти ОС на, хотя бы, 4-х локализациях двух наших продуктов. Конечно, это будет не один человек делать.

Приведу пример. Раньше MS тоже считала, что операционная система должна разрабатываться 3-5 лет. А потом пришла Apple и стала выпускать систему каждый год. И, о чудо - MS резко ускорила выпуск новых версий Windows.

95-98 - 3 года.

98-XP - 3 года.

XP-Vista - 5 лет.

Vista-7 - 3 года.

Резко ускорила, говорите?

А уж для AV-вендоров и подавно.

У АВ не только рынок. У АВ, знаете ли, вирьмейкеры.

Я вас правильно понял, вы настаиваете, что правильным подходом в данной ситуации (активное заражение) будет именно использование возможности лечения активного заражения, без перезагрузок с чистого диска и проч

Неправильно. В случае активного заражения правильным будет это заражение устранить. Нужна перезагрузка - сделать перезагрузку.

Т.е. функция настолько надежна и распрекрасна, что она более предпочтительна, чем лечение заражения в чистой среде?

Не всякое заражение можно вылечить из чистой среды. Подключите винт друга, проверите его, найдете вредоносы. А система больше не загрузится. Потому что только лечение активного заражения может вычистить вредоносов и из реестра.

Хотя лечить заражение файловым вирусом лучше на другом компе, да.

Спасибо за доверие. Возможно, в будущем воспользуюсь вашим предложением, чтобы помочь общественности получить более объективную картину происходящего.

Я абстрактно сказал. Есть определенные требования. Если они будут выполнены, то доступ Вам предоставят.

[C. Tantin]

Ты никак не можешь привести дырки в методе.

Я уже писал не один раз. Применительно к тесту ЛАЗ - это выбор тестовой малвари. "умными словами" - выборка нерепрезентативна, поэтому тест слабо отражает реальное положение вещей.

 

Объяснений нет же.

Да были, как нет. Всего 2 семпла Добавь +2 к нечётным и -2 - к нечётным аверам в списке результатов и сравни. Конечно, при смене 2х семплов не так резко поменяются результаты, но если поменять больше...

 

Резко ускорила, говорите?

Угу. Виста - 7 меньше 3 лет, и дальше кричат "даёшь пятилетку за 3 годановую винду каждые 2 года"

[SergeyUser]

Umnik,

 

По поводу скорости исправления ошибок. Если на орфографическую ошибку нужна неделя - то мне нечего добавить. Действительно возможны сложные, принципиальные ошибки, которые можно и неделями исправлять. Но если речь идет о банальном переполнении буфера, неправильной обработке входных параметров, т.е. типичных причинах уязвимостей, то однозначно можно исправить быстрее, было бы желание.

 

По скорости выпуска Windows С. Tantin уже пояснил.

 

"У АВ не только рынок. У АВ, знаете ли, вирьмейкеры."

 

А у MS все сразу, включая вирмейкеров, и еще маленькая тележка остальных причастных.

 

"В случае активного заражения правильным будет это заражение устранить. Нужна перезагрузка - сделать перезагрузку."

 

Если есть болезнь - ее нужно вылечить Тут вы абсолютно правы. Я спрашиваю, как именно это следует сделать, и действительно ли стоит полагаться на функцию лечения активного заражения, вместо того, чтобы сначала диагностировать проблему на неактивной системе. С моей точки зрения полагаться на эту функцию не стоит, а с вашей? Поясните свою позицию.

 

"Не всякое заражение можно вылечить из чистой среды. Подключите винт друга, проверите его, найдете вредоносы. А система больше не загрузится. Потому что только лечение активного заражения может вычистить вредоносов и из реестра.

Хотя лечить заражение файловым вирусом лучше на другом компе, да.".

 

Я вообще не считаю, что лечение серьезно зараженной системы чем-то, тесно интегрированным в нее - благодарное дело. Нужно восстанавливать только данные, которые представляют ценность. Это - самый гарантированный вариант.

 

Кстати, приведите для справки примеры популярных (из двадцатки) зловредов, которые можно вылечить только в активном состоянии, очень любопытно.

 

"Я абстрактно сказал. Есть определенные требования. Если они будут выполнены, то доступ Вам предоставят."

 

Вот в этом и проблема, что говорите абстрактно. Требования-то хоть не секретные? Огласите, думаю всем будет интересно. Заодно хочу проверить, подпадаю ли А то опять же независимым экспертам я уж не знаю куда надо на поклон сходить, а всего-то требуется воспроизвести тест! Отличная методика, превосходная.

[Umnik]

Я уже писал не один раз. Применительно к тесту ЛАЗ - это выбор тестовой малвари. "умными словами" - выборка нерепрезентативна, поэтому тест слабо отражает реальное положение вещей.

1. Что такое ЛАЗ?

2. Ты же читал методу. Малварь выбирается по методам заражения. В последнем тесте было 15 штук, было 15 методов заражений, почти все существующие. Чтобы добавить +2, их нужно было найти. Только не было их! Уже после теста появился tdss. Так что малварь выбрана корректно, тест репрезентативен.

Угу. Виста - 7 меньше 3 лет, и дальше кричат "даёшь пятилетку за 3 годановую винду каждые 2 года"

Имеем 3 года. А мне заявляли о резком ускорении, которого нет. Плюс я слышал, что новая ОС будет каждые 5 лет как раз.

 

Если на орфографическую ошибку нужна неделя - то мне нечего добавить.

Около того, обычно больше. Просто патч для исправления такой ошибки сам по себе готовить не будут, он еще что-то будет править наверняка.

Но если речь идет о банальном переполнении буфера, неправильной обработке входных параметров, т.е. типичных причинах уязвимостей, то однозначно можно исправить быстрее, было бы желание.

Зависит от критичности. Публиковать уязвимости в короткие сроки - это подставлять под удар пользователей. Но я об этом уже говорил.

По скорости выпуска Windows С. Tantin уже пояснил.

Угу. Противоречив Вам. Потому что его слова касались только Висты и 7-ки, а Вы говорили:

Приведу пример. Раньше MS тоже считала, что операционная система должна разрабатываться 3-5 лет. А потом пришла Apple и стала выпускать систему каждый год. И, о чудо - MS резко ускорила выпуск новых версий Windows.

Учитывая, что 7-ки еще не существует, это заявление о резком ускорении вообще неверно.

А у MS все сразу, включая вирмейкеров, и еще маленькая тележка остальных причастных.

МС не делает патчей, который запрещают правку \knowndlls и подобных, подходы разные. Потому она может делать ОС раз в 3-5 лет.

Поясните свою позицию.

Эта функция отработает корректнее во многих случаях, нежели проверка с другого компа. Проверка с другого компьютера не вычистит вредоноса из реестра и я это уже говорил. А учитывая, что сейчас редкая зараза не прописывается хотябы в userinit или shell, для пользователя это может быть критично. А вот технологии ЛК это учитывают. Да, тестерам не нравится, что теперь eicar удаляется несколько минут, но это работает клинап, то, чего нельзя добиться, если винт будет в чужом ПК.

Но вирусное заражение лучше лечить с другого ПК. Вирусное, т.е. заражение классическими вирусами.

Я вообще не считаю, что лечение серьезно зараженной системы чем-то, тесно интегрированным в нее - благодарное дело. Нужно восстанавливать только данные, которые представляют ценность. Это - самый гарантированный вариант.

А можно пролечить систему. И Вы знаете, это одна из задач антивируса. Восстановить данные можно и в случае неудачного лечения.

Кстати, приведите для справки примеры популярных (из двадцатки) зловредов, которые можно вылечить только в активном состоянии, очень любопытно.

Вопрос не по адресу. Я не особо слежу за классификациями.

Требования-то хоть не секретные? Огласите, думаю всем будет интересно.

Нет, они написаны были ранее. Искать их не стал принципиально. Если Вам действительно интересно, можете обратиться на форум и спросить, где эти требования находятся.

Заодно хочу проверить, подпадаю ли

Нет. Пока вы "каждый встречный-поперечный". Доступ нужно заслужить. В общем, найдите требования.

[SergeyUser]

Umnik,

 

"Около того, обычно больше. Просто патч для исправления такой ошибки сам по себе готовить не будут, он еще что-то будет править наверняка."

Если рассмотреть случай исправления только одной, критической ошибки, которая заслуживает исправления ASAP? Все еще неделя?

 

"Учитывая, что 7-ки еще не существует, это заявление о резком ускорении вообще неверно."

Не проблема, скоро выйдет Windows7 и тогда посчитаем. Ускорение в любом случае имеется. А ведь наверняка тоже говорили, что быстрее никак

 

"Эта функция отработает корректнее во многих случаях, нежели проверка с другого компа. Проверка с другого компьютера не вычистит вредоноса из реестра и я это уже говорил. А учитывая, что сейчас редкая зараза не прописывается хотябы в userinit или shell, для пользователя это может быть критично. А вот технологии ЛК это учитывают. Да, тестерам не нравится, что теперь eicar удаляется несколько минут, но это работает клинап, то, чего нельзя добиться, если винт будет в чужом ПК."

 

"А можно пролечить систему. И Вы знаете, это одна из задач антивируса. Восстановить данные можно и в случае неудачного лечения."

 

"Вопрос не по адресу. Я не особо слежу за классификациями."

 

Забавно - ситуация, по вашим словам, типичная, а вы даже одного примера конкретного привести не можете. Напомню - приведите образец из 20-ки, который нельзя вылечить на неактивной системе. Я не спорю, он возможно есть, но можно ли его привести? Будьте так любезны.

 

"Нет, они написаны были ранее. Искать их не стал принципиально. Если Вам действительно интересно, можете обратиться на форум и спросить, где эти требования находятся."

 

"Нет. Пока вы "каждый встречный-поперечный". Доступ нужно заслужить. В общем, найдите требования."

 

Как только вопрос сводится к конкретике, то становится "лень", вы "перестаете следить за классификациями" и пр. Раз уж общаетесь в ветке - то и аргументы тут приводите. А общественность пусть рассудит, кто тут эксперт.