Рейтинги антивирусов обманчивы

[SergeyUser]

Umnik,

 

Возьмите две ситуации:

 

1. Методика создана коллективно, причем нельзя точно определить, кем;

2. Под методикой стоит подпись человека, который обладает авторитетом, как признанный эксперт (или максимум 2-5 экспертов, каждый из которых согласен со всеми пунктами методики и с ней целиком).

 

Так вот сейчас вы говорите про 1, и для меня это не значит ровным счетом ничего. Если бы был вариант 2 - я бы, обнаружив лажу в методике, знал, что следующие методики от этого же автора(ов) в меньшей степени заслуживают доверия.

 

Пример касательно скриптов - тест по самозащите антивирусов. Без скриптов для запуска упомянутых вызовов их придется писать заново с 0, чтобы воспроизвести тесты.

 

Про баллы - это выражение такое, если вы не поняли Знаете такое выражение - "заработал много очков своим поступком?" Когда с тестами анти-малваре будет не согласна ЛК, я, возможно, во что-то и поверю. Что-то не припомню критики в адрес АМ вообще. Вот вы тоже достаточно ръяно доказываете, как все хорошо. Т.е. формально, повторюсь, все Ok, а осадочек какой-то подсознательный остается.

[Umnik]

Если бы был вариант 2 - я бы, обнаружив лажу в методике, знал, что следующие методики от этого же автора(ов) в меньшей степени заслуживают доверия.

Еще раз - метода коллективная. Нельзя выделить, что кто-то один что-то предложил, нет "авторских" тестов. Подписи можно ставить, но как гарант, что Эксперты считают ее верной.

Пример касательно скриптов - тест по самозащите антивирусов. Без скриптов для запуска упомянутых вызовов их придется писать заново с 0, чтобы воспроизвести тесты.

Метода теста СЗ не оговаривается. Собственно, поэтому я считаю тест провальным. Но дело даже не в этом, дело в том, что семплы и скрипты не будут лежать в общем доступе, иначе их дружно накачают скрипт-кидди. Доступ к семплам имеют только вполне конкретные люди, список которых закреплен в специальной теме. У меня доступ есть, кстати.

Знаете такое выражение - "заработал много очков своим поступком?"

Нет.

Когда с тестами анти-малваре будет не согласна ЛК, я, возможно, во что-то и поверю.

С первым тестом производительности не согласна, например. Потому что он вообще не учитывал ускоряющие технологии. Только это был провал теста.

И почему только ЛК? А Софос? А Симантек? А Тренд Микро? А Доктор? А Панда? А Авира? А прочие?

[SergeyUser]

Umnik,

 

Пусть хоть миллион пользователей предлагают свои идеи, это не мешает определенному количеству экспертов одобрить (подписаться под, сертифицировать) тест. Тогда доверие к конкретным экспертам поможет доверять и конкретным методикам (или наоборот - не доверять).

 

По поводу скриптов не понял - их скрывают, потому что они могут нести какой-то вред? По-моему, было бы больше пользы от их публикации, чем вреда (и уж доверие точно было бы к результатам выше). Это ведь не образцы зловредов, как-никак.

 

По поводу несогласия с результатами тестов со стороны компаний ("почему именно ЛК?") - потому что основатель портала раньше там (в ЛК) работал, насколько я знаю.

[Umnik]

Пусть хоть миллион пользователей предлагают свои идеи, это не мешает определенному количеству экспертов одобрить (подписаться под, сертифицировать) тест. Тогда доверие к конкретным экспертам поможет доверять и конкретным методикам (или наоборот - не доверять).

Если предложенное имеет смысл, оно будет принятно. Зачем столько теории, почему бы просто не попробовать или не понаблюдать? Чем больше я читаю, чем сильнее убеждаюсь, что Вы не очень-то интересовались тестами.

По поводу скриптов не понял - их скрывают, потому что они могут нести какой-то вред?

Их просто не выкладывают, если они используются.

По-моему, было бы больше пользы от их публикации, чем вреда (и уж доверие точно было бы к результатам выше)

Я знаю несколько способов убить наших конкурентов. Мне что, выложить все это? Много это пользы принесет? Я могу уведомить конкурентов, конечно. Только желания нет. А т.к. делиться я этими знаниями тоже не буду, то и черт с ними. А вот результаты тестов вендоры получат, так что у них будет возможность по итогам все поправить.

По поводу несогласия с результатами тестов со стороны компаний ("почему именно ЛК?") - потому что основатель портала раньше там (в ЛК) работал, насколько я знаю.

Угу, работал. И что? Значит, портал принадлежит ЛК? Я работаю в ЛК, значит моя ЖЖ (которой нет, правда) принадлежит ЛК? Гостев работает, значит секблог принадлежит ЛК? Русаков работает, значит его ресурсы принадлежат ЛК?

Вы где-то работаете, значит Ваш профиль на этом форуме принадлежит Вашей компании?

 

Не имеет значения, где работал и работает владелец. Я уже 10 раз говорил, что метода открыта и обсуждаема. Не такого, что выработали одну методику, а делали по другой.

[SergeyUser]

Umnik,

 

Дело не в принятии предложений, а в том, что когда под тестом стоит подпись эксперта, это делает его более ответственным. Иначе всегда можно сказать - да, я участвовал, но я не совсем согласен и т.д. и т.п. Если вам это не понятно - I'm sorry, более детально данный аспект мне разжевать не представляется возможным.

 

Отсутствие доступа общественности к скриптам усложняет воспроизводимость результатов, и делает аргумент воспроизводимости в большей степени популизмом.

 

"Работал или работает" означает существенно меньшую степерь независимости, а точнее существенно большую сложность доказать эту самую независимость. Не нужно "принадлежать" кому-то, чтобы быть прямо или косвенно зависимым. Уж как-минимум получая деньги от компании, в которой вы работаете, делает вас очень зависимым. А следовательно существено снижает желание быть объективным по отношению к той компании, в которой вы работаете. Если вам и это непонятно - то я еще раз могу только извиниться, может кто-то кроме меня сможет вам пояснить прописные истины.

[C. Tantin]

[взгляд человека со стороны, кторый на АМ даже не зареган, но кое-что читает и несколько в курсе "тестерства"]

 

1. Почитал тему - да, весело...

2. Вот мне интересно - если я напишу, что методика - фуфло (с обоснованием), и надо делать иначе - далеко меня пошлют?

3. Для обсуждения методики нужно, как минимум, знать всех более-менее ключевых игроков рынка и досконально их продукты, быть экспертом в области ИБ и быть в курсе актуальных угроз. Сколько таких экземпляров участвуют в выработке методик? Не работающих в к.-л. АВ-компании - думаю, смогу пересчитать по пальцам одной руки. Выше уже говорилось об этом...

4. Абсолютно согласен с тем, что "заточенность" теста могут заметить в методике очень немногие.

5. Самое интересное в методиках - это выбор тестовой малвари.

[Umnik]

ело не в принятии предложений, а в том, что когда под тестом стоит подпись эксперта, это делает его более ответственным.

Еще раз - метода коллективная. Нельзя выделить, что кто-то один что-то предложил, нет "авторских" тестов. Подписи можно ставить, но как гарант, что Эксперты считают ее верной.

 

Отсутствие доступа общественности к скриптам усложняет воспроизводимость результатов, и делает аргумент воспроизводимости в большей степени популизмом.

Угу. Тоже самое делает отсутствие доступа к вредоносам в тесте лечения активного заражения, да? Нужно же понимать, что можно выкладывать в паблик, а что нельзя. Вот "net stop" можно, regsvr32 можно. А что-то серьезнее - увольте.

Уж как-минимум получая деньги от компании, в которой вы работаете, делает вас очень зависимым. А следовательно существено снижает желание быть объективным по отношению к той компании, в которой вы работаете.

ЛК ни разу не взяла платину (в отличие от Доктора, например), уступала в нескольких тестах конкурентам. Но я что-то не замечал за собой выкриков - Доктор/НОД заплатили! И т.п.

 

Сложно быть фанатиком, когда имеешь доступ к багтрекеру

 

2. Вот мне интересно - если я напишу, что методика - фуфло (с обоснованием), и надо делать иначе - далеко меня пошлют?

Обосновано же. Ну, если только правила не нарушишь, конечно.

3. Для обсуждения методики нужно, как минимум, знать всех более-менее ключевых игроков рынка и досконально их продукты, быть экспертом в области ИБ и быть в курсе актуальных угроз.

Знать игроков не нужно.

Досконально продукты знать не нужно.

Быть экспертом ИБ очень желательно, но не обязательно.

Быть в курсе актуальных угроз нужно.

Сколько таких экземпляров участвуют в выработке методик? Не работающих в к.-л. АВ-компании - думаю, смогу пересчитать по пальцам одной руки. Выше уже говорилось об этом...

Потому что тех, кто нифига не делает и выдвигает необоснованные претензии (не читал, но осуждаю) гораздо больше. Вот и получается такая ситуация.

Абсолютно согласен с тем, что "заточенность" теста могут заметить в методике очень немногие.

Думаю, я смогу. Потому, еще раз говорю, первый тест перфоманса и последний тест самозащиты - провальны.

Самое интересное в методиках - это выбор тестовой малвари.

Представителей семейств, если быть точным. Если речь идет о тесте лечения активного заражения.

[SergeyUser]

Umnik,

 

Я не вижу особой проблемы предоставить скрипты, которые посылают сообщения окнам, делают вызовы API User Mode или Kernel Mode (на примере теста самозащиты). Это не наука о ракетах. Зловреды тут не при чем, это вызов API. Это даже не exploit. Поэтому не нужно называть это чем-то серьезным.

 

По поводу первых мест. В этом-то вся и тонкость. Если бы я захотел сделать "независимый" портал, я как раз бы и не стал давать целевой компании первые места, это было бы уж слишком очевидным. Это субъективно, но мое мнение именно таково. Ну не вижу я на АМ реальной критики, все очень мягкотело. Поэтому и не убедительно. Beta-тестеры в этом смысле намного более правдивы и убедительны.

 

Расскажите, как можно быть экспертом, не зная продуктов и реализованных в них технологий? Это нонсенс.

[C. Tantin]

Знать игроков не нужно.

Да ну? Один и тот же эффект от защитной функции может быть достигнут различными срезствами и с различными побочными эффектами. Это нужно учитывать при разработке методики, иначе согласно этой методике "нестандартно" (да, в кавычках) тест будет необъективным

 

Досконально продукты знать не нужно.

А как их тогда тестировать?

 

Быть экспертом ИБ очень желательно, но не обязательно.

Человек, не являющийся экспертом, что-то дельное предложить-то может, но это будет скорее исключение, чем правило.

 

Думаю, я смогу

И?

 

Представителей семейств, если быть точным. Если речь идет о тесте лечения активного заражения.

А самих семейств? Достаточно пары семплов, чтобы "опустить" тот или иной продукт.

[Umnik]

Я не вижу особой проблемы предоставить скрипты, которые посылают сообщения окнам, делают вызовы API User Mode или Kernel Mode (на примере теста самозащиты). Это не наука о ракетах. Зловреды тут не при чем, это вызов API. Это даже не exploit. Поэтому не нужно называть это чем-то серьезным.

Снегири не гири, а антивирусы не ракеты, все верно. Скрипт, способный прибить антивирус быстренько найдет применение во вредоносах. Между темой о том, что Каспер отрубается при переводе времени и появлением вредоносов, которые это делают, прошло несколько дней.

Ну не вижу я на АМ реальной критики, все очень мягкотело.

Чего Вы ожидаете увидеть? Бета-тестеры могу критиковать и квадратик в пасхальном яйце, а на АМ идет обсуждение антивирусной защиты в антивирусах.

Расскажите, как можно быть экспертом, не зная продуктов и реализованных в них технологий?

Я где-то сказал, что эксперты не знают продуктов?

Да ну? Один и тот же эффект от защитной функции может быть достигнут различными срезствами и с различными побочными эффектами. Это нужно учитывать при разработке методики, иначе согласно этой методике "нестандартно" (да, в кавычках) тест будет необъективным

Верно. Потому создается методика, приближенная к реальности, а не методика, приближенная к антивирусу. А для первого не нужно знать тонкости работы аверов.

А как их тогда тестировать? biggrin.gif

Легко. Когда ты запускаешь полную проверку компа антивирусом, ты знаешь досконально, как он работает? Вот ты проводишь тест лечения активного заражения. Проверяешь лечение системы, пораженной буткитом. Антивирус справился с заражением - как он это сделал? Ты знаешь? Может восстановил дефолтовый МБР из тех, что лежат в его папке, может восстановил МБР, сохраненный им ранее, может даже скачал МБР под твою ситуацию в фоне со своего сайта, может нашел, где лежит настоящий МБР и записал его, может поправил буквально хирургически. Ты не знаешь, я не знаю. Знают только в компании производителя. Но для теста и для энд юзера это не имеет вообще никакого значения.

Человек, не являющийся экспертом, что-то дельное предложить-то может, но это будет скорее исключение, чем правило.

Будет исключение, да. Но глупые предложения отметаются в ходе обсуждения, а разумные принимаются. В этом прелесть обсуждаемой методологии.

И? biggrin.gif

Ну не знаю. Ты спросил, я ответил.

А самих семейств? Достаточно пары семплов, чтобы "опустить" тот или иной продукт.

"Пара семплов" нарушит одно из ключевых правил - результаты должны быть репрезентативны. "Пара семплов" не обеспечит репрезентативности, следовательно, не учитывается. Вот и нет "опускания".

[SergeyUser]

Umnik,

 

С каких это пор надежность антивирусов основана на сокрытии информации о потенциальных дырах в их защите? Вы открываете что-то новое в подходах к информационной безопасности. А вот публикация, огласка проблем является 99% гарантией практически мгновенного исправления ошибок в продукте вендором. И я голосую за это.

 

От независимых экспертов я ожидаю максимально дотошного анализа продуктов, их свойств, уровня качества, угроз.

 

"Я где-то сказал, что эксперты не знают продуктов?"

Цитирую вас же выше: "Знать игроков не нужно. Досконально продукты знать не нужно".

 

Какие-то у вас абстрактные эксперты получаются.

 

Umnik, если ничего знать не нужно, ответьте мне на такой вопрос - откуда взялись все эти вызовы API, упомянутые в методике теста самозащиты? Скажете, это тоже произвольный пользователь может знать, который просто напросто тестирует свой компьютер? Это уже достаточно специфические, технологические знания, которые можно почерпнуть из следующих источников:

 

1. Внутренностей зловредов;

2. Особенностей реализации конкретных AV-решений, известных разработчикам.

 

И не надо рассказывать про абстрактные знания возможных атак на самозащиту. Всех интересует только то, что встречается in the wild.

[C. Tantin]

Верно. Потому создается методика, приближенная к реальности, а не методика, приближенная к антивирусу. А для первого не нужно знать тонкости работы аверов.

Покажите мне "нереальный антивирус" Для разработки методики тонкости работы аверов знать нужно. Если, конечно, это не ламерский тест дефолтов аверов тыканьем мышкой по семплам

 

Легко. Когда ты запускаешь полную проверку компа антивирусом, ты знаешь досконально, как он работает? Вот ты проводишь тест лечения активного заражения. Проверяешь лечение системы, пораженной буткитом. Антивирус справился с заражением - как он это сделал? Ты знаешь? Может восстановил дефолтовый МБР из тех, что лежат в его папке, может восстановил МБР, сохраненный им ранее, может даже скачал МБР под твою ситуацию в фоне со своего сайта, может нашел, где лежит настоящий МБР и записал его, может поправил буквально хирургически. Ты не знаешь, я не знаю. Знают только в компании производителя. Но для теста и для энд юзера это не имеет вообще никакого значения.

Для энд-юзера - ты абсолютно прав - не имеет. Никакого. Для теста - огого как имеет. Один продукт взял тот же мбр из базы, второй - полез на сайт. например, в случае отсутствия инета второй провалит тест, а в случае нестандартной конфигурации провалит первый. Поэтому для объективной методики нужно во всех тонкостях знать работу аверов. А так - меня тесты на АМ просто улыбают.

 

Будет исключение, да. Но глупые предложения отметаются в ходе обсуждения, а разумные принимаются. В этом прелесть обсуждаемой методологии.

Я сильно подозреваю, что глупых 99,5%. Прелесть - это обсуждение в среде неангажированных экспертов. Тут же - как его.. забыл слово.... пеар, вот =)

 

"Пара семплов" нарушит одно из ключевых правил - результаты должны быть репрезентативны. "Пара семплов" не обеспечит репрезентативности, следовательно, не учитывается. Вот и нет "опускания".

Не делай вид, что ты не понял, о чём я Шучу. Под "парой семплов" я имел в виду использование в тесте заранее известных ограниченному кругу лиц "проблемных" семплов.

 

Т.е. ты говоришь, что если в тесте активного заражения авер с 2 семплами не справится - это не будет отражено в результатах?

[Umnik]

С каких это пор надежность антивирусов основана на сокрытии информации о потенциальных дырах в их защите? Вы открываете что-то новое в подходах к информационной безопасности. А вот публикация, огласка проблем является 99% гарантией практически мгновенного исправления ошибок в продукте вендором. И я голосую за это.

Это, скажем так, неправильный подход. О дырах желательно сообщать вендорам. Т.е. если вендор обратиться к АМ с просьбой, то ему будут предоставлено все необходимое. А вот публикация информации о дыре рождает вредоносов, которые ее используют. http://www.secureblog.info/articles/548.html

От независимых экспертов я ожидаю максимально дотошного анализа продуктов, их свойств, уровня качества, угроз.

Это задача теста, а не конкретного человека.

"Я где-то сказал, что эксперты не знают продуктов?"

Цитирую вас же выше: "Знать игроков не нужно. Досконально продукты знать не нужно".

Угу. Не нашел в этих двух предложениях своих слова "эксперт".

Umnik, если ничего знать не нужно, ответьте мне на такой вопрос - откуда взялись все эти вызовы API, упомянутые в методике теста самозащиты?

Снова повторить, что последний тест СЗ - гадость?

Для разработки методики тонкости работы аверов знать нужно.

Ты тяготеешь как раз к заточке теста под вендора, а не в нормальный тест.

Один продукт взял тот же мбр из базы, второй - полез на сайт. например, в случае отсутствия инета второй провалит тест, а в случае нестандартной конфигурации провалит первый. Поэтому для объективной методики нужно во всех тонкостях знать работу аверов.

Не нужно. Нужно создать стенд, приближенный к реальному. Само-собой, нужно учитывать только специфику АВ. Т.е. если он облачный, то без облака он работать не сможет. Только для этого не нужно обладать экспертными знаниями.

А так - меня тесты на АМ просто улыбают.

Сколько метод ты уже успел прочитать и в скольких нашел критичные ошибки?

сильно подозреваю, что глупых 99,5%. Прелесть - это обсуждение в среде неангажированных экспертов. Тут же - как его.. забыл слово.... пеар, вот =)

Сколько обсуждений методологий ты уже успел прочитать?

Не делай вид, что ты не понял, о чём я biggrin.gif Шучу. Под "парой семплов" я имел в виду использование в тесте заранее известных ограниченному кругу лиц "проблемных" семплов.

Сколько обсуждений методологий ты прочитал?

Т.е. ты говоришь, что если в тесте активного заражения авер с 2 семплами не справится - это не будет отражено в результатах? biggrin.gif

Ты уже прочитал методу теста лечения активного заражения?

[SergeyUser]

Umnik,

 

По поводу публикации информации об уязвимостях - тут наши мнения расходятся, как экспертов Не все так очевидно. Вы смотрите с точки зрения удобства компаниями и конкретных ситуаций, а я с точки зрения принципиального улучшения ситуации. Когда все будут знать, что любые уязвимости будут публиковаться, все же будут и готовы их сразу и оперативно исправить.

 

"Это задача теста, а не конкретного человека."

Анализ может делать только человек. Тесты - это один из инструментов анализа, не более. Не забываем так же о том, что результаты тестов еще и надо правильно интерпретировать, признавать их достоверными или не достоверными. Это тоже задача эксперта.

 

По поводу теста СЗ - Ok, тут все согласны Скажите лучше, какой из тестов АМ вы считаете образцом тестов - качественным, независимым и проч. А также результаты проведения которого вы считаете максимально объективными. Это будет более конструктивно для дальнейшей дискуссии.

[Umnik]

Когда все будут знать, что любые уязвимости будут публиковаться, все же будут и готовы их сразу и оперативно исправить.

Критично ошибочное заблуждение. За это время у пользователей уже сопрут все, что можно будет спереть. Вот здорово, правда? А патчи делаются совсем не 1 день. Их нужно сделать, протестировать. Т.е. у авторов вредоносов будет совсем не один день и даже не неделя.

Анализ может делать только человек. Тесты - это один из инструментов анализа, не более. Не забываем так же о том, что результаты тестов еще и надо правильно интерпретировать, признавать их достоверными или не достоверными. Это тоже задача эксперта.

Эксперт делает оценку теста, да. Анализирует результаты, да. Но эксперт не делает анализа продуктов. Не, можно, конечно. Только это долго и, в итоге, плохо.

Скажите лучше, какой из тестов АМ вы считаете образцом тестов - качественным, независимым и проч.

Возьмем уникальный - тест лечения активного заражения.