Рейтинги антивирусов обманчивы

[Ummitium]

достаточно видеть происходящее и разбираться...

Вот она истина!

[Umnik]

Для того, чтобы сделать вывод, что матч договорной, не обязательно быть профессиональным арбитром, достаточно видеть происходящее и разбираться в правилах игры.

Может быть. Только в АМ это отношения не имеет. Ты в упор не видишь главного: тесты воспроизводимы. Просто перепроверь их и все. Если твои результаты будут отличаться от результатов АМ, то ты прав. Пока же ты говоришь чепуху.

Изменено 9 октября, 2009 пользователем Umnik

[C. Tantin]

Umnik,

 

Главные условия объективности теста - объективность методики и воспроизводимость результатов.

 

Одной воспроизводимости - явно недостаточно.

 

А по методике - аналогия с футболом верна

[Roman Merkushin]

Пока же ты говоришь чепуху.

Воспроизводимы результаты или нет - в данном случае совершенно не важно.

Постом выше уже было грамотно разжевано почему.

 

З.Ы. А ты уж чересчур наивно (как-то по-детски) защищаешь компанию, в которой работаешь.

 

З.З.Ы. Это не значит, что я считаю, что Касперский - на самом деле плохой антивирус. Напротив, обычно я рекомендую всем продукцию ЛК. Но фанатизма у меня нет и я обычно называю вещи своими именами. Методика тестирования АМ необъективна

Изменено 9 октября, 2009 пользователем Roman Merkushin

[Umnik]

Главные условия объективности теста - объективность методики и воспроизводимость результатов.

метода же отрыта и обсуждаема.

Считаешь, что тесты "заточены" под конкретного вендора - участвуй в выработке методы.

З.Ы. А ты уж чересчур наивно (как-то по-детски) защищаешь компанию, в которой работаешь.

Не знаю такой компании "Анти-Малваре".

Методика тестирования АМ необъективна

Не, ну мне не сложно каждый раз повторять одно и тоже. Ты, наверное, не замечаешь, что метода обсуждаема и ты лично можешь с ней ознакомиться и оспорить.

[mvs]

Методика тестирования АМ необъективна

в чем необъективна? предложи свою методику на АМ - вдруг она лучше будет! я не вижу причин не доверять тестам АМ (и если бы ты там часто бывал и читал подробно методики и результаты, то думаю понял бы что ЛК и АМ связаны только тем что это портал по безопасности)

Изменено 10 октября, 2009 пользователем mvs

[Evgesha]

скажите что правда авира такой реальный антивирь?

 

но я знаю одно что касперскому он и в подметки не годится

[Roman Merkushin]

то думаю понял бы что ЛК и АМ связаны только тем что это портал по безопасности

Не только )))

 

Не знаю такой компании "Анти-Малваре".

да понял ты, какую компанию я имел в виду

 

А вообще, еще раз повторю - мое мнение: все эти тесты - они как художественное кино (в чем-то правдивые, в чем-то - ложные, где-то - "переигранные", "искусственные", для кого-то - интересные, для меня же - не особо). Некоторые антивирусы специально затачиваются под те или иные тесты, и некоторые тесты затачиваются под те или иные антивирусы. Это - мое мнение. И еще я считаю, что антивирусные продукты лидеров рынка (под сомнением у меня лично только НОД) достойны друг друга. И позиции в этих искусственных тестах - не ахти какой показатель.

 

скажите что правда авира такой реальный антивирь?

У авиры хороший детект, но никакое лечение. Каспер гораздо более сбалансирован.

Изменено 10 октября, 2009 пользователем Roman Merkushin

[Nesser]

Roman Merkushin, а НОД почему вызывает сомнения?

[mvs]

Не только )))

а что еще? то что там ветка форума есть посвященная продуктам ЛК? (равно как и другим, ESET, DRWEB и пр.)

 

У авиры хороший детект, но никакое лечение. Каспер гораздо более сбалансирован.

 

на столько что у нее фолса больше чем "нормального" детекта

[Umnik]

Не только )))

Чем еще? Рассказывай, не стесняйся.

А вообще, еще раз повторю - мое мнение: все эти тесты - они как художественное кино (в чем-то правдивые, в чем-то - ложные, где-то - "переигранные", "искусственные", для кого-то - интересные, для меня же - не особо). Некоторые антивирусы специально затачиваются под те или иные тесты, и некоторые тесты затачиваются под те или иные антивирусы. Это - мое мнение. И еще я считаю, что антивирусные продукты лидеров рынка (под сомнением у меня лично только НОД) достойны друг друга. И позиции в этих искусственных тестах - не ахти какой показатель.

А я еще раз повторю:

метода же отрыта и обсуждаема.

Считаешь, что тесты "заточены" под конкретного вендора - участвуй в выработке методы.

Изменено 10 октября, 2009 пользователем Umnik

[SergeyUser]

Umnik,

 

Теоретически вы правы, и открытость методики, а также воспроизводимость результатов - важные факторы (можно даже считать их необходимыми) в пользу большей объективности тестов. Однако на практике далеко не так просто найти какую-то необъективность, ведь для этого нужно очень хорошо разбираться в данной области. Таким образом, возможность оспорить результаты оценки существует у максимально квалифицированных в вопросе специалистов. А где находится основная масса таких специалистов? Правильно - они работают в соответствующих AV-компаниях, или работали в прошлом, или аффилированы с ними. Так сколько остается действительно независимых экспертов? 1%? 5%? Было бы интересно узнать.

 

Приведу аналогию с безопасностью алгоритмов шифрования, и надежностью программ в целом. Считается, что открытый код и публичность алгоритмов позволяет добиться максимальной надежности, ведь каждый специалист по безопасности может найти ошибки. Это применимо и к коммерческому софту - например, исходники полностью коммерческого продукта PGP можно скачать. Однако как много пользователей способно провести такой анализ? А теперь как много из этих способных провести анализ будут реально этим заниматься? Как много из желающих этим заниматься будут иметь не связанные с конкретной компанией интересы? Получаются доли процентов.

 

Так что если посмотреть правде в глаза, если в тестах что-то не так (методика не объективна или само исполнение тестов было сделано не по методике), с вероятностью 99% этого никто не обнаружит. Таким образом, не стоит переоценивать уровень объективности тестов на том же AM, и утверждать, что соблюдаемые условия гарантируют что-то. Соблюдается минимально необходимый порядок проведения тестов, гарантирующий отсутствие обвинений в явной подтасовке, и не более того.

 

Я хочу сказать, что в определенном смысле я - независимый специалист. Так вот за время общения на форуме АМ у меня абсолютно не сложилось ощущение уверенности в полной независимости портала. Я не детектив, чтобы разбираться, кто с кем связан, я оцениваю по косвенным факторам - стиль изложения, отсутствие определенной критики в пользу некоторых компаний, стиль модерации и пр. Так вот по сумме всех факторов моя оценка - это желание портала выглядеть полностью независимыми, но уверенности для себя я в этом не получил. Когда что-то делают уж очень явно "независимо" - начинаешь сомневаться, как оно есть на самом деле.

[Umnik]

Теоретически вы правы, и открытость методики, а также воспроизводимость результатов - важные факторы (можно даже считать их необходимыми) в пользу большей объективности тестов. Однако на практике далеко не так просто найти какую-то необъективность, ведь для этого нужно очень хорошо разбираться в данной области. Таким образом, возможность оспорить результаты оценки существует у максимально квалифицированных в вопросе специалистов. А где находится основная масса таких специалистов? Правильно - они работают в соответствующих AV-компаниях, или работали в прошлом, или аффилированы с ними. Так сколько остается действительно независимых экспертов? 1%? 5%? Было бы интересно узнать.

http://www.anti-malware.ru/experts

Эксперты работают(ли):

1. Симантек

2. Тренд Микро

3. Доктор

4. ЛК

5. Агнитум

6. ДиалогНаука

7. Рабинович - сам себе вендор

8. Эксперты, не привязанные к вендорам, но все же эксперты ИБ

В разработке методы же участвуют и не эксперты. Например, порог фолсов на тест проактивки предложил совсем не эксперт. Найти явные недостатки методологий не сложно. У Андреаса это закрытость коллекции, у VB100 - мусор в коллекциях.

[SergeyUser]

Umnik,

 

А для конкретной методики указано, кто именно был ее автором? Я понимаю конечно что авторство коллективное, но пока под методикой не стоит подписей небольшого количества людей, которые тем самым отвечают своим именем за качество методики, это объективный для нее минус.

 

Минус номер два - отсутствие скриптов для проведения тестов, которые часто необходимы. Как, извините, их воспроизводить? Сидеть писать вызовы ядра? А если я не так напишу, или мои вызовы будут не совсем такими, как у авторов? Короче тоже не зачет по этому пункту.

 

Я уж не говорю про принцип выбора самой методики тестов. Много балов наберет тот эксперт или портал, который проведет тесты по методике, с которой вендоры *не согласны*. Такого не замечал. Как только AV-компании скажут, что тот или иной метот не этичен, так и АМ вряд ли будет марать свое имя перед этими компаниями за то, что осмелился провести тесты по такой методике.

[Umnik]

А для конкретной методики указано, кто именно был ее автором?

Создается тема и в ней рождается методика в ходе дискуссии. В общем, одного автора нет, это коллективный результат.

но пока под методикой не стоит подписей небольшого количества людей, которые тем самым отвечают своим именем за качество методики, это объективный для нее минус.

Зачем подписи? Почитайте темы. Ну вот, например: http://www.anti-malware.ru/forum/index.php?showtopic=1332 Это один из самых значимых тестов, плюс он уникален.

 

Минус номер два - отсутствие скриптов для проведения тестов, которые часто необходимы. Как, извините, их воспроизводить? Сидеть писать вызовы ядра? А если я не так напишу, или мои вызовы будут не совсем такими, как у авторов? Короче тоже не зачет по этому пункту.

Это вот вообще про что и к чему? Примеры можно?

Я уж не говорю про принцип выбора самой методики тестов. Много балов наберет тот эксперт или портал, который проведет тесты по методике, с которой вендоры *не согласны*. Такого не замечал. Как только AV-компании скажут, что тот или иной метот не этичен, так и АМ вряд ли будет марать свое имя перед этими компаниями за то, что осмелился провести тесты по такой методике.

Какие баллы экспертов, какие баллы портала? О чем речь? А то, что этичен или нет - ну так и Доктор, и, кажется, Софос заявляли, что тесты АМ - ерунда. Правда опирались они на:

1. Это же АМ - причина Доктора.

2. Коллекция - фигня. Причина Софоса(?) Правда там они даже не попытались разобраться и сели в лужу.