Задай вопрос Степану Корчагину!

[Demiad]

@Корчагин Степан, хотел задать острый, в первую очередь для себя, вопрос про выпускаемые релизы. В моём случае корпоративных продуктов. Если конкретно Ваш отдел тестирования не касается перечисленных программ, то полагаю принцип для других схожий. Ответ подойдёт про любой.

Почему допускают выпуски с очень очевидными проблемами, которые выявляются на простейших стандартных сценариях? Следовательно с проблемами столкнётся каждый администратор с очень огромной вероятностью.

Из примеров:

KES 11.5 был выпущен с многолетним возвращающимся багом "неправильная версия баз в трее". Мелочь, но какое количество было обращений в поддержку об этом?

Вчерашний релиз KSC 13, за первые 15 минут от установки я нашёл около 10 замечаний по активно продвигаемой Веб-консоли, несколько из них:

В мастере первоначальной настройки сервера:
- на шаге про параметры развёртывания после нажатия на опции про перезагрузку исчезают поля с указанием времени для перезагрузки, назад не возвращаются;

- созданные мастером задачи содержат не те параметры перезагрузки и перемещения устройств, плюс текст сообщения для пользователя стал вдруг на английском;

- консоль зачем-то поставляется и предлагает загрузить онлайн пакеты от KSC12;

В задаче удалённой установки:

- нацеленной на выборку задаче нет раздела "Перемещение" (в MMC есть, значит и в Веб должно быть);

- переименовали пункт параметра принудительной перезагрузки и вписали туда лишние слова  "через (мин)" будто пункт имеет значение времени, а не галку да/нет.

 

Как получается, что такие вещи не замечают тестировщики? Или замечают, но раньше чем подойдёт черёд билда с исправлением не поправить, а сроки выпуска поджимают, поэтому приходится делать релиз текущей версии?

[Friend]

1 час назад, Корчагин Степан сказал:

Если коротко - этот функционал работает автоматически, сетевая атака определяется по признакам из соответствующих обновляемых баз.

Если он не определяет брутфост RDP - это баг?

P.S. Пожелание: реализовать возможность ручную настройку блокировок для защиты от брутфоста RDP.

  

1 час назад, Корчагин Степан сказал:

пары SSD (!),

Получается при тестирование сейчас нагрузку на HDD не учитывают?

1 час назад, Корчагин Степан сказал:

По домашнему - я страшный перфекционист, и терпеть не могу, когда чего-то тормозит. Поэтому машину беру всегда с большим запасом,

Увлекаешься ли ты майнингом? Если нет, почему? Если да, стоит этого того или все зависит от курса криптовалюты?

[oit]

В дополнение к вопросу от @Demiad:

если GUI тестирует кто-то другой, можете попросить этого сотрудника ЛК связаться с @MiStr, @dkhilobok, @Meravigliosaaa и записаться на интервью на форуме? ?

Изменено 24 марта, 2021 пользователем oit

[Корчагин Степан]

1 час назад, Demiad сказал:

@Корчагин Степан, хотел задать острый, в первую очередь для себя, вопрос про выпускаемые релизы. В моём случае корпоративных продуктов. Если конкретно Ваш отдел тестирования не касается перечисленных программ, то полагаю принцип для других схожий. Ответ подойдёт про любой.

Почему допускают выпуски с очень очевидными проблемами, которые выявляются на простейших стандартных сценариях? Следовательно с проблемами столкнётся каждый администратор с очень огромной вероятностью.

Из примеров:

KES 11.5 был выпущен с многолетним возвращающимся багом "неправильная версия баз в трее". Мелочь, но какое количество было обращений в поддержку об этом?

Вчерашний релиз KSC 13, за первые 15 минут от установки я нашёл около 10 замечаний по активно продвигаемой Веб-консоли, несколько из них:

В мастере первоначальной настройки сервера:
- на шаге про параметры развёртывания после нажатия на опции про перезагрузку исчезают поля с указанием времени для перезагрузки, назад не возвращаются;

- созданные мастером задачи содержат не те параметры перезагрузки и перемещения устройств, плюс текст сообщения для пользователя стал вдруг на английском;

- консоль зачем-то поставляется и предлагает загрузить онлайн пакеты от KSC12;

В задаче удалённой установки:

- нацеленной на выборку задаче нет раздела "Перемещение" (в MMC есть, значит и в Веб должно быть);

- переименовали пункт параметра принудительной перезагрузки и вписали туда лишние слова  "через (мин)" будто пункт имеет значение времени, а не галку да/нет.

 

Как получается, что такие вещи не замечают тестировщики? Или замечают, но раньше чем подойдёт черёд билда с исправлением не поправить, а сроки выпуска поджимают, поэтому приходится делать релиз текущей версии?

По выше приведенной конкретике сказать ни чего не могу, тем более, что этот продукт вне зоны моей экспертизы. Но постараюсь донести информацию о замеченных проблемах до ответственных лиц.

 

Если говорить в общем - решение о приоритетности и необходимости правок в рамках релиза должно приниматься исходя из критичности проблемы, которая определяется т.н. импактом на пользователя или бизнес. Т.е. насколько данная проблема может повредить пользователю, бизнесу и/или репутации компании. Проблемы с высоким импактом не должны попасть в релиз, не зависимо от его сроков. Примеры (выдуманные):

• После установки новой версии поверх старой, IDS не работает до перезагрузки ОС - высокий импакт на пользователя, т.к. под угрозой его безопасность, проблема должна быть исправлена в рамках релиза в любом случае. Сам пользователь проблему заметит вряд ли, кстати.
• После установки новой версии поверх старой, IDS работает корректно, но не отображает всплывающую нотификацию о блокировке атакующей машины до перезагрузки ОС - тут уже у нас пользователь защищен, сама по себе ситуация - не сильно распространена - уже можно обсуждать что-то по правке.
• Название продукта в заголовке окна написано с ошибкой - пример, когда импакт на пользователя нулевой, а вот на репутацию компании - огромный. Тоже такое в релиз уйти не может.

Такое, что проблема пропускается при тестировании - бывает, конечно. Как правило это происходит, если проблема имеет какие-то специфические условия для воспроизведения, не покрытые по разным причинам при тестировании, или воспроизводится не стабильно. К слову сказать - бета-тест в отлове именно такого рода проблем очень важен. Примеры (снова выдуманные):

• GUI продукта перезагружается без формирования дампа после 4х часов в открытом состоянии.
• ОС уходит в циклический BSOD после установки нового обновления ОС KBXXXX.
• Нотификация продукта имеет 7% шанс закрыться сразу после появления.

Вариант "тестировщик прозевал проблему" - тоже возможен, конечно. Но чтобы вот так вот прямо - я такое видел очень редко. Но бывает. Люди остаются людьми.

 

 

Изменено 24 марта, 2021 пользователем Корчагин Степан

[Корчагин Степан]

1 час назад, Friend сказал:

Если он не определяет брутфост RDP - это баг?

P.S. Пожелание: реализовать возможность ручную настройку блокировок для защиты от брутфоста RDP.

  

Получается при тестирование сейчас нагрузку на HDD не учитывают?

Увлекаешься ли ты майнингом? Если нет, почему? Если да, стоит этого того или все зависит от курса криптовалюты?

Про брутфорс RDP - как минимум нужно рассмотреть ситуацию. Просьба сбросить мне сценарий воспроизведения и линк, откуда можно скачать продуктовые трейсы. Наверное, лучше всего это сделать через ПМ, чтобы не превращать эту тему в филиал https://eap.kaspersky.com/ )

 

Про нагрузку на HDD - учитывают, конечно. Просто этим занимаются отдельно, специально обученные люди, ответственные за тесты производительности. SSD необходим из-за того, что производительность диска является бутылочным горлышком при работе с виртуальными машинами.

 

Про майнинг - нет. Технология блокчейна сама по себе может быть очень полезна, но то, для чего ее используют в играх с криптовалютами - высокотехнологичный вариант финансовой пирамиды ИМХО. Заработать на этом можно попытаться, но мне воспитание и принципы не позволяют. Я лучше видеокарту по прямому назначению буду использовать )

 

[Корчагин Степан]

24.03.2021 в 15:20, oit сказал:

В дополнение к вопросу от @Demiad:

если GUI тестирует кто-то другой, можете попросить этого сотрудника ЛК связаться с @MiStr, @dkhilobok, @Meravigliosaaa и записаться на интервью на форуме? ?

Не уверен, что понял правильно. Если речь про проблемы KSC - я информацию передал коллегам, если проблемы им не известны - они запросят уточнения.

Касательно интервью - думаю, что пожелание названными коллегами прочитано, но просьба не забывать, что не каждый может захотеть участвовать в такого рода мероприятиях, как из личных соображений, так и просто по причине занятости.  

Изменено 27 марта, 2021 пользователем Корчагин Степан

[Umnik]

Какие инструменты для автоматизации под Шинду используете?

[Корчагин Степан]

13 минут назад, Umnik сказал:

Какие инструменты для автоматизации под Шинду используете?

Этот вопрос лучше задать профильному специалисту. Я не знаю на сколько это чувствительная информация во-первых, попросту не знаю всего арсенала во-вторых.

В прошлом приходилось использовать разные готовые решения, но честно говоря уже даже не припомню их названий за давностью лет, кроме Селениума, разве что. Все-таки это не мой профиль. Но боль поддержки тестов в рабочем состоянии испытал, было дело )

[Sandor]

Бывает ли у Вас обмен опытом с другими компаниями? Или используете только собственное ноу-хау?

[Корчагин Степан]

1 час назад, Sandor сказал:

Бывает ли у Вас обмен опытом с другими компаниями? Или используете только собственное ноу-хау?

Как минимум на уровне организации/посещения разного рода конференций и курсов. Бывают ли подобные мероприятия в других форматах - не сталкивался.

[Friend]

Какими банками ты пользовался и какой ты советуешь, а какие лучше избегать?

 

Почему сейчас все тестовые сборки с включенным логированием, даже RC релизы? Планируют ли как-то чередовать сборки с включенным и отключенным логированием, как было раньше?

 

 

[Корчагин Степан]

7 часов назад, Friend сказал:

Какими банками ты пользовался и какой ты советуешь, а какие лучше избегать?

 

Почему сейчас все тестовые сборки с включенным логированием, даже RC релизы? Планируют ли как-то чередовать сборки с включенным и отключенным логированием, как было раньше?

 

 

По банкам - я не специалист, чтобы советовать. Мое личное ИМХО - любые банки из ТОП20 в настоящий момент достаточно надежны. Я предпочитаю банки с госучастием - их будут вытягивать в любом случае, если вдруг чего случиться. Небольшие коммерческие банки, часто, прогрессивнее и дружелюбнее к пользователю. Но менее устойчивы к разного рода неприятностям и имеют гадкую тенденцию закрываться, сжигая гораздо больше нервных клеток пользователю, чем любой крупный банк за все время использования. Такой опыт у меня тоже есть.

Касательно личного использования - обойдусь без рекламы )))

По тестовым сборкам - Там сейчас не только трассировки включены, но и отладочный функционал. Все это теперь отключается из GUI продукта (раньше отключались только трейсы, для отключения верифаеров нужно было помучаться), при желании. Получаемая от них информация бывает критично важна для нас при исследовании проблемы, особенно на этапе RC, когда время поджимает. Однако на этапе RC отладочный функционал несколько облегчен. Пока менять что-то не планируется.

P.S. На всякий случай - попасть в настройки включения/отключения отладочного функционала можно нажав на кнопку "Бета-версия" в заголовке главного окна продукта. Трейсы отключаются стандартным образом, через настройки окна поддержки.

[Deadman]

Степан, привет! Приятно видеть твоё интервью здесь на форуме. А еще вдвойне здорово, что даёшь максимально развернутые ответы!

 

Есть ощущение, что в последние годы среднестатистический пользователь полностью отказывается от антивирусной программы, полностью полагаясь на средства Windows. Может ли эта тенденция развернуться в обратную сторону?

 

Много ли людей помнишь со встреч фан-клуба? Какая встреча понравилась больше всего?

[Корчагин Степан]

5 часов назад, Deadman сказал:

Степан, привет! Приятно видеть твоё интервью здесь на форуме. А еще вдвойне здорово, что даёшь максимально развернутые ответы!

 

Есть ощущение, что в последние годы среднестатистический пользователь полностью отказывается от антивирусной программы, полностью полагаясь на средства Windows. Может ли эта тенденция развернуться в обратную сторону?

 

Много ли людей помнишь со встреч фан-клуба? Какая встреча понравилась больше всего?

На тему разворота тенденций - в определенных условиях может, конечно. Например, если МС в какой-то момент допустит серьезную уязвимость с серьезными последствиями. Но какова вероятность такого события - я не знаю.  Могу предположить, что вероятность будет расти по мере вытеснения других игроков с рынка.

На тему людей и встреч ФК - сразу покаюсь, что у меня безумно плохая память на имена. Вообще никакая. Совсем. Даже написанные. Вплоть до того, что я на форумах людей сначала запоминаю по аватарке, и уже сильно потом по нику. А в жизни - сильно не сразу и или по имени, или по фамилии, или по нику. 

Вот визуально помню если не всех, то наверняка большинство из тех, с кем встречались. Хотя время, которое требуется для извлечения образа из памяти прямо пропорционально времени, прошедшей со встречи, конечно. 

На тему какая встреча больше всего понравилась - Камбоджа, пожалуй. С небольшим отставанием - Сочи. Но вообще - они все были прекрасно организованы и интересны, на мой взгляд. 

Изменено 27 марта, 2021 пользователем Корчагин Степан

[Umnik]

21 minutes ago, Корчагин Степан said:

Например, если МС в какой-то момент допустит серьезную уязвимость с серьезными последствиями. Но какова вероятность такого события - я не знаю.

С разморозкой, Степан Это УЖЕ произошло. https://www.kaspersky.ru/blog/exchange-vulnerabilities/30228/

 

Вообще, если внутри ЛК не было рассылки о том, что "мы занимаемся исследованием, чтобы выяснить, был ли доступ к нашей сети", я буду ОЧЕНЬ удивлён. Это вообще первый вопрос у меня был бы с утра, как только получил бы доступ к Шуму.

Изменено 27 марта, 2021 пользователем Umnik