Перейти к содержанию

Рекомендуемые сообщения

@Корчагин Степан, хотел задать острый, в первую очередь для себя, вопрос про выпускаемые релизы. В моём случае корпоративных продуктов. Если конкретно Ваш отдел тестирования не касается перечисленных программ, то полагаю принцип для других схожий. Ответ подойдёт про любой.

Почему допускают выпуски с очень очевидными проблемами, которые выявляются на простейших стандартных сценариях? Следовательно с проблемами столкнётся каждый администратор с очень огромной вероятностью.

Из примеров:

KES 11.5 был выпущен с многолетним возвращающимся багом "неправильная версия баз в трее". Мелочь, но какое количество было обращений в поддержку об этом?

Вчерашний релиз KSC 13, за первые 15 минут от установки я нашёл около 10 замечаний по активно продвигаемой Веб-консоли, несколько из них:

В мастере первоначальной настройки сервера:
- на шаге про параметры развёртывания после нажатия на опции про перезагрузку исчезают поля с указанием времени для перезагрузки, назад не возвращаются;

- созданные мастером задачи содержат не те параметры перезагрузки и перемещения устройств, плюс текст сообщения для пользователя стал вдруг на английском;

- консоль зачем-то поставляется и предлагает загрузить онлайн пакеты от KSC12;

В задаче удалённой установки:

- нацеленной на выборку задаче нет раздела "Перемещение" (в MMC есть, значит и в Веб должно быть);

- переименовали пункт параметра принудительной перезагрузки и вписали туда лишние слова  "через (мин)" будто пункт имеет значение времени, а не галку да/нет.

 

Как получается, что такие вещи не замечают тестировщики? Или замечают, но раньше чем подойдёт черёд билда с исправлением не поправить, а сроки выпуска поджимают, поэтому приходится делать релиз текущей версии?

Ссылка на сообщение
Поделиться на другие сайты
  • Ответов 67
  • Created
  • Последний ответ

Top Posters In This Topic

Popular Posts

Про брутфорс RDP - как минимум нужно рассмотреть ситуацию. Просьба сбросить мне сценарий воспроизведения и линк, откуда можно скачать продуктовые трейсы. Наверное, лучше всего это сделать через ПМ, чт

Обсуждается, конечно. Компания всегда будет заинтересована в бета-тестировщиков, внутреннее тестирование, какими бы профессионалами мы не были, полностью вас заменить не сможет никогда. В этом вс

В отдел - по разному, зависит от того, кто собеседует. У каждого менеджера свой подход к отбору кандидатов, который соответствует их стилю дальнейшей с ними работы. Ответить могу за мои собеседов

Posted Images

1 час назад, Корчагин Степан сказал:

Если коротко - этот функционал работает автоматически, сетевая атака определяется по признакам из соответствующих обновляемых баз.

Если он не определяет брутфост RDP - это баг?

P.S. Пожелание: реализовать возможность ручную настройку блокировок для защиты от брутфоста RDP.

  

1 час назад, Корчагин Степан сказал:

пары SSD (!),

Получается при тестирование сейчас нагрузку на HDD не учитывают?

1 час назад, Корчагин Степан сказал:

По домашнему - я страшный перфекционист, и терпеть не могу, когда чего-то тормозит. Поэтому машину беру всегда с большим запасом,

Увлекаешься ли ты майнингом? Если нет, почему? Если да, стоит этого того или все зависит от курса криптовалюты?

Ссылка на сообщение
Поделиться на другие сайты

В дополнение к вопросу от @Demiad:

если GUI тестирует кто-то другой, можете попросить этого сотрудника ЛК связаться с @MiStr, @dkhilobok, @Meravigliosaaa и записаться на интервью на форуме? 😉

Изменено пользователем oit
Ссылка на сообщение
Поделиться на другие сайты
1 час назад, Demiad сказал:

@Корчагин Степан, хотел задать острый, в первую очередь для себя, вопрос про выпускаемые релизы. В моём случае корпоративных продуктов. Если конкретно Ваш отдел тестирования не касается перечисленных программ, то полагаю принцип для других схожий. Ответ подойдёт про любой.

Почему допускают выпуски с очень очевидными проблемами, которые выявляются на простейших стандартных сценариях? Следовательно с проблемами столкнётся каждый администратор с очень огромной вероятностью.

Из примеров:

KES 11.5 был выпущен с многолетним возвращающимся багом "неправильная версия баз в трее". Мелочь, но какое количество было обращений в поддержку об этом?

Вчерашний релиз KSC 13, за первые 15 минут от установки я нашёл около 10 замечаний по активно продвигаемой Веб-консоли, несколько из них:

В мастере первоначальной настройки сервера:
- на шаге про параметры развёртывания после нажатия на опции про перезагрузку исчезают поля с указанием времени для перезагрузки, назад не возвращаются;

- созданные мастером задачи содержат не те параметры перезагрузки и перемещения устройств, плюс текст сообщения для пользователя стал вдруг на английском;

- консоль зачем-то поставляется и предлагает загрузить онлайн пакеты от KSC12;

В задаче удалённой установки:

- нацеленной на выборку задаче нет раздела "Перемещение" (в MMC есть, значит и в Веб должно быть);

- переименовали пункт параметра принудительной перезагрузки и вписали туда лишние слова  "через (мин)" будто пункт имеет значение времени, а не галку да/нет.

 

Как получается, что такие вещи не замечают тестировщики? Или замечают, но раньше чем подойдёт черёд билда с исправлением не поправить, а сроки выпуска поджимают, поэтому приходится делать релиз текущей версии?

По выше приведенной конкретике сказать ни чего не могу, тем более, что этот продукт вне зоны моей экспертизы. Но постараюсь донести информацию о замеченных проблемах до ответственных лиц.

 

Если говорить в общем - решение о приоритетности и необходимости правок в рамках релиза должно приниматься исходя из критичности проблемы, которая определяется т.н. импактом на пользователя или бизнес. Т.е. насколько данная проблема может повредить пользователю, бизнесу и/или репутации компании. Проблемы с высоким импактом не должны попасть в релиз, не зависимо от его сроков. Примеры (выдуманные):

  • После установки новой версии поверх старой, IDS не работает до перезагрузки ОС - высокий импакт на пользователя, т.к. под угрозой его безопасность, проблема должна быть исправлена в рамках релиза в любом случае. Сам пользователь проблему заметит вряд ли, кстати.
  • После установки новой версии поверх старой, IDS работает корректно, но не отображает всплывающую нотификацию о блокировке атакующей машины до перезагрузки ОС - тут уже у нас пользователь защищен, сама по себе ситуация - не сильно распространена - уже можно обсуждать что-то по правке.
  • Название продукта в заголовке окна написано с ошибкой - пример, когда импакт на пользователя нулевой, а вот на репутацию компании - огромный. Тоже такое в релиз уйти не может.

Такое, что проблема пропускается при тестировании - бывает, конечно. Как правило это происходит, если проблема имеет какие-то специфические условия для воспроизведения, не покрытые по разным причинам при тестировании, или воспроизводится не стабильно. К слову сказать - бета-тест в отлове именно такого рода проблем очень важен. Примеры (снова выдуманные):

  • GUI продукта перезагружается без формирования дампа после 4х часов в открытом состоянии.
  • ОС уходит в циклический BSOD после установки нового обновления ОС KBXXXX.
  • Нотификация продукта имеет 7% шанс закрыться сразу после появления.

Вариант "тестировщик прозевал проблему" - тоже возможен, конечно. Но чтобы вот так вот прямо - я такое видел очень редко. Но бывает. Люди остаются людьми.

 

 

Изменено пользователем Корчагин Степан
Ссылка на сообщение
Поделиться на другие сайты
1 час назад, Friend сказал:

Если он не определяет брутфост RDP - это баг?

P.S. Пожелание: реализовать возможность ручную настройку блокировок для защиты от брутфоста RDP.

  

Получается при тестирование сейчас нагрузку на HDD не учитывают?

Увлекаешься ли ты майнингом? Если нет, почему? Если да, стоит этого того или все зависит от курса криптовалюты?

Про брутфорс RDP - как минимум нужно рассмотреть ситуацию. Просьба сбросить мне сценарий воспроизведения и линк, откуда можно скачать продуктовые трейсы. Наверное, лучше всего это сделать через ПМ, чтобы не превращать эту тему в филиал https://eap.kaspersky.com/ )

 

Про нагрузку на HDD - учитывают, конечно. Просто этим занимаются отдельно, специально обученные люди, ответственные за тесты производительности. SSD необходим из-за того, что производительность диска является бутылочным горлышком при работе с виртуальными машинами.

 

Про майнинг - нет. Технология блокчейна сама по себе может быть очень полезна, но то, для чего ее используют в играх с криптовалютами - высокотехнологичный вариант финансовой пирамиды ИМХО. Заработать на этом можно попытаться, но мне воспитание и принципы не позволяют. Я лучше видеокарту по прямому назначению буду использовать )

 

Ссылка на сообщение
Поделиться на другие сайты
24.03.2021 в 15:20, oit сказал:

В дополнение к вопросу от @Demiad:

если GUI тестирует кто-то другой, можете попросить этого сотрудника ЛК связаться с @MiStr, @dkhilobok, @Meravigliosaaa и записаться на интервью на форуме? 😉

Не уверен, что понял правильно. Если речь про проблемы KSC - я информацию передал коллегам, если проблемы им не известны - они запросят уточнения.

Касательно интервью - думаю, что пожелание названными коллегами прочитано, но просьба не забывать, что не каждый может захотеть участвовать в такого рода мероприятиях, как из личных соображений, так и просто по причине занятости.  

Изменено пользователем Корчагин Степан
Ссылка на сообщение
Поделиться на другие сайты
13 минут назад, Umnik сказал:

Какие инструменты для автоматизации под Шинду используете?

Этот вопрос лучше задать профильному специалисту. Я не знаю на сколько это чувствительная информация во-первых, попросту не знаю всего арсенала во-вторых.

В прошлом приходилось использовать разные готовые решения, но честно говоря уже даже не припомню их названий за давностью лет, кроме Селениума, разве что. Все-таки это не мой профиль. Но боль поддержки тестов в рабочем состоянии испытал, было дело )

Ссылка на сообщение
Поделиться на другие сайты
1 час назад, Sandor сказал:

Бывает ли у Вас обмен опытом с другими компаниями? Или используете только собственное ноу-хау?

Как минимум на уровне организации/посещения разного рода конференций и курсов. Бывают ли подобные мероприятия в других форматах - не сталкивался.

Ссылка на сообщение
Поделиться на другие сайты

Какими банками ты пользовался и какой ты советуешь, а какие лучше избегать?

 

Почему сейчас все тестовые сборки с включенным логированием, даже RC релизы? Планируют ли как-то чередовать сборки с включенным и отключенным логированием, как было раньше?

 

 

Ссылка на сообщение
Поделиться на другие сайты
7 часов назад, Friend сказал:

Какими банками ты пользовался и какой ты советуешь, а какие лучше избегать?

 

Почему сейчас все тестовые сборки с включенным логированием, даже RC релизы? Планируют ли как-то чередовать сборки с включенным и отключенным логированием, как было раньше?

 

 

По банкам - я не специалист, чтобы советовать. Мое личное ИМХО - любые банки из ТОП20 в настоящий момент достаточно надежны. Я предпочитаю банки с госучастием - их будут вытягивать в любом случае, если вдруг чего случиться. Небольшие коммерческие банки, часто, прогрессивнее и дружелюбнее к пользователю. Но менее устойчивы к разного рода неприятностям и имеют гадкую тенденцию закрываться, сжигая гораздо больше нервных клеток пользователю, чем любой крупный банк за все время использования. Такой опыт у меня тоже есть.

Касательно личного использования - обойдусь без рекламы )))

По тестовым сборкам - Там сейчас не только трассировки включены, но и отладочный функционал. Все это теперь отключается из GUI продукта (раньше отключались только трейсы, для отключения верифаеров нужно было помучаться), при желании. Получаемая от них информация бывает критично важна для нас при исследовании проблемы, особенно на этапе RC, когда время поджимает. Однако на этапе RC отладочный функционал несколько облегчен. Пока менять что-то не планируется.

P.S. На всякий случай - попасть в настройки включения/отключения отладочного функционала можно нажав на кнопку "Бета-версия" в заголовке главного окна продукта. Трейсы отключаются стандартным образом, через настройки окна поддержки.

Ссылка на сообщение
Поделиться на другие сайты

Степан, привет! Приятно видеть твоё интервью здесь на форуме. А еще вдвойне здорово, что даёшь максимально развернутые ответы!

 

Есть ощущение, что в последние годы среднестатистический пользователь полностью отказывается от антивирусной программы, полностью полагаясь на средства Windows. Может ли эта тенденция развернуться в обратную сторону?

 

Много ли людей помнишь со встреч фан-клуба? Какая встреча понравилась больше всего?

Ссылка на сообщение
Поделиться на другие сайты
5 часов назад, Deadman сказал:

Степан, привет! Приятно видеть твоё интервью здесь на форуме. А еще вдвойне здорово, что даёшь максимально развернутые ответы!

 

Есть ощущение, что в последние годы среднестатистический пользователь полностью отказывается от антивирусной программы, полностью полагаясь на средства Windows. Может ли эта тенденция развернуться в обратную сторону?

 

Много ли людей помнишь со встреч фан-клуба? Какая встреча понравилась больше всего?

На тему разворота тенденций - в определенных условиях может, конечно. Например, если МС в какой-то момент допустит серьезную уязвимость с серьезными последствиями. Но какова вероятность такого события - я не знаю.  Могу предположить, что вероятность будет расти по мере вытеснения других игроков с рынка.

На тему людей и встреч ФК - сразу покаюсь, что у меня безумно плохая память на имена. Вообще никакая. Совсем. Даже написанные. Вплоть до того, что я на форумах людей сначала запоминаю по аватарке, и уже сильно потом по нику. А в жизни - сильно не сразу и или по имени, или по фамилии, или по нику. 

Вот визуально помню если не всех, то наверняка большинство из тех, с кем встречались. Хотя время, которое требуется для извлечения образа из памяти прямо пропорционально времени, прошедшей со встречи, конечно. 

На тему какая встреча больше всего понравилась - Камбоджа, пожалуй. С небольшим отставанием - Сочи. Но вообще - они все были прекрасно организованы и интересны, на мой взгляд. 

Изменено пользователем Корчагин Степан
Ссылка на сообщение
Поделиться на другие сайты
21 minutes ago, Корчагин Степан said:

Например, если МС в какой-то момент допустит серьезную уязвимость с серьезными последствиями. Но какова вероятность такого события - я не знаю.

С разморозкой, Степан :) Это УЖЕ произошло. https://www.kaspersky.ru/blog/exchange-vulnerabilities/30228/

 

Вообще, если внутри ЛК не было рассылки о том, что "мы занимаемся исследованием, чтобы выяснить, был ли доступ к нашей сети", я буду ОЧЕНЬ удивлён. Это вообще первый вопрос у меня был бы с утра, как только получил бы доступ к Шуму.

Изменено пользователем Umnik
Ссылка на сообщение
Поделиться на другие сайты

Присоединяйтесь к обсуждению

Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.

Гость
Ответить в этой теме...

×   Вставлено с форматированием.   Вставить как обычный текст

  Разрешено использовать не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отображать как обычную ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставлять изображения напрямую. Загружайте или вставляйте изображения по ссылке.

  • Похожий контент

    • От MiStr
      Давно мы не проводили интервью в рамках проекта "Интервью с экспертами ЛК". Решили не просто их возобновить, а запланировали целую серию общения с экспертами компании Готовы? Тогда поехали!
       
      Встречайте первопроходца сезона 2021. Дмитрий Чернецкий, глава глобальных пресейл экспертов (Head of Global Presales Expert), готов ответить на вопросы фан-клубовцев с 17 по 23 февраля 2021 года включительно. Традиционно интервьюируемым будет выбран самый лучший вопрос по его мнению, автор которого получит подарок от фан-клуба. Вопросы можно начинать задавать уже сейчас.
       
        

      Напоминаем, что в соответствии с правилами раздела, эксперты "Лаборатории Касперского" отвечают на корректно оформленные вопросы по различным тематикам, при этом оставляя за собой право не отвечать на вопросы, касающиеся сугубо личной жизни. Провокационные, некорректные, глупые, оскорбляющие вопросы будут удалены без предупреждения. К их автору будут применены санкции по ограничению доступа на форум. Обращаем ваше внимание, что эксперты "Лаборатории Касперского" в рамках интервью не оказывают помощи по продуктам компании и не помогают вылечиться от вирусов. Интервьюируемые отвечают на вопросы в свободное время, поэтому задержка с ответами может доходить до нескольких дней. Пожалуйста, не спрашивайте, почему эксперт "Лаборатории Касперского" не ответил на тот или иной вопрос, а также не уточняйте, когда будет получен ответ.

      Краткая биография Дмитрий Чернецкого:
      Родился в Ленинграде. В 2009 году закончил факультет прикладной математики и процессов управления Санкт-Петербургского государственного университета по специальности «математик – системный программист».
      В 2013 году присоединился к московской команде "Лаборатории Касперского" в роли пресейл инженера. В 2019 релоцировался в офис компании в Сингапуре. В качестве главы глобальных пресейл экспертов отвечает за курирование крупнейших международных B2B проектов и за взаимодействие с командой продаж в регионе APAC. 

×
×
  • Создать...