Repository navigation
Формы из списка исключений не должны трактоваться как пропущенные тесты #770
Description
В последних версиях дымовых тестов проверки форм, попадающих под исключения трактуются как пропущенные тесты (желтая полоса) и отображаются в браузере тестов (а при запуске из ком. строки попадают в отчет о тестировании).
Это очень не удобно: лишняя информация в интерактивном режиме, желтый статус теста при запуске на CI, хотя на самом деле я ЯВНО исключил проверку формы.
Предлагаю по умолчанию такое поведение отключить: проверки форм из исключений не должны отображаться в браузере тестов и не должны попадать в отчет о тестировании вообще, как будто их нет вовсе (на то и исключения).
Для тех, кому нужно видеть такие проверки пропущенными предлагаю добавить настройку ТрактоватьИсключенныеТестыКакПропущенные (булево). По умолчанию (и в случае отсутствия в файле) - false. Т.е. тесты в браузере не отображаются. Если значение true, то поведение будет как сейчас.
Activity
kuntashov commentedon Dec 14, 2017
@artbear что думаешь?
Ты вообще помнишь, кто этот функционал добавил? Какая была мотивация?
artbear commentedon Dec 15, 2017
Не согласен.
Добавлял я,
Специально для того, чтобы было понимание о том, что какие-то возможности мы явно пропустили.
Чтобы не пропадало то, что указано в исключениях.
Иначе была ситуация - отключили какую-то форму и все, про нее практически забывали :(
Если тебе сильно нужно, сделай спец. настройку
УбиратьИсключенныеТестыИзСпискаТестовkuntashov commentedon Dec 15, 2017
А для чего тогда исключения нужны?
Мне исключение форм из проверок нужны для настройки тестирования конкретной конфигурации: забыть форму, насчет которой принято решение - не тестировать в данном проекте (т.к. не используется или невозможно протестировать, а доработка только для целей тестирования нецелесообразна, т.к. данная форма остается типовой).
Например, когда в БП ведется включен режим учета ЗП "в другой программе", то формы зарплатных документов не надо проверять: они не будут открываться, этот функционал не будет дорабатываться.
Но из-за текущего поведения эти проверки всегда будут светиться желтым и отвлекать от реально желтых ситуаций.
Второй пример - документы из подсистемы для электронного документооборота с налоговыми органами (ЭДО). Если подсистема не используется они всегда светятся желтым, а это десяток документов и справочников + по 2-4 формы в каждом, это порядка 50 желтых тестовых случаев. Их в настоящий момент по крайней мере в обычных формах дымовыми тестами не проверить (сама форма документа не открывается, там все формы на формах обработок сделаны).
Исключения будут во всех конфигурациях, а поэтому в текущей реализации дымовые тесты всегда будут желтыми, это не правильно, т.к. дезинформирует.
Себе и так сделал, потому что иначе пользоваться невозможно: ошибки исправляются, тесты проходят, а результат все равно всегда желтый - это не правильное поведение, т.к. невозможно по отчету в итоге понять, изменилось ли состояние после доработок в положительную сторону или нет.
artbear commentedon Dec 15, 2017
Да, я понимаю твои резоны и частично с ними согласен.
Думается мне, что настройка УбиратьИсключенныеТестыИзСпискаТестов позволит разрулить эту проблему.
Жду PR :)
1cgh commentedon Dec 15, 2017
Согласен с @kuntashov, и настройка скорее должна быть ОтображатьИсключенныеТестыКакПропущенные
Т.е. дефолтным поведением должно быть, когда исключенные тесты НЕ показываются, как пропущенные.
Ndochp commentedon Dec 15, 2017
kuntashov commentedon Dec 15, 2017
Что имеете в виду под "два списка"?
Смысл фразы не понятен. Можете пояснить?
В каких случаях может потребоваться одни формы из исключений показывать желтым цветом, а другие - скрывать? Можете привести пример из вашей практики, когда такое нужно было?
Ndochp commentedon Dec 15, 2017
kuntashov commentedon Dec 15, 2017
@Ndochp спасибо! Хороший кейс.