Настройки дымовых тестов

[alexandr-yang]

Предлагаю обсудить варианты настроек для дымовых тестов. Мое представление о настройках ограниченно личным опытом, поэтому хотелось бы услышать ваше мнение и увидеть выши предложения.

Мой вариант построен на дереве метаданных. Первый уровень - вид метаданных (Справочники, Документы и пр). Второй уровень - тип метаданных (Номенклатура, ПоступлениеТоваровУслуг и пр). Третий уровень - доступные тесты (ОткрытьФормуСписка, ОткрытьФормуСкопированногоОбъекта и пр). Четвертый уровень - настройки конкретного теста (для некоторых тестов иногда нужны дополнительные отборы и пр).

Каждый объект имеет 3 варианта значений - false (выключено), true (включено) и объект (включено с дополнительными настройками). Для вида метаданных Справочники значение false означает, что для всех справочников отключены все тесты. Значеие true будет означать что для всех справочников все тесты включены. Объект означает что настройки будут браться на уровне ниже.

* в ключе обозначает что настройки применимы для всех вложенных объектов на текущем уровне и ниже. Настройки определенные на уровне ниже имеют приоритет над уровнем выше.

Пример
Все тесты включены, кроме:

• Отключен тест ПроверитьМакетыСКД для всех объектов метаданных, кроме справочника Контрагенты
• Тест ОткрытьФормуСкопированногоОбъекта отключен для всех справочников, кроме Номенклатура
• Для документов отключены все тесты
• Для справочника Организации отключен тест ОткрытьФормуСписка

"ДымовыеТесты": {
    "*": {
        "ПроверитьМакетыСКД": false,
        "Справочники.Контрагенты": false, 
        "Справочники.Организации.ОткрытьФормуСписка": false
    },
    "Справочники": {
        "*": {
            "ОткрытьФормуСкопированногоОбъекта": false
        },
        "Номенклатура": {
            "ОткрытьФормуСкопированногоОбъекта": true
        },
        "Контрагенты": {
            "ПроверитьМакетыСКД": true
        } 
    },
    "Документы": false
}

Так же есть вопрос по значению настроек по умолчанию. Для меня кажется приемлемым по умолчанию все включено. Но есть мнение, что должно быть наоборот.

[denisstepanov21011990]

Было бы хорошо иметь дерево настроек. Чтобы можно было более детально выбирать результат.
При текущей версии доступно только два уровня отбора - набор и тест.

[alkoleft]

Мне кажется это относится к обычным тестам, а не к дымовым?

[1cgh]

Нужны фильтры по подсистемам.
Наш кейс:
По доработанным типовым не гоняем дым по типовым объектам, потому что долго и не нужно. Свои объекты и допиленные типовые включаются в пару служебных подсистем. Вот только из них учитываем метаданные при регистрации тестов.

[alexandr-yang]

Да, штука полезная. Но лично у меня нет идей как это оформит в json. Может есть идеи?

[Daabramov]

Мне не очень нравится, что в общие настройки "*" полезли частные, лучше реализовывать эти настройки в соответствующей секции, и раз уж требуется спускаться до нижнего уровня, там уже настройки лучше задавать явно.
Иначе без специального инструмента по получению настроек для конкретного объекта МД не разобраться.

{
    "ДымовыеТесты": {
        "*": {
            "ПроверитьМакетыСКД": false
        },
        "Справочники": {
            "*": {
                "ОткрытьФормуСкопированногоОбъекта": false
            },
            "Номенклатура": {
                "ОткрытьФормуСкопированногоОбъекта": true
            },
            "Контрагенты": {
                "*": false,
                "ПроверитьМакетыСКД": true
            },
            "Организации": {
                "ОткрытьФормуСписка": false
            }
        },
        "Документы": false
    }
}

[alexandr-yang]

Согласен, так даже проще

[EvgSychev]

Все дымовые тесты включены для всех объектов подсистемы НашиДоработки,
все тесты отключены для документов,
тест ОткрытьФормуСписка отключен только для Справочники.Организации,
тест ПроверитьМакетыСКД включен только для Справочники.Контрагенты,
тест ОткрытьФормуСкопированногоОбъекта включен только для Справочники.Номенклатура

{ 
    "ДымовыеТесты" : {
        "ПроверитьМакетыСКД" : {
            "enabled" : [
                "Справочники.Контрагенты"
            ]
        },
        "ОткрытьФормуСкопированногоОбъекта" : {
            "enabled" : [
                "Справочники.Номенклатура"
            ]
        },
        "ОткрытьФормуСписка" : {
            "disabled" : [
                "Справочники.Организации"
            ]
        },
        "allTests" : {
            "disabled" : [
                "Документы"
            ],
            "enabled" : [
                "Подсистема.НашиДоработки"
            ]
        }
    }
}

[alkoleft]

Предлагаю такой вариант.
Отличия:

• Отдельный пункт с глобальными настройками
• ГлобальныеНастройки.* позволяет менять подход настроек (черный/белый список)
• Добавлены подсистемы
• !Ключ настройки для жесткого выключения, аналог !important и как мне кажется работать должно только со значением false. Например: !* - отключить все вложенные без возможности переопределения. !ОткрытьФормуСписка отключить все тесты открытия списка. Нужно для какого то экстренного временного выключения.

{
    "ДымовыеТесты": {
        "ГлобальныеНастройки": {
            "*": true, // для организации белого и черного списков,
            "ПроверитьМакетыСКД": false, // глобальная настройка выполнения вида тестов
            "!ОткрытьФормуСписка": false, // жесткая глобальная настройка выполнения вида тестов
            "ПоШаблонуИмени": { // Подумать над именем настройки
                "*_Удалить": false, // Суффикс объектов метаданных
                "моиДоработки_*": true // Префикс объектов метаданных
            },
            "Подсистемы": { // Указываются только на глобальном уровне
                "*":false,
                "МоиДоработки": true,
                "*.СлужебныеОбъекты": false, // Исключить конечные подсистемы с именем СлужебныеОбъекты
                "ОбщегоНазначения.Что-то там еще": true // Вложенная подсистема
            }
        },
        "Справочники": {
            "Номенклатура": false,
            "ОсновныеСредства": {
                "*": false, // только явно указанные тесты
                "ПроверитьМакетыСКД": true // Переопределение глобальной настройки
            }
        },
        "Документы":{
            "*": {
                "ОткрытьФормуСкопированногоОбъекта": false // отключение конкретного теста для всех документов
            }
        },
        "РегистрыСведений":{ 
            "*": false, // Только указанные объекты
            "ИсторияИзменений": true
        },
        "Задачи": {
            "*": false
        },
        "БизнесПроцессы": false
    }
}

Кажется предусмотрел все возможные варианты.

[alexandr-yang]

Хороший вариант, но лично мне не нравится решение с "!*"

[alkoleft]

Мне тоже не очень нравится, можно оставить его на потом, если возникнет потребность.