EPIC: Доработать тест-раннер

[artbear]

Продолжение https://github.com/oscript-library/1testrunner/issues/1

Продолжение EvilBeaver/oscript-library#31 и EvilBeaver/oscript-library#27

@kuntashov
Переношу значимую информацию из обсуждения https://bitbucket.org/EvilBeaver/1script/issues/207/tests-testrunneros

• 1 Найденные баги/недочеты/фичи, которые надо учесть в новом приложении:

  • код для проверок (assertions) в testrunner.os - свой, а надо чтобы использовался модуль asserts и дублирования не было
  • то же самое про работу с ком. строкой (разбор аргументов) Перенесено в Реализовать обработку параметров командной строки через cmdline или через шаблон менеджера команд от @EvilBeaver  #11
  • модуль asserts/xunit отстает по возможностям от модуля asserts/bdd, в частности нет методов ВыбрасываетИсключение() и некторых других: надо привести функционал к единому виду, если сравнивать с xUnitFor1C - то от него отставание по функционалу еще больше (хотя сужу поверхностно - смотрю просто на общее количество методов-проверок, пока внимательно не анализировал, какие вообще имеет смысл переносить, очевидно, что не все);
  • Не обнаружил проверок ПроверитьСтруктурыИдентичны и ПроверитьСоответствияИдентичны или аналогичных нигде (поправьте, если ошибаюсь), даже в xUnitFor1C их не нашел. Не возникало такой потребности?
  • Если в ком. строке testrunner.os передать в качестве аргумента имя конкретного теста, но такого тестового метода пока нет (-run tests/yadisk-test.os "Тест_ЭтогоТестаНет"), то скрипт будет выполнять все методы, а ожидается, что он остановится с исключением Тестовый метод <Тест_ЭтогоТестаНет> не определен.

• 2 Есть рассогласованность в нумерации тестов в выводе: Перенесено в Рассогласованность в нумерации тестов #22

• При выполнении тестов в выводе testrunner'а тесты нумеруются по порядку с нуля.

• Если при этом запускать отдельный тест - в выводе ему будет назначен номер 0.

• Если при выполнении всех тестовых случаев из одного файла несколько тестов, например, 2 упадут, то в выводе будет выведено:

Упали тесты. Количество 2 шт: 
    тест № 1 : ...
    тест № 2 : ...

• Т.е. нумерация упавших - также сначала, но при этом с единицы.

• В связи с тем, что в ком. строке поддерживается запуск теста по номеру, было бы правильнее нумерацию тестов выводить в соответствии с их порядком, в котором они добавляются в список тестов:

• При запуске всех тестов - нумерация независимо от порядка выполнения тестов должна сохраняться согласно индексам в списке тестов

• При выполнении одного теста должен выводиться его номер из списка тестов

• В списке упавших тестов должны выводиться номера упавших тестов согласно списка тестов.