4.2 Работы по тестированию
Описание продукта, документация пользователя, программы и любые данные, поставляемые как части пакета программ:
- должны быть протестированы на соответствие требованиям раздела 3;
- могут быть протестированы на соответствие рекомендациям раздела 3.
Цели тестирования должны быть определены исходя из требований раздела 3 и должны охватывать все эти требования (полноту, непротиворечивость и т.д.).
Если в описании продукта упомянуты другие продукты, то их необходимо протестировать только по требованиям, предъявленным к ним в описании тестируемого продукта.
Подробные формулировки из описания продукта, документации пользователя, функций и данных для продукта тестировать нет необходимости, если по оценке тестировщика:
- они оказывают незначительное влияние на соответствие названной рабочей задаче;
- они могут быть протестированы в принципе, но с неоправданными затратами ресурсов.
Те подробные формулировки, которые не были протестированы, должны быть указаны в протоколах тестирования и в отчете о тестировании. Причины, по которым они не были протестированы, должны документироваться в протоколах тестирования.
4.2.1 Описание продукта
Должно быть протестировано выполнение соответствующих требований раздела 3, а выполнение рекомендаций раздела 3 может быть протестировано.
4.2.2 Документация пользователя
Должно быть протестировано выполнение соответствующих требований раздела 3, а выполнение рекомендаций раздела 3 может быть протестировано.
4.2.3 Программы и данные
Должно быть протестировано выполнение соответствующих требований раздела 3, а выполнение рекомендаций раздела 3 может быть протестировано.
Программы должны быть протестированы во всех вычислительных системах, указанных в описании продукта.
При наличии нескольких вариантов программы должен быть протестирован каждый из них. Каждая из функций, которые в соответствии с описанием продукта и документацией пользователя одинаковы в ряде вариантов, может быть протестирована в одном из вариантов.
Поставляемые программы и данные должны быть протестированы с использованием контрольных примеров, разработанных на основе описания продукта и документации пользователя. Другие материалы (например, исходные программы) не проверяют, за исключением случаев, когда это необходимо при тестировании формулировок из описания продукта или документации пользователя.
Контрольные примеры должны быть методологически и систематически проработаны.
Примечание - Допускается использование методологии тестирования с применением случайных кодов.
Если в документации пользователя приведены примеры, то они должны быть использованы в качестве контрольных, но проводимое тестирование не должно быть ограничено только этими примерами.
Могут быть использованы контрольные примеры, предоставляемые поставщиком программного пакета, но проводимое тестирование не должно быть ограничено только этими примерами.
Если в соответствии с описанием продукта установка пакета может быть выполнена пользователем, должна быть проверена возможность инсталляции программ и протестирована возможность успешной установки пакета согласно описанию, приведенному в руководстве по установке.
Любым способом должно быть обеспечено, чтобы техническая и программная среда, в которой установлены программы, соответствовала формулировкам из описания продукта в части рассматриваемой вычислительной системы.
Контрольные примеры должны охватывать все функции, приведенные в описании продукта и документации пользователя, а также должны учитывать комбинации функций, характерные для рабочей задачи.
Программы должны быть протестированы по всем граничным значениям (в соответствии с описанием продукта и документацией пользователя) в необходимой системе, для которой заданы эти значения.
При тестировании должны быть использованы исходные данные и последовательности команд, которые в документации пользователя явно не рекомендуются или объявляются запрещенными (см. 3.3.2).
4.3 Протоколы тестирования
Протоколы по каждому тесту должны содержать информацию, достаточную для повторения теста (Руководство ИСО/МЭК 25 [6]). Данная информация должна включать:
- план тестирования или технические требования (спецификацию) к тестированию, содержащие контрольные примеры (для каждого контрольного примера указаны его цели, см. 2.6);
- все результаты, связанные с контрольными примерами, включая все ошибки, выявленные при выполнении теста;
- штат персонала, вовлеченного в тестирование.
4.4 Отчет о тестировании
В отчете о тестировании должны быть суммированы цели и результаты тестирования (описанные в протоколах тестирования для каждого теста). Отчет о тестировании должен иметь следующую структуру.
1 Обозначение продукта.
2 Вычислительные системы, использованные при тестировании (технические средства, программные средства и их конфигурация).
3 Использованные документы (включая их обозначения).
4 Результаты тестирования описания продукта, документации пользователя, программ и данных.
5 Перечень несоответствий требованиям.
6 Либо перечень несоответствий рекомендациям, либо перечень не учтенных в продукте рекомендаций, либо формулировка того, что продукт не был протестирован на соответствие рекомендациям.
7 Дата окончания тестирования.
8 раздел 4 отчета о тестировании (Результаты тестирования) должны быть включены формулировки, соответствующие наименованию каждого пункта 3.1-4.2.
В разделе 6 отчета о тестировании дополнительно к формулировке, что продукт не был протестирован на соответствие рекомендациям, может быть приведен перечень замеченных несоответствий рекомендациям.
Обозначение отчета о тестировании (испытательная лаборатория, обозначение продукта, дата выпуска отчета о тестировании) и общее число его страниц должны проставляться на каждой странице отчета о тестировании. Отчет о тестировании должен включать:
- формулировку, что результаты тестирования относятся только к протестированным компонентам продукта;
- формулировку, что полная копия отчета о тестировании не может быть изготовлена без письменного разрешения соответствующей испытательной лаборатории (Руководство ИСО/МЭК 25 [6]).
Отчет о тестировании должен соответствовать положениям Руководства ИСО/МЭК 25 [6], относящимся к отчетам о тестировании.
4.5 Дополнительное тестирование
Когда продукт, который уже был протестирован, тестируется повторно (с учетом результатов предыдущего тестирования), тогда:
- все измененные части документов, функций и данных должны быть протестированы как новый продукт;
- все неизмененные части, на которые могут влиять измененные части или изменения в необходимой системе (в соответствии с опытной оценкой тестировщика), должны быть протестированы как новый продукт;
- все другие части должны быть по крайней мере выборочно протестированы.
ПРИЛОЖЕНИЕ А (справочное)
Определения из других нормативных документов
В настоящем приложении приведены некоторые термины и определения, используемые в настоящем стандарте, но описанные в других нормативных документах. К моменту публикации настоящего стандарта действуют редакции нормативных документов, указанные в приложении С.