3.3.2 Надежность
Система, включая технические средства, необходимые программные средства и те программы, которые входят в продукт, не должны приходить в такое состояние, чтобы пользователь не мог их контролировать, а данные не должны ни повреждаться, ни теряться.
Это требование должно одинаково удовлетворяться в случаях, когда:
- возможность реализуется при конкретных ограничениях;
- имеют место попытки реализации возможности вне заданных ограничений;
- неправильные исходные данные вводятся пользователем или от других программ, перечисленных в описании продукта;
- нарушаются инструкции, заданные в документации пользователя.
Исключаются только те возможности прерывания технических средств и операционной системы, которые не могут быть распознаны любой программой (например, клавиша или комбинация клавиш для сброса системы).
Программы должны обнаруживать нарушения синтаксических правил для исходных данных. В случае, когда программа определяет исходные данные как ошибочные или неопределенные, она не должна их обрабатывать как допустимые исходные данные.
3.3.3 Практичность
В отношении практичности продукта сторонам, заключающим соглашение на основе настоящего стандарта, рекомендуется изучить возможности применения последних редакций стандартов серии ИСО 9241 [16]-[29].
Примечание - В частности, следует принимать во внимание ИСО 9241 -10 [24] и ИСО 9241-13 [26].
Запросы, сообщения и результаты выполнения программ должны быть понятными, например:
- путем соответствующего выбора терминов;
- путем графических представлений;
- путем представления исходной информации;
- путем пояснений из функции подсказки.
В сообщениях об ошибках должна содержаться подробная информация, разъясняющая причину или способ исправления соответствующих ошибок из-за неправильного применения продукта (например, путем ссылки на элемент документации пользователя).
На каждый носитель данных должно быть нанесено обозначение продукта, а если носителей несколько - различающий номер или текст.
Пользователю, работающему с программами, всегда должна быть предоставлена возможность выяснения, какая из функций выполняется.
Программы должны предоставлять пользователю информацию в таком виде, чтобы данная информация им легко воспринималась и читалась. Пользователь может руководствоваться соответствующими кодификаторами и классификаторами информации. При необходимости программы должны выдавать пользователю соответствующие уведомления.
Сообщения от программ следует проектировать таким образом, чтобы пользователь мог легко различать их типы, например:
- подтверждение приема;
- запросы от программ;
- предупреждения;
- сообщения об ошибках.
Форматы входных экранов, отчеты, а также другие исходные и выходные данные следует проектировать так, чтобы их можно было легко просматривать. Для этого могут быть использованы следующие возможности:
- алфавитно-цифровые поля и левостороннее выравнивание;
- числовые поля и правостороннее выравнивание;
- расположение в таблицах десятичных точек или запятых на одной вертикальной линии;
- распознаваемые ограничители полей;
- соответствующее распознавание полей, использование которых обязательно;
- указание ошибок ввода непосредственной засветкой на входном экране;
- привлечение внимания пользователя к изменению содержания экрана путем подачи визуального или звукового сигнала.
Исполнение функций, приводящих к серьезным последствиям при эксплуатации системы, должно быть обратимым, или программы должны выдавать четкие предупреждения о последствиях выполнения данных функций и запрашивать разрешающее подтверждение перед выполнением соответствующей команды. В частности, к серьезным последствиям могут привести стирание или перезапись данных, а также прерывания режима продолжительной обработки.
Если текст документа предоставляется в диалоговом режиме, то пользователю следует обеспечить возможность непосредственного доступа к отдельным структурным элементам текста (разделам, пунктам, абзацам и т.д.), например путем выбора данных элементов из отображенного на экране содержания документа или с помощью функции поиска по ключевым словам.
3.3.4 Эффективность
Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки эффективности.
3.3.5 Сопровождаемость
Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки сопровождаемое™.
3.3.6 Мобильность (переносимость)
Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки мобильности.
4 Указания по тестированию
Указания, приведенные в 4.1-4.5, определяют порядок тестирования продукта на соответствие его требованиям к качеству. Данные указания охватывают как тестирование для характеристик, присущих всем аналогичным продуктам, так и тестирование для характеристик, продекларированных в описании продукта. Указания также охватывают как тестирование путем проверки документов, так и тестирование программ и данных по принципу «черного ящика».
Данные указания описывают функциональное тестирование (тестирование по принципу «черного ящика»). Структурное тестирование данными указаниями не охватывается, потому что для его проведения необходимо наличие исходного кода.
Рассматривают только тестирование продукта в необходимых для него системах. Эргономическую оценку на рабочем пространстве вычислительной системы в настоящем стандарте не рассматривают.
Примечания:
1 Данные указания предназначены в первую очередь для тестирования, проводимого третьей стороной по некоторой схеме сертификации (см. 1 с). При производстве дешевле и эффективнее использовать структурное тестирование.
2 В разделе 4 отсутствуют требования к пакетам программ (все данные требования приведены в разделе 3). Пакет программ может быть аттестован без проведения тестирования согласно разделу 4, а подобная процедура может оказаться неэффективной для выявления существующих в продукте несоответствий.
3 Так как необходимая система определяется в описании продукта, то любое несоответствие продукта в необходимой системе трактуется как несоответствие продукта.
4 Схема сертификации может предусматривать тестирование на соответствие необязательным рекомендациям.
5 Руководство по эргономической оценке приведено в ИСО 9241-11 [16].
4.1 Необходимые условия для тестирования
4.1.1 Наличие компонентов продукта
Для тестирования пакета программ должны иметься в наличии все его поставляемые компоненты (см. 3.1.2 h), а также нормативные документы, указанные в описании продукта (см. 3.1.2 е).
4.1.2 Наличие компонентов системы
Для тестирования пакета программ необходимо наличие составных частей всех вычислительных систем, указанных в описании продукта.
4.1.3 Обучение
Если в описании продукта указана необходимость соответствующего обучения, то испытатель (тестировщик) должен иметь доступ к учебным материалам и обучающим программам.