Стандартизация качества программных средств

Одной из важнейших проблем обеспечения качества программных средств является формализация характеристик качества и методология их оценки. Для определения адекватности качества функционирования, наличия технических возможностей программных средств к взаимодействию, совершенствованию и развитию необходимо использовать стандарты в области оценки характеристик их качества.

Показатели качества программного обеспечения устанавливают ГОСТ 28.195-89 «Оценка качества программных средств. Общие положения» и ГОСТ Р ИСО/МЭК 9126 «Информационная технология. Оценка программной продукции. Характеристика качества и руководства по их применению». Одновременное существование двух действующих стандартов, нормирующих одни и те же показатели, ставит вопрос об их гармонизации. Ниже рассмотрим каждый из перечисленных стандартов.

ГОСТ 28.195-89 «Оценка качества программных средств. Общие положения» устанавливает общие положения по оценке качества программных средств, номенклатуру и применяемость показателей качества.

Оценка качества ПС представляет собой совокупность операций, включающих выбор номенклатуры показателей качества оцениваемого ПС, определение значений этих показателей и сравнение их с базовыми значениями.

Методы определения показателей качества ПС различаются:

- по способам получения информации о ПС - измерительный, регистрационный, органолептический, расчетный;

- по источникам получения информации - экспертный, социологический.

Измерительный метод основан на получении информации о свойствах и характеристиках ПС с использованием инструментальных средств. Например, с использованием этого метода определяется объем ПС - число строк исходного текста программ и число строк - комментариев, число операторов и операндов, число исполненных операторов, число ветвей в программе, число точек входа (выхода), время выполнения ветви программы, время реакции и другие показатели.

Регистрационный метод основан на получении информации во время испытаний или функционирования ПС, когда регистрируются и подсчитываются определенные события, например время и число сбоев и отказов, время передачи управления другим модулям, время начала и окончания работы.

Органолептический метод основан на использовании информации, получаемой в результате анализа восприятия органов чувств (зрения, слуха), и применяется для определения таких показателей, как удобство применения, эффективность и т.п.

Расчетный метод основан на использовании теоретических и эмпирических зависимостей (на ранних этапах разработки), статистических данных, накапливаемых при испытаниях, эксплуатации и сопровождении ПС. При помощи расчетного метода определяются длительность и точность вычислений, время реакции, необходимые ресурсы.

Определение значений показателей качества ПС экспертным методом осуществляется группой экспертов-специалистов, компетентных в решении данной задачи, на базе их опыта и интуиции. Экспертный метод применяется в случаях, когда задача не может быть решена никаким другим из существующих способов или другие способы являются значительно более трудоемкими. Экспертный метод рекомендуется применять при определении показателей наглядности, полноты и доступности программной документации, легкости освоения, структурности.

Социологические методы основаны на обработке специальных анкет-вопросников.

Показатели качества объединены в систему из четырех уровней. Каждый вышестоящий уровень содержит в качестве составляющих показатели нижестоящих уровней (рис. 4.4).

Рис. 4.4. Уровни системы показателей качества

Для обеспечения возможности получения интегральной оценки по группам показателей качества используют шесть факторов качества (1-й уровень): надежность ПС, сопровождаемость, удобство применения, эффективность, универсальность (гибкость) и корректность.

Каждому фактору качества соответствует набор критериев качества (комплексные показатели – 2-й уровень): устойчивость функционирования, работоспособность, структурность, простота конструкции, и др. (см. табл. 4.3). Общее количество критериев качества – 19.

Таблица 4.3. Факторы и критерии качества по ГОСТ 28.195-89

Критерии качества определяют одной или несколькими метриками (3-й уровень). Если критерий качества определяется одной метрикой, то уровень метрики опускается. Каждая метрика имеет свой порядковый номер (двузначный). Все метрики, принадлежащие одному фактору качества, нумеруются: 01, 02, 03, ….

Метрики составляются из оценочных элементов (единичных показателей – 4-й уровень), определяющих заданное в метрике свойство. Число оценочных элементов, входящих в метрику, не ограничено. Коды оценочных элементов составлены из 5 символов следующим образом:

1-й символ – буква русского алфавита указывает на принадлежность элемента тому или иному фактору. («Н» – надежность, «С» – сопровождаемость, «У» – удобство применения, «Э» – эффективность, «Г» – универсальность, «К» – корректность);

2-й и 3-й символы – номер метрики, которой принадлежит оценочный элемент;

4-й и 5-й символы – порядковый номер данного оценочного элемента в метрике. Например, код Э0201 – первый оценочный элемент второй метрики фактора «эффективность».

1. Показатели надежностихарактеризуют способность ПС в конкретных областях применения выполнять заданные функции в соответствии с программными документами в условиях возникновения отклонений в среде функционирования, вызванных сбоями технических средств, ошибками во входных данных, ошибками обслуживания и другими дестабилизирующими воздействиями.

Устойчивость функционирования – способность обеспечивать продолжение работы программы после возникновения отклонений, вызванных сбоями технических средств, ошибками во входных данных и ошибками обслуживания. Например, после неожиданного отключения питания операционная система Windows 2000, NT выполняет проверку дисков и исправляет найденные ошибки. Если какой-либо программный продукт "повис", можно отменить его выполнение и работать дальше в обычном режиме.

Работоспособность – способность программы функционировать в заданных режимах и объемах обрабатываемой информации в соответствии с программными документами при отсутствии сбоев технических средств.

2. Показатели сопровожденияхарактеризуют технологические аспекты, обеспечивающие простоту устранения ошибок в программе и программных документах и поддержания ПС в актуальном состоянии.

Структурность – организация всех взаимосвязанные частей программы в единое целое с пользованием логических структур "последовательность", "выбор", "повторение". Например, в языках программирования это условные операторы и циклы for, while, do..while.

Простота конструкции – построение модульной структуры программы наиболее рациональным с точки зрения восприятия и понимания образом.

Наглядность – наличие и представление в наиболее легко воспринимаемом виде исходных модулей ПС, полное их описание в соответствующих программных документах.

Повторяемость – степень использования типовых, проектных решений или компонентов, входящих в ПС.

3. Показатели удобства примененияхарактеризуют свойства ПС, способствующие быстрому освоению, применению и эксплуатации ПС с минимальными трудозатратами с учетом характера решаемых задач и требований к квалификации обслуживающего персонала.

Легкость освоения – представление программных документов и программы в виде, способствующем пониманию логики функционирования программы в целом и ее частей.

Доступность эксплуатационных программных документов – понятность, наглядность и полнота описания взаимодействия пользователя с программой в эксплуатационных программных документах.

Удобство эксплуатации и обслуживания – соответствие процесса обработки данных и форм представления результатов характеру решаемых задач

4. Показатели эффективности характеризуют степень удовлетворения потребности пользователя в обработке данных с учетом экономических, вычислительных и людских ресурсов.

Уровень автоматизации – уровень автоматизации функций процесса обработки данных с учетом рациональности функциональной структуры программы, с точки зрения взаимодействия с ней пользователя и использования вычислительных ресурсов.

Временная эффективность – способность программы выполнять заданные действия в интервал времени, отвечающий заданным требованиям.

Ресурсоемкость – минимально необходимые вычислительные ресурсы и число обслуживающего персонала для эксплуатации.

5. Показатели универсальности характеризуют адаптируемость ПС к новым функциональным требованиям, возникающим вследствие изменения области применения или других условий функционирования.

Гибкость – возможность использования ПС в различных областях применения.

Мобильность – возможность применения ПС без существенных дополнительных трудозатрат на ЭВМ аналогичного класса.

Модифицируемость – обеспечение простоты внесения необходимых изменений и доработок в программу в процессе эксплуатации.

6. Показатели корректности характеризуют степень соответствия ПС требованиям, установленным в техническом задании, требованиям к обработке данных и общесистемным требованиям.

Полнота реализации – полнота реализации заданных функций ПС и достаточность их описания в программной документации.

Согласованность – однозначное, непротиворечивое описание и использование тождественных объектов, функций, терминов, определений, идентификаторов и т. д. в различных частях программных документов и текста программы.

Логическая корректность – функциональное и программное соответствие процесса обработки данных при выполнении задания общесистемным требованиям.

Проверенность – полнота проверки возможных маршрутов выполнения программы в процессе тестирования.

В процессе оценки качества ПС на каждом уровне (кроме уровня оценочных элементов) проводятся вычисления показателей качества ПС, т.е. определение количественных значений абсолютных показателей (Р_ij, где j – порядковый номер показателя данного уровня для i-го показателя вышестоящего уровня) и относительных показателей (K_ij), являющихся функцией показателя Р_ij и базового значения P_ij^баз. Каждый показатель качества 2-го и 3-го уровней (критерий и метрика) характеризуется двумя числовыми параметрами - количественным значением и весовыми коэффициентами (V_ij).

Сумма весовых коэффициентов показателей уровня (l), относящихся к i-му показателю вышестоящего уровня (l - 1), есть величина постоянная. Сумма весовых коэффициентов (V_ij) принимается равной 1.

,

где j = 1 ¸ п,

п – число показателей уровня (l), относящихся к i-му показателю вышестоящего уровня (l - 1).

Общая оценка качества ПС в целом формируется экспертами по набору полученных значений оценок факторов качества. Для оценки качества ПС различного назначения методом экспертного опроса составляется таблица значений базовых показателей качества ПС.

Определение усредненной оценки (m_{k q}) оценочного элемента по нескольким его значениям (т_э) проводится по формуле:

где t – число значений ОЭ (оценочного элемента);

k – порядковый номер метрики;

q – порядковый номер ОЭ.

Итоговая оценка k-й метрики j-го критерия ведется по формуле:

где Q – число ОЭ в k-й метрике.

Абсолютные показатели критериев i-го фактора качества определяются по формуле:

где n - число метрик, относящихся к j-му критерию.

Относительный показатель j-го критерия i-го фактора качества вычисляется по формуле:

Фактор качества (K_i^ф) вычисляется по формуле:

где N – число критериев качества, относящихся к i-му фактору.

Качество ПС определяется путем сравнения полученных расчетных значений показателей с соответствующими базовыми значениями показателей существующего аналога или расчетного ПС, принимаемого за эталонный образец. Значения базовых показателей ПС должны соответствовать значениям показателей, отражающих современный уровень качества и прогнозируемый мировой уровень. В качестве аналогов выбираются реально существующие ПС того же функционального назначения, что и сравниваемое, с такими же основными параметрами, подобной структуры и применяемые в условиях эксплуатации.

СтандартISO 9126 (ГОСТ Р ИСО / МЭК 9126-93) «Информационная технология. Оценка программной продукции. Характеристика качества и руководства по их применению» состоит из четырех частей: Часть 1. «Характеристики и субхарактеристики качества»; Часть 2. «Внешние метрики качества»; Часть 3. «Внутренние метрики качества»; Часть 4. «Метрики качества в использовании».

Первая часть стандарта распределяет атрибуты качества программных средств по шести характеристикам, используемым в остальных частях стандарта. Исходя из принципиальных возможностей их измерения все характеристики могут быть объединены в три группы, к которым применимы разные категории метрик (табл. 4.4):

• категорийным, или описательным (номинальным) метрикам наиболее адекватны функциональные возможности программных средств;
• количественные метрики применимы для измерения надежности и эффективности сложных комплексов программ;
• качественные метрики в наибольшей степени соответствуют практичности, сопровождаемости и мобильности программных средств.

Функциональность – набор атрибутов, характеризующий соответствие функциональных возможностей ПО набору требуемой пользователем функциональности [7].

Функциональная пригодность – это набор и описания субхарактеристик и атрибутов, определяющие назначение, номенклатуру, основные, не­обходимые и достаточные функции ПС, заданные техническим заданием и спецификациями требований заказчика или потенциального пользователя.

Правильность-корректность – способность ПС обеспечивать пра­вильные или приемлемые результаты и эффекты. Данное понятие включает получение ожидаемых данных с необходимой степенью точности расчетных значений.

Способность к взаимодействию–свойство ПС и их компонентов взаимодействовать с одной или большим числом указанных систем или компонентов.

Защищенность – свойство ПС защищать программы, информацию и данные.

Таблица 4.4. Характеристики качества ПО согласно ISO 9126

Две группы характеристик качества ПС – Надежность и Эффективность в наибольшей степени доступны количественным измерениям.

Надёжность – свойства комплекса программ обеспечивать достаточно низкую вероятность отказа в процессе функционирования ПС в реальном времени.

Завершенность – свойство ПС не попадать в состояния отказов вследствие ошибок и дефектов в программах и данных.

Устойчивость к дефектам и ошибкам–свойство ПС поддерживать заданный уровень качества функционирования в случаях проявления дефектов и ошибок или нарушения установленного интерфейса.

Восстанавливаемость –свойство ПС в случае отказа восстанавливать заданный уровень качества функционирования, а также поврежденные программы и данные.

Доступность, или готовность, – свойство ПС быть в состоянии выполнять требуемую функцию в данный момент времени при заданных условиях использования.

Эффективность –свойство ПС, обеспечивающее требуемую производительность с учетом количества используемых вычислительных ресурсов в уста­новленных условиях. Эти ресурсы могут включать другие программные продукты, аппаратные средства, средства телекоммуникации и т.п. Эффективность характеризуется также долей времени использования ЭВМ для решения основных функциональных задач ПС.

Временная эффективность – свойство ПС, обеспечивающее требуемые времена отклика и обработки заданий, а также пропускную способность при выполнении его функций в заданных условиях. Временная экономичность ПС определяется длительностью выполнения заданных функций.

Используемость ресурсов – свойство ПС использовать доступные вычислительные ресурсы в течение заданного времени при выполнении его функций в установленных условиях. Ресурсная экономичность отражает количество и степень занятости ресурсов центрального процессора, оперативной, внешней и виртуальной памяти, каналов ввода-вывода, терминалов и каналов локальной сети.

Практичность – свойство ПС, обусловливающее сложность его понимания, изучения и использования, а также привлекательность для пользователя при применении в указанных условиях.

Понятность –свойство ПС, обеспечивающее пользователю понимание, является ли ПС пригодным и как его можно использовать для конкретных задач и условий использования.

Простота использования – свойство ПС, обеспечивающее пользователю возможность и комфортность его эксплуатации и управления им.

Изучаемость – свойство ПС, обеспечивающее удобное изучение пользователем его применения. Она может определяться трудоемкостью и длительностью подготовки пользователя к полноценной эксплуатации ПС.

Привлекательность –субъективное свойство ПС нравиться пользователям. Оно связано с внешними атрибутами оформления ПС и эксплуатационной документации, обусловливающими большую или меньшую его привлекательность для пользователя.

Сопровождаемость –приспособленность ПС к модификации и изменению конфигурации. Изменения могут включать исправления, усовершенствования или адаптацию ПС к изменениям в среде применения, а также в требованиях и функциональных спецификациях заказчика.

Анализируемость –способность ПС к диагностике его дефектов или причин отказов, а также к идентификации и выделению его компонентов для модификации.

Изменяемость –приспособленность ПС к простой реализации специ­фицированных изменений и к управлению конфигурацией. Реализация модификаций включает кодирование, проектирование и документирование изменений.

Стабильность – способность ПС предотвращать и минимизировать непредвиденные негативные эффекты от его изменений.

Тестируемость –способность ПС, обеспечивающая простоту проверки изменений и приемки модифицированных компонентов программ.

Мобильность –приспособленность ПС к переносу из одной аппаратно-операционной среды в другую. Переносимость программ и данных на различные аппаратные и операционные платформы является важным показателем функциональной пригодности для многих современных ПС.

Адаптируемость – способность ПС к модификации для эксплуатации в различных аппаратных и операционных средах без применения других действий или средств, чем те, что предназначены для этой цели в рассматриваемом ПС. Адаптируемость включает масштабируемость внутренних возможностей (например, экранных полей, размеров таблиц, объемов тран­закций, форматов отчетов и т.д.). Если ПС должно адаптироваться конеч­ным пользователем, адаптируемость соответствует пригодности для индивидуализации и может быть компонентом для простоты использования.

Простота установки–способность ПС к простому внедрению (ин­сталляции) в указанной среде заказчика или пользователя. Если ПС должно устанавливаться конечным пользователем, легкость установки будет предпосылкой для удобства использования. Так же как и адаптируемость, она может измеряться трудоемкостью и длительностью процедур установки, а также степенью удовлетворения требований заказчика и пользователей.

Сосуществование-соответствие – способность ПС сосуществовать и взаимодействовать с другими независимыми ПС в общей вычислительной среде, разделяя общие ресурсы. Эта субхарактеристика зависит от степени стандартизации интерфейсов ПС с операционной и аппаратной средой применения и может оцениваться экспертно.

Замещаемость – приспособленность ПС к относительно простому использованию вместо другого выделенного и указанного заменяемого компонента.

Дополнительно каждая характеристика сопровождается субхарактеристикой «согласованность», которая должна отражать отсутствие противоречий с иными стандартами и нормативными документами, а также с другими показателями в данном стандарте.

Вторая и третья части стандарта ISO 9126-2,3 посвящены формализации соответственно внешних и внутренних метрик характеристик качества сложных ПС.

Когда требования к качеству ПС определены, в них должны быть перечислены характеристики и субхарактеристики, которые составляют полный набор показателей качества. Затем определяются подходящие внешние метрики и их приемлемые диапазоны значений, устанавливающие количественные и качественные критерии, которые подтверждают, что ПС удовлетворяет потребностям заказчика и пользователя. Далее определяются и специфицируются внутренние атрибуты качества, чтобы спланировать удовлетворение требуемых внешних характеристик качества в конечном продукте и обеспечивать их в промежуточных продуктах в ходе разработки. Подходящие внутренние метрики и приемлемые диапазоны специфицируются для получения числовых значений или категорий внутренних характеристик качества, чтобы их можно было использовать для проверки того, что промежуточные продукты в процессе разработки удовлетворяют внутренним спецификациям качества. Рекомендуется использовать внутренние метрики, которые имеют наиболее сильные связи с целевыми внешними метриками, чтобы они могли помогать при прогнозировании значений внешних метрик.

Метрики качества в использовании измеряют, в какой степени продукт удовлетворяет потребности конкретных пользователей в достижении заданных целей с результативностью, продуктивностью и удовлетворением в заданном контексте использования. При этом результативность подразумевает точность и полноту достижения определенных целей пользователями при применении ПС; продуктивность соответствует соотношению израсходованных ресурсов и результативности при эксплуатации ПС, а удовлетворенность – психологическое отношение к качеству использования продукта. Эта метрика не входит в число шести базовых характеристик ПС, регламентируемых стандартом ISO 9126, однако рекомендуется для интегральной оценки результатов функционирования комплексов программ.

Оценивание качества в использовании должно подтверждать его для определенных сценариев и задач, оно составляет полный объединенный эффект характеристик качества ПС для пользователя. Качество в использовании – это восприятие пользователем качества системы, содержащей ПС, и оно измеряется скорее в терминах результатов использования комплекса программ, чем собственных внутренних свойств ПС. Связь качества в использовании с другими характеристиками качества ПС зависит от типа пользователя, так, например, для конечного пользователя качество в использовании обусловливают, в основном, характеристики функциональных возможностей, надежности, практичности и эффективности, а для персонала сопровождения ПС качество в использовании определяет сопровождаемость. На качество в использовании могут влиять любые характеристики качества, и это понятие шире, чем практичность, которая связана с простотой использования и привлекательностью. Качество в использовании, в той или иной степени, характеризуется сложностью применения комплекса программ, которую можно описать трудоемкостью использования с требуемой результативностью. Многие характеристики и субхарактеристики ПС обобщенно отражаются неявными технико-экономическими показателями, которые поддерживают функциональную пригодность конкретного ПС. Однако их измерение и оценка влияния на показатели качества представляют сложную проблему.

Четвертая часть стандарта ISO 9126-4 предназначена для покупателей, поставщиков, разработчиков, сопровождающих, пользователей и менеджеров качества ПС. В ней повторена концепция трех типов метрик, а также аннотированы рекомендуемые виды измерений характеристик ПС [6].