Главная Случайная страница


Категории:

ДомЗдоровьеЗоологияИнформатикаИскусствоИскусствоКомпьютерыКулинарияМаркетингМатематикаМедицинаМенеджментОбразованиеПедагогикаПитомцыПрограммированиеПроизводствоПромышленностьПсихологияРазноеРелигияСоциологияСпортСтатистикаТранспортФизикаФилософияФинансыХимияХоббиЭкологияЭкономикаЭлектроника






Проверка согласованности и достоверности экспертных оценок

Групповая оценка может считаться достаточно надежной лишь при условии хорошей согласованности ответов опрашиваемых специалистов. Поэтому статистическая обработка информации, полученной от экспертов, должна включать в себя оценку степени согласованности мнений.

Оценки, полученные от экспертов, могут рассматриваться как случайная переменная, распределение которой отражает мнения экспертов о вероятности того или иного выбора события (фактора). Поэтому для анализа разброса и согласованности оценок экспертов применяются обобщенные статистические характеристики – средние и меры разброса:

— средняя квадратичная ошибка,

— вариационный размах min – maх,

коэффициент вариации V=ср.квадр.откл./ средняя арифм. и т.п.

Для оценки меры сходства мнений каждой пары экспертов могут быть использованы самые разные методы:

коэффициенты ассоциации, с помощью которых учитывается число совпадающих и несовпадающих ответов,

коэффициенты противоречивости мнений экспертов,

Коэффициенты ранговой корреляции Кендалла и Спирмена.

Все эти меры можно использовать либо для сравнения мнений двух экспертов, либо для анализа связи между рядами оценок по двум признакам.

Коэффициент корреляции рангов Спирмена:

где n – число экспертов,

ck – разность оценок i-го и j-го экспертов по всем T факторам.

В практике экспертных оценок, однако, часто приходится сопоставлять много признаков. В таких случаях попарное сравнение комбинации факторов (например, по Спирмену) может оказаться чрезвычайно трудоемким, поэтому были разработаны специальные критерии, позволяющие относительно просто оценить согласованность мнений экспертов по ряду факторов.

Конкордация

Согласованность мнений по нескольким факторам оценивается с помощью коэффициента конкордации W, то есть общего коэффициента ранговой корреляции для группы, состоящей из m экспертов.

Доказано, что величина S, когда все эксперты дают одинаковые оценки по всем факторам, имеет максимальное значение, равное

где n – число факторов,

m – количество экспертов.

Однако, на практике такое событие невероятно, поэтому согласованность (коэффициент конкордации W) определяется как отношение фактической меры согласованности S к Smax :

W = S/Smax , или

Формула для расчета S приведена ниже:

,

где обозначения те же, что выше.

Рассмотрим процесс определения коэффициента конкордации на примере ранговых оценок, выданных 7-ю экспертами по 6-ти факторам (табл. ниже )

Для расчета сначала находится сумма оценок (рангов) по каждому фактору, полученная от всех экспертов, затем их средняя арифметическая, отклонения суммарной оценки фактора от средней и сумма их квадратов:

Таблица — Оценки факторов (объектов) экспертами фирмы
Эксперты Факторы  
C1 C2 C3 C4 C5 C6  
Э1  
Э2  
Э3  
Э4  
Э5  
Э6  
Э7  
Сумма R = S(Ri)
Средняя арифметическая по всей таблице. Она равна Rср = m*(n+1)/2 или вычисляется как обычно с помощью функции СРЗНАЧ() Rср =24,5
Отклонения от средней суммы рангов (Rср) -12,5 -1,5 1,5 11,5 15,5 -14,5  
квадраты 156,25 2,25 2,25 132,25 240,25 210,25 S = 743,5
Rmin  
Vi=Rmin/S 0,83 0,43 0,38 0,28 0,25 3,18
Wi=Vi/Svi 0,26 0,14 0,12 0,09 0,08 0,31  
                           

 

В нашем случае Smax = 1/12*6*49*(36 - 1) = 857,5, а S = 743,5

Коэффициент конкордации равен отношению W= S / Smax, , причем если W близок к 1, то все эксперты дали примерно одинаковые оценки, их мнения достаточно согласованны.

W = S/Smax = 743.5 / 857,5 = 0,87

Согласованность мнений экспертов высокая.

Еще раз хотелось бы подчеркнуть, что приведенные формулы пригодны только при строгом ранжировании (как в примере — у каждого эксперта все оценки попарно разные).

Список использованных источников по теме:

  1. Саати Т., Кернс К. Аналитическое планирование: Организация систем : Пер. с англ. — М.: Радио и связь, 1991. — 224 с.
  2. Саати Т. Принятие решений. Метод анализа иерархий. — М.: Радио и связь, 1993. — 320 с.
  3. Таха Х. А. Введение в исследование операций, 6-е издание : Пер. с англ. — М.: Издательский дом «Вильямс», 2001. — 912 с.
  4. Блюмин С.Л., Шуйкова И.А. Введение в математические методы принятия решений. — Липецк: ЛГПИ, 1999
  5. Карлберг К Бизнес-анализ с помощью Excel 2000.: Пер. с англ.: Уч. пособие. – М.: Изд. Дом “Вильямс”, 2000. – 480 с.
  6. Берк К, Кэйри П. Анализ данных с помощью Microsoft Excel: пер. с англ. – М.: Издательский дом «Вильямс», 2005. – 560 с.: ил.
  7. Бешелев С. Математико-статистические методы экспертных оценок, 1980

 

Последнее изменение этой страницы: 2016-07-23

lectmania.ru. Все права принадлежат авторам данных материалов. В случае нарушения авторского права напишите нам сюда...