Категории: ДомЗдоровьеЗоологияИнформатикаИскусствоИскусствоКомпьютерыКулинарияМаркетингМатематикаМедицинаМенеджментОбразованиеПедагогикаПитомцыПрограммированиеПроизводствоПромышленностьПсихологияРазноеРелигияСоциологияСпортСтатистикаТранспортФизикаФилософияФинансыХимияХоббиЭкологияЭкономикаЭлектроника |
Проверка согласованности и достоверности экспертных оценокГрупповая оценка может считаться достаточно надежной лишь при условии хорошей согласованности ответов опрашиваемых специалистов. Поэтому статистическая обработка информации, полученной от экспертов, должна включать в себя оценку степени согласованности мнений. Оценки, полученные от экспертов, могут рассматриваться как случайная переменная, распределение которой отражает мнения экспертов о вероятности того или иного выбора события (фактора). Поэтому для анализа разброса и согласованности оценок экспертов применяются обобщенные статистические характеристики – средние и меры разброса: — средняя квадратичная ошибка, — вариационный размах min – maх, — коэффициент вариации V=ср.квадр.откл./ средняя арифм. и т.п. Для оценки меры сходства мнений каждой пары экспертов могут быть использованы самые разные методы: коэффициенты ассоциации, с помощью которых учитывается число совпадающих и несовпадающих ответов, коэффициенты противоречивости мнений экспертов, Коэффициенты ранговой корреляции Кендалла и Спирмена. Все эти меры можно использовать либо для сравнения мнений двух экспертов, либо для анализа связи между рядами оценок по двум признакам. Коэффициент корреляции рангов Спирмена: где n – число экспертов, ck – разность оценок i-го и j-го экспертов по всем T факторам. В практике экспертных оценок, однако, часто приходится сопоставлять много признаков. В таких случаях попарное сравнение комбинации факторов (например, по Спирмену) может оказаться чрезвычайно трудоемким, поэтому были разработаны специальные критерии, позволяющие относительно просто оценить согласованность мнений экспертов по ряду факторов. Конкордация Согласованность мнений по нескольким факторам оценивается с помощью коэффициента конкордации W, то есть общего коэффициента ранговой корреляции для группы, состоящей из m экспертов. Доказано, что величина S, когда все эксперты дают одинаковые оценки по всем факторам, имеет максимальное значение, равное где n – число факторов, m – количество экспертов. Однако, на практике такое событие невероятно, поэтому согласованность (коэффициент конкордации W) определяется как отношение фактической меры согласованности S к Smax : W = S/Smax , или Формула для расчета S приведена ниже: , где обозначения те же, что выше. Рассмотрим процесс определения коэффициента конкордации на примере ранговых оценок, выданных 7-ю экспертами по 6-ти факторам (табл. ниже ) Для расчета сначала находится сумма оценок (рангов) по каждому фактору, полученная от всех экспертов, затем их средняя арифметическая, отклонения суммарной оценки фактора от средней и сумма их квадратов:
В нашем случае Smax = 1/12*6*49*(36 - 1) = 857,5, а S = 743,5 Коэффициент конкордации равен отношению W= S / Smax, , причем если W близок к 1, то все эксперты дали примерно одинаковые оценки, их мнения достаточно согласованны. W = S/Smax = 743.5 / 857,5 = 0,87 Согласованность мнений экспертов высокая. Еще раз хотелось бы подчеркнуть, что приведенные формулы пригодны только при строгом ранжировании (как в примере — у каждого эксперта все оценки попарно разные). Список использованных источников по теме:
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Последнее изменение этой страницы: 2016-07-23 lectmania.ru. Все права принадлежат авторам данных материалов. В случае нарушения авторского права напишите нам сюда... |