Обработка результатов опроса экспертов

Перейдем к рассмотрению процедур, выполняемых на этапе обработки результатов опроса.

На базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При обработке индивидуальных оценок экспертов используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы.

Чаще всего при обработке результатов опроса используются методы математической статистики.

В зависимости от целей экспертизы при обработке оценок могут решаться следующие проблемы:

· формирование обобщенной оценки;

· определение относительных весов объектов;

· установление степени согласованности мнений экспертов и др.

Далее рассмотрим некоторые методы решения каждой из перечисленных задач.

5.1 Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда x_j – оценка j-го эксперта, , где m – число экспертов.

Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например,медиана (M_E), за которую принимается такая оценка, по отношению к которой число бoльших оценок равняется числу меньших.

Может использоваться также точечная оценка для группы экспертов, вычисляемая как среднее арифметическое:

(2)

Определение относительных весов объектов

Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора.

Один из методов определения весов состоит в следующем. Пусть x_ij – оценка фактора i, данная j-ым экспертом, , , n – число сравниваемых объектов, m – число экспертов. Тогда вес i-го объекта, подсчитанный по оценкам всех экспертов (w_i), равен:

(3)

где w_ij – вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:

(4)

Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса.

Вариационный размах (R):

R = x_max - x_min,

(5)

где x_max - максимальная оценка объекта;

x_min - минимальная оценка объекта.

Среднее квадратичное отклонение, вычисляемое по известной формуле:

(6)

где x_j - оценка, данная j-ым экспертом;

m - количество экспертов.

Коэффициент вариации (V), который обычно выражается в процентах:

(7)

Специфичны подходы к проверке согласованности, используемые при оценке объектовметодом ранжирования.

В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x_1j, x_2j, …, x_nj.

Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:

(8)

где x_ij – ранг, присвоенный i-му объекту j-ым экспертом;

x_ik – ранг, присвоенный i-му объекту k-ым экспертом;

d_i – разница между рангами, присвоенными i-му объекту.

Величина может изменяться в диапазоне от –1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.

Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.

В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное - об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.

Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации – общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:

(9)

где

Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.

Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.

Далее приведем примеры расчета коэффициентов и W.

Пример 1. Пусть два эксперта приписали двенадцати факторам, влияющим на успешность реализации инновационного проекта, ранги, показанные в таблице 1.

На основе приведенных данных рассчитайте коэффициент ранговой корреляции Спирмэна.

Решение.

Рассчитаем коэффициент Спирмэна, используя формулу (8). Промежуточные результаты расчетов (d_i и d_i²) приведены в таблице 1.

Таблица 1 - Исходные данные и промежуточные результаты расчетов примера 1

Фактор	Ранги		d_i	d_i²
Фактор	первый эксперт (x_i1)	второй эксперт (x_i2)	d_i	d_i²
А Б В Г Д Е З Ж И К Л М	7 8 2 1 9 3 12 11 4 10 6 5	6 4 1 3 11 2 12 10 5 9 7 8	1 4 1 -2 -2 1 0 1 -1 1 -1 -3	1 16 1 4 4 1 0 1 1 1 1 9
				40

Подставляя вычисленное значение в формулу (7.8), получим:

Такое значение коэффициента Спирмэна свидетельствует о высокой согласованности оценок экспертов.

Пример 2. Пять экспертов проранжировали семь вариантов капиталовложений (соответствующие оценки приведены в таблице 2).

Проверьте согласованность ранжировок, используя коэффициент конкордации.

Решение.

Рассчитаем коэффициент конкордации, используя формулу (9). В таблице 2 приведены промежуточные результаты расчетов.

Таблица 2 - Исходные данные и промежуточные результаты расчетов примера 2

Варианты	Эксперты					Сумма рангов	Отклонения от средней суммы	Квадрат отклонения
Варианты	1	2	3	4	5	Сумма рангов	Отклонения от средней суммы	Квадрат отклонения
I II III IV V VI VII	1 2 6 4 7 3 5	1 2 7 6 3 5 4	2 1 6 4 7 5 3	3 1 5 6 4 7 2	1 2 6 4 5 7 3	8 8 30 24 26 27 17	-12 -12 10 4 6 7 -3	144 144 100 16 36 49 9
								498

Подставляя вычисленное значение в формулу (9), получим:

Такая величина W позволяет сделать вывод о том, что существует неслучайная согласованность в мнениях экспертов.

Дата добавления: 2020-12-12; просмотров: 71; Мы поможем в написании вашей работы!

Поделиться с друзьями:

⇐ Предыдущая 1 23

Мы поможем в написании ваших работ!