Оценка согласованности мнений экспертов
Методы экспертных оценок качества продукции и услуг
Методы экспертных оценок базируются на гипотезе, что, используя мнения нескольких специалистов или экспертов, удается определить близкое реальному состоянию объекта. Основным методом экспертного оценивания качества продукции является метод комиссии, относящихся к коллективным методам оценки [9.6].Метод комиссии самостоятельно применяются для решения следующих задач:
1) оценивание показателей с помощью органов чувств;
2) определение номенклатуры показателей качества;
3) определение коэффициентов весомости показателей;
4) выбор базовых образцов для оценки уровня качества;
5) классификации оцениваемой продукции;
Суть метода состоит в следующем. Организуетсяэкспертная комиссия по оцениванию качества продукции – группа специалистов, включающая экспертную и рабочую группы. Экспертная группа – высококвалифицированные специалисты (исследователи, конструкторы, технологи, дизайнеры, товароведы, экономисты и др.), отвечающие требованиям профессиональной и квалиметрической компетентности, заинтересованности в участии в работе экспертной комиссии и объективности. Рабочая группа – часть экспертной комиссии по оцениванию качества продукции, которая состоит из специалистов, организующих деятельность экспертной группы и обрабатывающих суждение экспертов о качестве продукции. В состав рабочей группы входят организатор, консультант по оцениваемой продукции и технические работники.
|
|
|
Экспертное оценивание осуществляется в четыре этапа. На первом этапе осуществляется назначение лиц, ответственных за организацию работ по экспертной оценке качества продукции, формулирование целей оценки лицом, принимающим решение (ЛПР), и формирование рабочей и экспертной групп. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок и должно составлять от семи до двадцати человек. Например, при отборе экспертов должен осуществляться анализ их соответствия определенным оценочным критериям. Эксперт должен обладать целым рядом достоинств, таких как:
компетентность – знание, осведомленность и авторитет в той или иной области деятельности;
креативность – способность использовать методы решения задач полностью или частично неизвестные;
эвристичность – способность выявлять неочевидные проблемы;
интуиция – способность угадывать решение без его обоснования;
предикативность – способность предсказывать будущее решение;
независимость – способность противостоять мнениям большинства;
всесторонность – способность видеть проблему с разных точек зрения.
|
|
|
Отбор экспертов проводится в два приема:
Предварительный отбор экспертов в зависимости от круга решаемых задач;
2) тестирование или численные оценки экспертов.
На втором этапе осуществляется разработка классификации и определение номенклатуры показателей качества оцениваемой продукции, подготовка анкет и пояснительных записок для экспертов, выбор методов, способов и процедур оценивания. Он выполняется рабочей группой, которая учитывает особенности оцениваемой продукции, установленные сроки выполнения работы, ее трудоемкость, области возможного использования полученных результатов и определяет перечень операций для выполнения экспертами. Выявление суждений экспертов производится интервьюированием и анкетированием.
Третий этап – это работа экспертной группы, члены которой выражают свои суждения в соответствии с установленными на втором этапе методами, способами и процедурами, таким образом, происходит оценка потребительских свойств продукции.
На четвертом заключительном этапе осуществляется обработка экспертных суждений и оформляется экспертное заключение. Результаты экспертного оценивания могут быть представлены в балловом измерении или в виде ранжированного ряда.
|
|
|
При экспертном оценивании получили широкое распространение такие методы оценки как принудительное распределение, ранжирование и парное сравнение. Принудительное распределение – это метод оценки качества, оперирующий малым количеством категорий качества продукции и приписывающий оцениваемые объекты к той или иной категории. Обычно используют шкалы с нечетным числом категорий и средним уровнем качества. Наиболее предпочтительными являются шкалы с пятью и семью градациями, как в табл. 9.1 и 9.2.
Таблица. 9.1. Шкала оценки качества с пятью градациями
| Категория качества | Ранг, балл | Качественная оценка |
| 5 | 5 (100) | Отличное качество |
| 4 | 4 (80) | Хорошее качество |
| 3 | 3 (60) | Среднее качество |
| 2 | 2 (40) | Плохое качество |
| 1 | 1 (20) | Очень плохое качество |
Таблица 9.2. Шкала оценки качества с семью градациями
| Категория качества | Ранг, балл | Качественная оценка |
| 7 | 7 (100) | Очень высокое качество |
| 6 | 6 (85) | Высокое качество |
| 5 | 5 (70) | Выше среднего качество |
| 4 | 4 (55) | Среднее качество |
| 3 | 3 (40) | Ниже среднего качество |
| 2 | 2 (25) | Низкое качество |
| 1 | 1 (15) | Очень низкое качество |
|
|
|
Этот метод вынуждает эксперта использовать по возможности все категории.
Ранжирование состоит в том, чтобы расположить оцениваемые свойства или атрибутивные показатели по рангу, который присваивается в зависимости от отношения потребителя к тому или иному оцениваемому признаку. Ранжирование сформировалось как метод оценки качества продукции или услуги, заключающийся в том, что все оцениваемые признаки располагают от наиболее важного к менее значимому признаку для потребителя.
При экспертном оценивании часто применяется оценка в рамках 5-ти и 10-ти баллового диапазона, когда выявляется не качество, а значимость объектов (показателей) относительно друг друга.
Для подтверждения представительности и согласованности оценок экспертов применяют так называемый непараметрический метод изучения взаимосвязи между рядами чисел. Среди непараметрических методов наибольшее распространения получили ранговые коэффициенты связи – коэффициент Кендалла (коэффициент конкордации) и коэффициент корреляции рангов или коэффициент Спирмена. Названные коэффициенты могут быть использованы для определения тесноты связей, как между количественными, так и между качественными признаками при условии, что все их значения упорядочены или ранжированы по степени убывания или возрастания признаков.
Технология экспертного оценивания методом ранжирования включает следующие процессы:
1) все признаки оценки (свойства, показатели качества) нумеруются произвольно;
2) эксперты приписывают признакам ранги и ранжируют в ряд;
3) ранжированные ряды свойства или показателей продукции, составленные экспертами, сопоставляются;
4) устанавливается представительность оценки определением степени согласованности мнений экспертов с использованием ранговых коэффициентов связи: ранговый коэффициент корреляции Кендалла и коэффициент корреляции рангов Спирмена;
5) при низкой степени согласованности рядов по коэффициенту конкордации происходит переход экспертов к повторному ранжированию оцениваемых признаков;
6) при допустимой согласованности, определяемой ранговыми коэффициентами связи, происходит переход к расчетным финальным операциям;
7) рассчитываются коэффициенты весомости показателей оценки качества продукции или услуг и обсуждаются возможности по улучшению качества.
Метод парного сравнения заключается в том, что ранжированные признаки качества в анализируемый период сравнивают с одноименными признаками из ряда с нормативными рангами и определяют с использованием коэффициента корреляции рангов меру приближения к желаемому качеству.
Оценка согласованности мнений экспертов
Особенностью применения метода ранжирования является присущий ему субъективизм, а также явление конформизма – влияние преобладающего в группе суждения на мнение эксперта [9.7]. Для установления степени согласованности мнений экспертов применим ранговый коэффициент корреляции – коэффициент конкордации (W), вычисляемый по формуле [9.10]:
, (9.1)
где m – количество экспертов;
n – число оцениваемых показателей качества или объектов оценки;
S – отклонение суммы квадратов рангов от средней квадратов рангов (9.2):
, (9.2)
где 
– ранг i-го признака, который присвоен ему j-м экспертом.
Коэффициент конкордации, как и коэффициент корреляции, может принимать значения в диапазоне ( –1 до + 1). При W =0 фиксируется полное отсутствия согласованности до полного единодушия при W = 
1. Если коэффициент конкордации имеет значение, по крайней мере, ниже 0,7, то проводится повторная оценка с предварительным анализом ошибок и обсуждением с экспертами полученных результатов. Иногда определяется новый состав экспертов. Рассмотрим расчёт коэффициента конкордации на примере оценки степени согласованности мнений экспертов относительно важности показателей качества продукции на примере, данном в табл. 9.3.
Таблица 9.3. Данные ранжирования показателей качества и операций над рангами
| № | Признак качества | Ранг, балл |
|
| |||
| Эксперт 1 (i=1) | Эксперт 2 (i=2) | Эксперт 3 (i=3) | Эксперт 4 (i=4) | ||||
| 1 | Показатель 1 | 7 | 7 | 7 | 6 | 27 | 729 |
| 2 | Показатель 2 | 5 | 4 | 5 | 5 | 19 | 361 |
| 3 | Показатель 3 | 1 | 2 | 1 | 1 | 5 | 25 |
| 4 | Показатель 4 | 3 | 3 | 4 | 3 | 13 | 169 |
| 5 | Показатель 5 | 6 | 6 | 6 | 7 | 25 | 625 |
| 6 | Показатель 6 | 4 | 5 | 3 | 4 | 16 | 256 |
| 7 | Показатель 7 | 2 | 1 | 2 | 2 | 7 | 49 |
|
| 112 | − | |||||
|
| 2214 | ||||||
В табл. 9.3 приведены оценки четырёх экспертов и расчёт суммы квадрата рангов и суммы рангов по всем экспертам (m) и показателям или объектам оценки (n). Расчетные величины являются исходными для нахождения значения S по формуле (9.2).
Определив величину S, переходим к расчету коэффициента конкордации по формуле (9.1):
.
Полученное значение коэффициента конкордации говорит о том, что степень достоверности и согласованности оценок экспертов достаточно высокая.
Дата добавления: 2019-09-13; просмотров: 1626; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!