Расчет степени согласия экспертов
Министерство образования и науки Пермского края
Государственное бюджетное образовательное учреждение среднего профессионального образования
«ПЕРСКИЙ ХИМИКО-ТЕХНОЛОГИЧЕСКИЙ ТЕХНИКУМ»
| СОГЛАСОВАНО: заместитель директора «____» ______________ 2018 г. Руководитель ЦПК _________________________ «___» ______________ 2018 г. | УТВЕРЖДАЮ: Директор техникума _________________________ «____» ____________2018 г. |
МЕТОДИЧЕСКИЕ УКАЗАНИЯ
для проведения практической работы №2
Тема: Определение показателей качества продукции
экспертным методом
| по | ОП.05 Метрология, стандартизация и сертификация |
| в группах | СП |
| курс | IV |
| специальность | 22.02.06 Сварочное производство |
Методические указания подготовил преподаватель Кацелих П.П.
Пермь 2019
Содержание
Практическая работа №2. 3
1 Цель работы.. 3
2 Оборудование рабочего места. 3
3 Порядок выполнения работы.. 3
4 Краткие теоретические сведения. 4
5 Методические указания. 8
5.1 Ранжирование объектов. 9
5.2 Расчет степени согласия экспертов. 10
6 Пример выполнения расчетов. 11
7 Контрольные вопросы.. 13
Основные источники. 14
Практическая работа №2
Тема работы: Определение показателей качества продукции
экспертным методом.
Цель работы
1.1 изучить метод экспертной оценки качества продукции;
|
|
|
1.2 научиться определять степень согласованности экспертов;
1.3 строить ранжированный ряд.
Оборудование рабочего места
2.1 инструкционные карты;
2.2 исходные данные для расчета; микрокалькуляторы;
2.3 чертежные принадлежности;
2.4 персональный компьютер.
Порядок выполнения работы
| № п.п. | Наименование | Содержание отчета | Страницы |
| 1 | Понятие о экспертном методе | конспект | 4…5 |
| 2 | Методы сравнения | Конспект | 5 |
| 3 | Этапы работы экспертной комиссии | Конспект | 7…8 |
| 4 | Рассчитать ранг объектов | Письменно | 11…12 |
| 5 | Рассчитать степень согласия экспертов | Письменно | 12…13 |
| 6 | Вывод | Письменно | 13 |
Краткие теоретические сведения
Экспертный метод решения задач основан на использовании
обобщенного опыта и интуиции специалистов - экспертов. Экспертный метод
оценки уровня качества продукции используется в тех случаях, когда
невозможно или очень затруднительно применить методы объективного
определения значений единичных или комплексных показателей качества
такими методами как инструментальный, эмпирический или расчетный.
Экспертный метод (или экспертный способ, т.е. метод экспертных оценок) является совокупностью нескольких различных методов, которые
представляют собой разновидности, модификации метода экспертиз.
Известные разновидности экспертного метода применяются везде, где
основой решения является коллективное решение компетентных людей
(экспертов). Так, например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т.п. — все это решения, принимаемые экспертными методами.
|
|
|
"Эксперт" — это специалист, компетентный в решении данной задачи (от латинского слава "expertus" — опытный). Компетентность эксперта в отношении объекта исследования—профессиональная компетентность, а в отношении методологии принятия экспертного решения исследуемой задачи — это экспертная компетентность. Эксперт должен быть беспристрастным и объективным при оценке объекта исследования.
Экспертные методы оценки качества продукции могут использоваться при формировании сразу общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества чего-либо.
Следовательно, экспертные методы применяются:
· при общей (обобщенной) оценки качества продукции;
|
|
|
· при классификации оцениваемой продукции;
· при определении номенклатуры показателей качества оцениваемой продукции;
· при определении коэффициентов весомости показателей качества
продукции;
· при оценки показателей качества продукции органолептическим
методом;
· при выборе базовых образцов и безразмерных значений базовых
показателей качества;
· при определении итогового комплексного показателя качества на
основе совокупности единичных и комплексных(обобщенных и
групповых) показателей;
· при аттестации продукции и сертификации.
Оценки, даваемые экспертами тому или иному объекту или его элементу, представляют собой процедуру сравнения по выбранным признакам.
На практике часто используются следующие методы сравнения:
• ранжирование;
• парное сравнение;
• последовательное сравнение;
• непосредственная оценка.
Результаты общей экспертной оценки такого сложного комплекса свойств, каким является качество продукции, имеют элементы неопределенности и необоснованности. Поэтому экспертная оценка
качества продукции в целом является предварительной, ненасыщенной информационно и только в первом приближении, ориентировочно характеризует качество оцениваемого изделия. На основе такой экспертной оценки качества, очевидно, нет возможности принимать какие-либо инженерно-технические решения. Этот метод может, например, использоваться при коммерческих сделках, когда нет конкретных (численно выраженных) сведений об уровне качества.
|
|
|
Однако следует отметить, что экспертный метод для оценки многих
показателей качества технической и другой продукции является
единственно возможным, применяется достаточно широко и для этого
разработаны соответствующие методики.
Объектом экспертизы (экспертных оценок) в нашем случае являются потребительские свойства в их совокупности, т.е. качество.
Качество – общее количество свойств товара или услуги, которые удовлетворяют требованиям покупателей или клиентов. Сырье, из которого изготовлен продукт, дизайн и инженерные разработки продукта, функционирование продукта, надежность и долговременное использование являются важными характеристиками пакета качества, которое в конечном итоге влияет на решение потребителя приобрести продукт, а затем и повторить свою покупку.
Критерии, по которым осуществляется экспертиза качества, подразделяются на общие и конкретные:
· К общим критериям относятся сложившиеся в обществе
ценностные ориентиры, представления и нормы.
· Конкретные критерии для эксперта — это реальные требования к качеству продукции данного вида, установленные в нормативно-
технических и других обязательных для исполнения документах.
С целью повышения достоверности, точности, надежности и
воспроизводимости экспертных оценок экспертизу осуществляют путем
принятия группового решения компетентными людьми. Для оценки
уровня качества продукции создается экспертная комиссия, состоящая из экспертной и рабочей групп.
В экспертную группу включаются высококвалифицированные и специально подготовленные работники в области создания и функционирования оцениваемой продукции - исследователи, конструкторы, технологи, дизайнеры, товароведы, экономисты и т.д. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок и должно составлять от 7 до 20 человек. При заочном опросе верхний предел количества опрашиваемых экспертов не ограничивается.
Экспертная группа (комиссия) пользуется экспертным способом
получения информации о показателях качества оцениваемой продукции.
При этом экспертная группа может принимать решения на основе
усреднения оценок экспертов или проводя голосования экспертов (метод
"комиссий"). С целью уменьшения субъективности в экспертном методе
рекомендуется проводить несколько туров опросов экспериментов.
Экспертный метод "комиссий" заключается в том, что в нем используется как бы голосование. Сначала эксперты выставляют оценки независимо друг от друга. Потом, после открытого обсуждения выставленных оценок, эксперты вновь независимо друг от друга дают оценки каждому параметру качества. Впоследствии по скорректированным индивидуальным оценкам рассчитывают экспертную оценку. Эту работу проводит рабочая группа экспертной комиссии. Кроме того, рабочая группа организует процедуру опроса экспертов, анализирует полученные результаты и составляет заключение экспертной комиссии.
Желательно, чтобы для оценок однотипной продукции экспертная
комиссия формировалась из постоянных экспертов и членов рабочей
группы. Это связано с тем, что в процессе работы относительно
постоянной комиссии накапливается опыт работы, происходит обучение
ее членов, вырабатываются общие подходы и принципы, а это повышает
эффективность работы экспертной комиссии.
Перечень и последовательность основных этапов работы
экспертной комиссии состоит в следующем:
· назначение лиц, ответственных за организацию и проведение работ
по экспертной оценке качества продукции;
· формирование экспертной и рабочей групп;
· разработка классификации и определение номенклатуры
показателей качества оцениваемой продукции;
· подготовка анкет и пояснительных записок для опроса экспертов;
оценка и опрос экспертов;
· обработка экспертных оценок;
· анализ и оформление результатов экспертной оценки качества (или
показателей качества) продукции.
Эксперты могут выражать свое мнение не только непосредственным измерением весовых коэффициентов, но и в форме ранжирования объектов.
Ранжирование заключается в расстановке объектов измерения или показателей качества в порядке их предпочтения, важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительнее объект, весомее, важнее показатель.
Методические указания
При экспертном методе оценку уровня качества или показателя
того или иного свойства продукции определяют в безразмерных
единицах. В случае, если результат оценки (экспертного измерения) качества эксперты представляют в виде ранжированного ряда, то численное определение оценок экспертов состоит в следующем:
ü Все объекты оценки (изделия, свойства) нумеруются произвольно.
ü Эксперты ранжируют объекты по шкале порядка.
ü Ранжированные ряды объектов, составленные экспертами, сопоставляются. Место объекта в ранжированном ряду называется его рангом.
ü Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до Т (Т— количество оцениваемых объектов).
ü Определяются суммы рангов каждого из объектов экспертной
оценки.
ü На основании полученных сумм рангов строят обобщенный
ранжированный ряд.
Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объект лучше или хуже других, но и на сколько.
Ранжирование объектов
В работе ранжирование объектов по их качеству проводится в
табличной форме и сопоставления и расчеты численных значений
экспертных оценок производятся по следующей методике.
Во-первых, составляется таблица, по которой каждый эксперт
осуществляет сопоставление и оценку рассматриваемых объектов. При
этом каждый i-й объект сопоставляется с другими i-ми объектами
сравнения. Если при попарном сопоставлении один объект признается
качественнее другого, то это обозначается цифрой 1, противоположная
оценка обозначается 0 (ноль), а равнокачественные объекты отмечаются в
таблице символом Х см. табл. 2.1.
Таблица 2 . 1
Образец таблицы эксперта
При оценке тех или иных объектов экспертизы эксперты выдают
различные значения оценок. Поэтому возникает необходимость в
количественной оценке и анализе рассчитать степени согласия экспертов.
Мерой согласованности суждения группы экспертов может стать
величина коэффициента конкордации (W ).
Расчет степени согласия экспертов
Степень согласия экспертов оценивается коэффициентом конкордации. Коэффициент конкордации рассчитывается по результатам самостоятельной работы экспертов по следующему алгоритму:
Полученные ранги по каждому объекту заносятся в итоговую таблицу (см. табл. 2.2).
Таблица 2 . 2
Образец итоговой таблицы
Далее необходимо:
1 Определить сумму рангов (найти ∑ значений) по каждому эксперту;
2 Определить среднее арифметическое значение суммы рангов для каждого образца (∑1 + ∑2 +∑3 + ∑4++ ∑5++ ∑6)/6;
где 6 – количество образцов изделия в экспертной группе.
3 Определить отклонение от среднего значения ∆ = сред. −∑ рангов,
где ∆ - отклонение
4 Определить квадраты отклонений (возвести отклонение в
квадрат)
5 Найти коэффициент конкордации по формуле
Где: S – сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;
n - число экспертов;
m – число объектов экспертизы.
Коэффициент конкордации изменяется в диапазоне 0 <W< 1, где 0 –
полная несогласованность между экспертами; 1 – полная согласованность. Принято считать, что согласованность удовлетворительна при W = 0,5…0,7; хорошая - больше 0,7 и неудовлетворительна при значениях W меньше 0,5.
Пример выполнения расчетов
8 экспертов оценивают качество 6 однородных объектов методом попарного сравнения. Необходимо провести ранжирование объектов по качеству, оценить степень согласия экспертов.
1) Методом попарного сравнивания эксперты оценивают качество изделий.
Каждый эксперт заносит результаты сравнения в таблицу (см. табл. 2.3) и подчитывает количество рангов по каждому изделию.
Таблица 2 . 3
Пример таблицы эксперта 1
| № образца | 1 | 2 | 3 | 4 | 5 | 6 | Итого |
| 1 | Х | 0 | 0 | 1 | 0 | 0 | 1 |
| 2 | 1 | Х | 1 | 0 | 1 | 1 | 4 |
| 3 | 1 | 0 | Х | 1 | 1 | 1 | 4 |
| 4 | 0 | 1 | 0 | Х | 0 | 0 | 1 |
| 5 | 1 | 0 | 0 | 1 | Х | 0 | 2 |
| 6 | 1 | 0 | 1 | 1 | 1 | Х | 4 |
2) В колонке итог необходимо записать количество набранных рангов по каждому образцу, при этом каждый эксперт заполняет свою таблицу. Записываем вывод по таблице. В нашем примере наибольшее количество рангов у образцов № 2, 3 и 6. У них по 4 балла.
3) Далее заносим полученные экспертами ранги в общую таблицу (см. табл. 2.4)
Таблица 2 . 4
Итоговая таблица
| Образцы | Эксперты | Сумма рангов | Среднее значение ∑ср | Отклонение от среднего ∆ | Квадранты отклонения ∆2 | |||||||
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | |||||
| 1 | 1 | 0 | 2 | 2 | 1 | 0 | 4 | 0 | 10 | 20,5 | -10,5 | 110,25 |
| 2 | 4 | 5 | 4 | 2 | 3 | 4 | 5 | 5 | 32 | 11,5 | 132,25 | |
| 3 | 4 | 4 | 3 | 5 | 4 | 5 | 4 | 5 | 34 | 13,5 | 182,25 | |
| 4 | 1 | 2 | 1 | 2 | 2 | 3 | 1 | 1 | 13 | -6,5 | 42,25 | |
| 5 | 2 | 1 | 3 | 2 | 2 | 1 | 0 | 1 | 12 | -7,5 | 56,25 | |
| 6 | 4 | 0 | 3 | 3 | 5 | 3 | 3 | 1 | 22 | 1,5 | 2,25 | |
Судя по итоговой таблице наибольшее количество рангов у образца №3, этот-же образец был в числе лидеров у 1-го эксперта.
4) Находим среднее значение рангов:
∑ср = (10+32+34+13+12+22)/6 =20,5
5) Рассчитываем отклонение от среднего значения по формуле:
∆ = ∑ср − ∑; и заполняем соответствующую колонку.
6) Для заполнения последней колонки необходимо возвести соответствующие значения в предыдущей колонки в квадрат, в результате получаем ∆2.
7) Находим сумму квадратов всех отклоненений:
S = 110,25+132,25+182,25+42,25+56,25+2,25= 525,5
8) Рассчитываем коэффициент конкордации по формуле:
Где: S – сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения C = 51;
n - число экспертов n = 8;
m – число объектов экспертизы m = 6.
Подставляем значения и рассчитываем:
W = 
=0,47
Вывод: Данное значение коэффициента конкордации меньше чем 0,5, что означает низкую степень согласия экспертов. Для сближения позиций требуется второй тур. Такой результат можно объяснить большим разбросом рангов выставленным разными экспертами одному и тому-же образцу.
Контрольные вопросы
Дата добавления: 2019-07-15; просмотров: 503; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!