Шкалирование в критериально-ориентированном тестировании
Виды шкал в критериально-ориентированном тестировании. Виды шкал в критериально-ориентированном тестировании выбираются в зависимости от предназначения теста. Если тесты используются для оценки степени освоения содержательной области (domain-referenced tests), отображение которой в тесте условно можно принять за 100%, то каждый балл учащегося показывает процент освоенного содержания.
Процесс шкалирования осуществляется достаточно просто: балл, набранный учащимся, делят на максимально возможный балл по тесту и полученную величину умножают на 100 %. Упорядочение найденных результатов и их нанесение на ось позволяют построить шкалу, каждая точка которой соответствует проценту усвоенного содержания для учащегося или группы учеников.
В другом случае, когда критериально-ориентированный тест применяется для деления тестируемых на две или несколько групп с помощью порогового (критериального) балла (mastery test), строится номинальная шкала. Например, подобное деление происходит при аттестации: в одну группу попадают аттестованные, а в другую — не аттестованные учащиеся, как не выполнившие запланированный процент заданий теста. Основная трудность при таком шкалировании заключается в установлении порогового балла для отсечения группы учащихся, не показавшей достаточного владения содержанием теста.
Методы выбора критериального балла. Для установления порогового балла используются три метода. В первом случае балл устанавливается экспертным путем, априорно, на основе анализа целостного содержания теста. Во втором случае эксперты выбирают пороговый балл на основе анализа содержания тестовых заданий и присвоения им априорных оценок трудности, с помощью которых выделяется критерий отбора в группу аттестованных учащихся. В третьем случае для определения порогового баша анализируются эмпирические данные по результатам апробации теста на репрезентативной выборке учащихся и используется метод контрастных групп.
|
|
|
Для получения валидного значения критериального балла третьим методом прежде всего необходимо провести предварительное тестирование на близком по содержанию входном претесте или отобрать группу экспертов, хорошо представляющих подготовленность тестируемой выборки учащихся. По результатам претеста или экспертизы из группы учащихся выделяются две контрастные подгруппы: заведомо не готовых к тесту самых слабых — 27 % и 27 % самых сильных, хорошо подготовленных к тестированию. В совокупности получаются две контрастные по подготовленности выборки учеников. Затем каждой подгруппе (слабой и сильной) выдается критериально-ориентированный тест, распределение баллов iiq которому строится на одном графике отдельно для слабых и сильных учащихся.
|
|
|
После проведения тестирования на репрезентативной выборке учащихся и построения частотных распределений /зля контрастных групп устанавливается критериальный балл в точке, соответствующей на горизонтальной оси пересечению кривых распределения баллов. Эта точка пересечения, спроецированная на рис. 35 на горизонтальную ось, наиболее четко разделяет группы не аттестованных и аттестованных учащихся, поскольку в ней наблюдается наименьший процент ошибочных решений — одновременно минимизируется число учащихся, обладающих достаточно высокой подготовкой, но попавших в группу не аттестованных (часть кривой А слева от вертикальной прямой) и число неподготовленных учеников, ошибочно отнесенных к категории прошедших за пороговый балл (часть кривой В справа от вертикальной прямой).
Полученный пороговый балл обладает наибольшей достоверностью по сравнению с его аналогами, определенными экспертными методами.
Уровневые шкалы, совмещающие нормативно-ориентированный и критериально-ориентированный подходы. Для получения надежных и обоснованных результатов итоговой аттестации выпускников учебных заведений тестовый балл иногда дополняют развернутой содержательной интерпретацией, описывающей характеристики уровня подготовки, учащегося в терминах освоенных элементов содержания.
|
|
|
Такие шкалы, позволяющие совместить интерпретацию оценки испытуемого по отношению к результатам остальных тестируемых и к уровням освоения содержания, выделенным по критериальному принципу, получили название уровней. Пример уровневой шкалы приведен на рис. 36, на котором диапазоны тысяче балльной шкалы, выбранные гипотетически, соотносятся с уровнями подготовки.
На рисунке выделен базовый и промежуточный уровни вместе с уровнем высокой компетентности. Для построения уровневой шкалы обычно шкалируют результаты репрезентативной группы учащихся в рамках нормативно-ориентированного подхода и строят стандартизованную шкалу тестовых баллов. Затем на шкале выделяют диапазоны и выявляют совокупности содержательных элементов, освоенных учащимися в каждом диапазоне, дополняя детальным описанием освоенных знаний и умений.
Рейтинговые шкалы
Упрощенная трактовка рейтинговой шкалы. В российской системе высшего и среднего образования нет устоявшихся определений, позволяющих однозначно определить рейтинговый балл учащегося.
|
|
|
В основном под ним понимают накопленный балл, полученный в результате простого или взвешенного суммирования оценок в порядковых шкалах, которые строятся на основе субъективного выставления и учета баллов, учащегося в соответствии с различными уровнями учебной деятельности, временными промежутками в обучении или уровнями усвоения. Нередко к сумативным оценкам, характеризующим успеваемость, прибавляют поощрительные баллы за своевременную сдачу заданий, активность на занятиях, хорошую посещаемость и т.д.
Такая упрощенная трактовка, далекая от педагогических измерений, таит в себе, но меньшей мере, две серьезные ошибки: во-первых, операция суммирования является недопустимой на порядковом уровне измерений, в о-в то ры х, происходит бессмысленное объединение баллов по различным переменным, что исключает возможность какой-либо корректной интерпретации результатов подобного объединения. Вполне возможна ситуация, когда в сумме баллов, накопленной учащимся за определенный период обучения, будут доминировать оценки по второстепенным переменным, не имеющим заметного отношения к целям образования.
Таким образом, за видимой простотой операции получения рейтингового балла скрывается серьезная опасность: по результатам обучения могут быть признаны лучшими те учащиеся, которые не обладают творческим мышлением, но вовремя сдают домашние задания, не пропускают уроков и не нарушают дисциплины в классе.
Обращение к рейтинговой шкале в связке с контрольными заданиями для модулей, построенным на деятельностной основе в русле идей модульного обучения, немного повышает корректность приведенной выше упрощенной трактовки. По крайней мере выделение модулей происходит на содержательной основе и позволяет накапливать оценки уровней усвоения конкретных предметных знаний, что способствует обоснованной интерпретации суммарной оценки.
В целом рейтинговые баллы при корректном подходе к их подсчету и интерпретации могут оказать позитивное влияние на контрольно-оценочную систему в образовании. Они способствуют систематической работе учащихся, снижают роль случайности при сдаче экзаменов и снимают нервное напряжение во время экзаменов благодаря заблаговременному накоплению оценок результатов обучения.
Корректный подход к построению рейтинговых шкал на основе теории педагогических измерений. Для корректного построения рейтинговых шкал необходимо выполнять ряд условий. В зарубежной литературе к ним относят; концептуальное выделение переменных измерения; использование тестов с высокой содержательной и конструктной валидностью для получения баллов учащихся по каждой переменной; построение отдельных рейтинговых шкал для каждой переменной измерения; интеграцию результатов по отдельным шкалам (количественного характера) в единую рейтинговую шкалу с использованием весовых коэффициентов, определенных с помощью регрессионного анализа и методов выравнивания шкал для тестов различной длины при последующем объединении взвешенных количественных баллов по отдельным шкалам.
В целом необходимо отметить, что построение рейтинговых шкал требует от учителя определенной методической подготовки, наличия тестов и систематической работы по корректному построению отдельных шкал. При этом повышается нагрузка педагога, поэтому обманчивая простота рейтингования на деле при правильном подходе оборачивается значительными трудозатратами. Под вопросом остается общий эффект, поскольку пока неясно, оправданны ли такие затраты энергии со стороны педагогов или нет.
Практические задания и вопросы для обсуждения Приведите известные вам примеры использования шкал, отличных от пятибалльных, в российском образовании. Удобны ли они для обучающихся? Предположите, что группа студентов выполняла ранжированные по нарастанию трудности задания теста. Если индивидуальные баллы четырех студентов таковы, что Xt - 5, Х2 = 10, Х} - 40, Х4 = 45, то имеет ли смысл интерпретировать равенство Хт - Хх = Х4 - Хт при сопоставлении результатов студентов? Какую шкалу необходимо построить для интерпретации разности баллов? Можно ли выбрать единую шкалу тестовых баллов и пользоваться ею всегда при интерпретации результатов любого теста? Можно ли путем шкалирования повысить надежность результатов выполнения теста? Переведите в Z-шкалу сырые баллы 10 учеников: Х\ = 2, Хт - 7, X? == = 1, Х4 = 5, As = 5, Хь = 11, Х-, = 9, .Ух = 2, А"ч = 15, Лгш = 3, выполнивших 25 заданий теста.
Дата добавления: 2021-05-18; просмотров: 82; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!