Методика конструирования педагогических тестов

Для эффективного использования тестовых технологий в образова­нии необходимо иметь четкие представления о понятийной, целевой и технической процедурах применения тестов в учебном процессе. Сложность рассмотрения исходных понятий обусловлена, с одной сто­роны, неоднозначностью в определении основных понятий, даваемых теоретиками, а с другой — различием в подходах к контролю знаний теоретиками и практиками. Это приводит к тому, что само понятие «тест» имеет множество толкований. Процесс совершенствования по­нятийного аппарата тестовых технологий очевидно должен идти по пути систематизации множества определений и приведения их в соответствие с решением вопроса классификации педагогических тестов. Магистраль­ное направление развития систем тестирования и повышения степени объективности использования тестовых технологий связано с прове­дением стандартизации педагогических измерений', которая включает:

1) стандартизацию методов педагогических измерений и теоретичес­ких положений, являющихся основой тестовых технологий;

2) стандартизацию основных характеристик и средств оценки ре­зультатов тестирования;

3) стандартизацию процедуры и условий проведения педагогических измерений;

4) стандартизацию определения и интерпретацию результатов.

Необходимость создания четкого понятийного фундамента для разработки тестов не всегда понятна преподавателям-практикам. Час­то любой набор заданий ассоциируется с тестом. Используемые на практике тесты чаще всего на самом деле являются псевдотестами. Для тестов существует научно обоснованные критерии качества на точ­ность, объективность оценок учебных достижений учащихся. Наруше­ние этих критериев в псевдотестах искажает реальную картину уровня знаний учащихся. При использовании тестов необходимо знать о раз­ночтении в понимании и применении тестов. Поэтому использование готовых тестов должно быть критическим, с пониманием принципов конструирования тестов и их применения.

Допустим, что применение тестов позволяет:

1) измерить уровень усвоения ключевых понятий и разделов учебной программы, на проверку совокупности умений и навыков;

2) проверить по сравнению с обычными формами проверки значи­тельно больший объем усвоенных знаний;

3) дать более объективную оценку знаниям учащихся по сравне­нию с существующей в практике трехбалльной системой оценок зна­ний;

4) снизить затраты на проведение экзаменов с использованием тес­тов по сравнению с традиционной формой.

Существуют различные определения понятия теста, отличающие­ся друг от друга, но все они содержат констатацию способности теста устанавливать количественные и качественные индивидуально-психо­логические особенности личности. Одно из наиболее емких определе­ний теста приведено в работе Майорова [2000].

Тест — это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результа­тов. Он предназначен для измерения качеств и свойств личности, что возможно в процессе систематического обучения.

Тест содержит в себе три составляющие:

• систему специально подобранных заданий с возрастающей степе­нью сложности;

• набор предлагаемых вариантов ответов, содержащих наряду с пра­вильными ряд неправильных ответов — дистракторов;

• отработанную систему проверки, обработки и анализа результа­тов тестовых испытаний.

Тест содержит специально подготовленный и испытанный набор заданий, дающий возможность объективно и надежно оценить иссле­дуемые качества и свойства на основе использования методов матема­тической статистики. Это позволяет тесту осуществлять значительно более качественным и объективным способом оценку учебных дости­жений. Объективность тестирования достигается путем стандартизации процедуры тестирования, исключая возможность субъективной оцен­ки знаний.

Тестовые показатели ориентированы на измерения уровня усвое­ния ключевых понятий и разделов учебной программы, на проверку совокупности умений и навыков. Тесты позволяют по сравнению с обычными формами контроля проверить значительно больший объем усвоенных знаний. При этом интервал оценивания учебных достиже­ний в тестах значительно превышает традиционную трехбалльную си­стему оценки знаний, что позволяет более адекватно определить уро­вень знаний учащихся.

Приступая к тестированию, необходимо сформулировать цели, ко­торые оно преследует, выбрать соответствующие критерии достижения этих целей, а также подходы и области применения планируемых тес­тов.

Процесс создания тестов можно разбить на ряд этапов:

1. Анализ содержания учебной дисциплины, систематизация мате­риала, выделение функциональной и логической структур, информа­ционное насыщение изучаемого раздела учебной дисциплины.

2. Составление целей и задач предмета изучения и форм педагоги­ческого контроля изучаемой дисциплины.

3. Отбор материала, подлежащего тестированию.

4. Определение целей тестирования, выбор тестов и методик его со­здания.

5. Разработка спецификации теста, его объема и времени выполне­ния.

6. Конструирование технологической матрицы и ее экспертиза.

7. Разработка тестовых заданий.

8. Отбор тестовых заданий и их ранжировка в соответствии с по­ставленными учебными задачами.

9. Экспертиза содержания и формы предтестовых заданий и соот­ветствующая корректировка.

10. Определение содержания тестовых заданий, длины и времени теста в зависимости от предтестовых заданий в соответствии с целями и задачами изучаемого материала.

11. Разработка методики тестирования.

12. Определение и расчет показателей качества предтестовых зада­ний и тестов.

13. Разработка инструкций для учеников и преподавателей.

14. Апробации теста.

15. Корректировка и добавление новых заданий для улучшения си-стемообразующих параметров теста на основании результатов апроба­ции.

16. Составление окончательного варианта теста.

17. Стандартизация и нормирование теста, подготовка окончатель­ного варианта теста.

18. Выполнение теста и статистическая обработка результатов тестирования.

19. Корректировка теста в целях улучшения его качества.

Тесты многообразны по своему назначению. В настоящее время сложилось два обобщающих подхода к оценке тестов: критериально-ориентированный и нормативно-ориентированный. В работе B.C. Аванесова [1995] показано, что критериально-ориентированные тесты предполагают выполнение следующей последовательности: задание - ответы — выводы преподавателя о соответствии испытуемого заданному кри­терию; в то время как для нормативно-ориентированных тестов пред­лагается следующая последовательность: задания — ответы — выводы о знаниях испытуемого, показывающие его место в группе испытуе­мых (рейтинг). В работе Н. Гронлунда [1982] приводится суммарное сравнение двух основных подходов к тестированию по достигнутым результатам.

Рассмотрим их наиболее существенные отличия. Тестиро­вание на основе нормы является обзорным тестированием и приме­няется для оценки и сравнения индивидуальных результатов с резуль­татами других испытуемых. Тестирование на основе критерия оцени­вает степень владения материалом и предназначено для сравнения ре­зультатов испытуемых с четко определенной областью учебных дос­тижений.

К настоящему времени сложилась практика организации различ­ных видов тестирования, требующая применения разных тестов в за­висимости от предполагаемых целей тестирования. В отечественной и иностранной литературе нет единого мнения о том, по какому при­знаку проводить классификацию тестов. Тесты классифицируются по целому ряду признаков, например, по процедуре создания, по средствам проявления, по направленности, по характеру действий, по целям ис­пользования. По нашему мнению, с точки зрения материальных и временных затрат на создание таких тестов, наиболее эффективна клас­сификация тестов по целям использования, так как принципы и меха­низмы разработки для всех видов тестов одинаковы.

Тесты можно классифицировать по следующим основаниям:

1.По целям использования выделяют:

1) определяющий тест (предтест) и входной тест, предназначен­ные для тестирования перед началом обучения (предварительное тес­тирование);

2) формирующий тест, необходимый для регистрации результатов обучения;

3) диагностический тест, определяющий трудности обучения в про­цессе образовательной деятельности;

4) суммирующий тест основных достижений в конце процесса обу­чения.

Предварительное тестирование необходимо для оценки начальных способностей и затрагивает минимальный объем фундаментальных зна­ний. Оно осуществляется тестами, которые делятся на определяющий тест, основанный на критериально-ориентированном подходе, и вход­ной тест, основанный на нормативно-ориентированном подходе.

Формирующий тест предназначен для контроля за знаниями уча­щихся в ходе самого образовательного процесса и основан на крите­риально-ориентированном подходе. Этот вид тестирования ставит своей целью оценку степени владения материалом, обеспечивая в ходе обу­чения обратную связь по корректировке и исправлению ошибок, до­пущенных учащимися.

В процессе обучения часто проводят диагностический тест, ставя­щий своей целью определение трудностей усвоения знаний. Диагнос­тический тест имеет, как правило, специфический подход.

Суммирующий тест позволяет оценить результаты обучения в конце учебного процесса; он основан как на нормативно-ориентированном, так и на критериально-ориентированном подходах.

Принципы и механизмы разработки одинаковы для всех видов этих тестов, но содержимое материала, включённого в тест, и степень слож­ности вопросов должны соответствовать целям тестирования.

Предварительный определяющий тест предназначен для оценки начальных способностей, обычно является несложным и охватывает очень неболь­шой диапазон знаний. Он может затрагивать минимум базовых знаний по теме обучения или другой ограниченный набор требуемых знаний. Он прак­тически не отличается от суммирующего теста, даваемого в конце курса или раздела обучения.

Формирующий тест, используемый для контроля за прогрессом обучения, затрагивает ограниченный сегмент обучения, например, раздел или главу. С его помощью делается попытка оценить все важные результаты изучения данного сегмента. Акцент делается на оценке степени владения материалом и обеспечения обратной связи со студентом по корректировке отдельных ошибок в тех областях, где он не достиг успехов. Таким обра­зом, формирующий тест состоит из серии отдельных тестовых вопросов, всесторонне охватывающих ограниченную область обучения. Он разрабаты­вается так, чтобы дать ученику конкретные инструкции для исправления обнаруженных в результате теста ошибок. Данные теста являются обучаю­щими, они обычно менее сложны, чем суммирующие тесты, даваемые в конце процесса обучения.

Диагностический тест содержит относительно большое число вопро­сов, имеющих отношение к конкретной тестируемой области. Поскольку целью теста является определение трудностей обучения, внимание сосре­доточивается на ответах учащихся на конкретный вопрос или группу воп­росов, общий балл имеет второстепенное значение. Этот тест обычно больше фокусируется на распространённых ошибках учащихся, чем на по­пытке широкого отбора ожидаемых результатов обучения. В связи с тем, что тесты данного типа разработаны для тех учеников, у которых есть проблемы в обучении, они обычно имеют очень невысокий уровень сложнос­ти.

Суммирующий тест разрабатывается для оценки широкого диапазона результатов обучения, ожидаемого в конце учебного процесса. Сложность и представительность выборки являются важными аспектами данного теста, так как его результаты используются для простановки баллов и определе­ния степени достижения задач курса обучения. Для того чтобы адекватно отобрать все ожидаемые результаты обучения, суммирующий тест обычно содержит вопросы более высокого уровня сложности, чем другие виды тес­тов.

Для нужд мониторинга можно использовать три из приведённых вида тестов. Если нас интересует динамика подготовленности учащихся на на­чальном этапе обучения, мы должны использовать определяющие тесты; ес­ли нас интересуют трудности в обучении, то мы будем использовать диаг­ностические тесты; а если (и это наиболее вероятно и часто используе­мо) наш интерес состоит в оценке результатов обучения, мы применяем суммирующие тесты.

Необходимо подчеркнуть тот факт, что каждый из этих видов тестов имеет свои особенности.

Использование одних тестов вместо других может привести к негативным последствиям.

2. По процедуре создания могут быть выделены стандартизированные и нестандартизированные тесты.

Стандартизируются процедура и условия проведения тестирования, способы обработки и интерпретации результатов, которые должны привести к созданию равных условий для испытуемых и минимизировать случайные ошибки и погрешности как на этапе проведения, так и на этапе обработки результатов и интерпретации данных.

В образовании можно выделить ряд задач, которые могут быть решены нестандартизированными тестами. Однако для целей мониторинга необходимо использовать только стандартизированный тестовый инструмент.

3. По средствам предъявления существуют тесты:

· с использованием тестовых тетрадей, в которых находятся тестовые задания и в которых испытуемый фиксирует результаты;

· бланковые, когда испытуемые отмечают или вписывают правильные отве­ты (фиксируют ответы) на специальных бланках. Бланки предъявляются от­дельно от заданий;

· компьютерные.

Каждый из способов предъявления имеет свои плюсы и минусы. Например, компьютерные очень быстрые, однако они провоцируют случайные ошибки и не оставляют исходных результатов на случай апелляции, что ограничивает их применение для аттестации учащихся. Бланковые позволя­ют экономить на бумаге, удобны для пересылки, дают возможность скани­рования для обработки результатов, но также не оставляют исходных ре­зультатов. Наиболее качественные результаты могут быть получены с ис­пользованием тестовых тетрадей, но при этом возникают проблемы ввода результатов для обработки в компьютер и необходимости дополнительных расходов на печать самих тетрадей.

Для мониторинга подходит любой из этих способов, но нужно помнить об одном – предъявляя один и тот же тест в разных формах, мы получим разные результаты. Нельзя сравнивать результаты тестирования, получен­ные при разных способах предъявления.

4. По ведущей ориентации выделяются

· тесты скорости; они содержат простые задачи, но время решения ограничено настолько, что ни один испытуемый не успевает решить за отве­дённое время все задачи;

· тесты мощности или результативности включают трудные задачи; время их решения либо вовсе не ограничено, либо мягко лимитировано, оценке подлежат успешность и способ решения задачи (примером такого рода тес­товых заданий могут быть задания для письменных итоговых экзаменов за курс основной школы);

· смешанные тесты, которые объединяют в себе черты двух вышеперечис­ленных; в них представлены задачи различного уровня сложности, от са­мых простых до очень сложных (время испытания в данном случае ограни­чено, но достаточно для решения большинства предлагаемых задач боль­шинством обследуемых, а оценкой служат как скорость вы­полнения заданий, то есть количество выполненных заданий, так и правильность решения).

Эти тесты наиболее часто применяются на практике и именно к ним относится большинство тестов учебных достижений, которые можно исполь­зовать для нужд мониторинга.

4. По виду нормирования:

· тесты, ориентированные на статистические нормы. Основанием для сравнения в них служат соответствующим образом обоснованные, статисти­чески полученные значения выполнения данного теста репрезентативной выборкой испытуемых;

· критериально-ориентированные тесты. Они предназначены для определе­ния уровня индивидуальных достижений испытуемого относительно заданно­го критерия, существующего в реальной практике и заранее известного: уровня знаний, умений, навыков, необходимых для какого-либо вида дея­тельности;

· ненормированные.

---

Дата добавления: 2019-01-14; просмотров: 856; Мы поможем в написании вашей работы!

Поделиться с друзьями:

---

---

Мы поможем в написании ваших работ!