Кудинова Н.Т.

О МЕТОДИКЕ РАЗРАБОТКИ И ПРИМЕНЕНИИ ПЕДАГОГИЧЕСКИХ ТЕСТОВЫХ МАТЕРИАЛОВ



В рамках модернизации учебного процесса на современном этапе особое внимание уделяется развитию системы тестирования и тестовых технологий как методов контроля качества подготовки обучающихся. В этой связи на первый план выдвигается проблема научно-методического обеспечения системы тестирования.  Данная проблема оказалась в центре внимания прежде всего профессиональных тестологов, на работы [1] которых следует опираться при подготовке
педагогических тестовых материалов (ПТМ) педагогам-практикам. Для разработки тестов важно прежде всего освоить понятийный аппарат тестологии[2], что позволит компетентно судить о проблемах, которые приходится решать при внедрении тестовых технологий в учебный процесс. В научно-методической литературе по проблемам тестирования предлагаются различные классификация педагогических тестов, довольно подробно описаны основные формы тестовых заданий, сформулированы общие требования, предъявляемые к конструированию тестовых заданий.
 

На данный момент в зависимости от цели тестирования можно выделить такие  виды тестов, как входные, формирующие, диагностические и итоговые. Последние делятся на нормативно-ориентированные (предназначенные для дифференциации обучаемых по уровню учебных достижений) и критериально-ориентированные (предназначенные для определения уровня учебных достижений относительно некоторого критерия). Формирующие и диагностические тесты используются в рамках текущего контроля.
 

В научный оборот введены и такие понятия, как «гомогенные» и «гетерогенные» тесты. Гомогенные тесты предназначены для контроля знаний по одной учебной дисциплине, гетерогенные – по комплексу учебных дисциплин. Наиболее распространенным видом педагогических тестов являются гомогенные тесты, в рамках которых задания составляются по основным разделам или темам изучаемой дисциплины.
 

В ходе тестирования проверяется уровень усвоения учебного материала, который выражается такими понятиями, как знание, умение, навыки. При составлении каждого тестового задания эти понятия конкретизируются в виде требования, которое проверяется с помощью данного задания теста. В перечень знаний и умений, планируемых к проверке, могут быть включены такие требования, как усвоение понятийного аппарата изучаемой дисциплины, знание специфических фактов, умение объяснять, обобщать, систематизировать изученный материал и т.п. Другими словами, речь идет о конкретизации учебных целей. В педагогической литературе предпринимаются попытки разработать классификацию целей обучения, что необходимо учитывать при планировании содержания и спецификации теста. Вместе с тем, следует иметь в виду, что общепринятой классификации (или таксономии) целей на данный момент не существует.
 

В зависимости от метода конструирования тестов различаются четыре формы тестовых заданий: задание закрытой формы; задание открытой формы; задание на соответствие и задание на установление правильной последовательности. При составлении варианта теста можно использовать все указанные формы тестовых заданий, однако при создании теста для итоговой аттестации рекомендуется выбрать одну форму. В настоящее время наиболее распространенными являются задания закрытой формы, которые предполагают выбор правильного ответа из нескольких предложенных вариантов. Именно такие задания тестологи рекомендуют использовать при составлении тестов для проведения итоговой аттестации. При этом к разработке итоговых тестов предъявляются довольно строгие требования, начиная с выбора формы тестовых заданий и их формулировок и заканчивая оценкой надежности и валидности теста.
 

Многие разработанные требования не вызывают возражений, поскольку они обоснованы эмпирически. В частности, речь идет о количестве дистракторов в закрытых формах тестовых заданий, число которых должно быть не менее четырех, чтобы уменьшить вероятность угадывания ответа. Как показывают результаты тестирования по незнакомому материалу в одной из студенческих групп ХГТУ, при выполнении заданий с двумя дистракторами процент угадывания составил около 50% (при этом половина опрошенных угадала 60-70% правильных ответов), тогда как при выполнении заданий с четырьмя дистракторами процент угадывания составил около 20% (при этом половина опрошенных угадала 10% и менее правильных ответов). Необходимо соблюдать и другое, довольно простое, но важное с точки зрения валидности теста требование, согласно которому в один вариант теста следует включать не менее 25 заданий и не более 60-80 заданий.
 

К заданиям в тестовой форме предъявляется и такое обязательное требование, как краткость формулировок, в чем усматривается технологическое преимущество тестов по сравнению с традиционными формами контроля или опроса. В учебных пособиях изложены и другие важные требования, которые необходимо знать и соблюдать при составлении тестов[3].
 

Однако категоричность некоторых требований вызывает возражения, поскольку их аргументация не представляется убедительной. Речь, в частности, идет о формулировке задания. Как правило, тестологи настаивают на необходимости
формулировать задание в виде утверждения, а не вопроса. Объясняется это прежде всего стремлением добиться краткости теста, тогда как «форма вопроса сама по себе требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации»[4]. В этой связи следует заметить, что в большинстве случаев при формулировке вопроса количество «дополнительных слов» не превышает одного слова. При этом речь идет о вопросительном слове, помогающем уяснить суть вопроса, а следовательно, понять смысл задания.
 

На последнее следует обратить особое внимание, поскольку тестологи сходятся во мнении, что «смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса»[5] (В. С. Аванесов) или, другими словами, «переход к форме высказывания позволяет минимумом средств добиться максимальной ясности смысла»[6](М. Б. Челышкова). Однако, следует заметить, что при утвердительной форме нередко суть задания становится очевидной лишь при чтении последнего слова в его формулировке или даже дистракторов, тогда как при постановке вопроса суть задания позволяет уяснить уже вопросительное слово. В качестве примера можно привести тесты на знание места или даты исторического события, формулировка которых и в том, и в другом случае не будет различаться до последнего слова (т.е. «году») или до перечисления дистракторов (указывающие место события). Тогда как вопросительные слова «когда» или «где» сразу же помогают уяснить суть задания.

 

Третий аргумент в пользу тестового утверждения вытекает из определения теста как задания, которое в зависимости от ответов испытуемых превращается в истинное или ложное высказывание (В. С. Аванесов). Существенный недостаток
вопросов в этом случае усматривается в том, что «в них ничего не утверждается и не отрицается, и потому они не могут считаться ни истинными, ни ложными»[7]. С последним трудно не согласиться, однако следует иметь в виду, что при тестировании следует оценивать все-таки не столько «истинность» или «ложность» утверждения, сколько правильность выбранного варианта ответа на поставленный вопрос.
 

Следует обратить внимание и на тот момент, что авторы учебных пособий по тестологии отдают предпочтение, как правило, заданиям с выбором одного правильного ответа. Объясняется это логическими и учебно-технологическими соображениями, поскольку «один правильный ответ придает однозначность смыслу тестового задания и не допускает различных толкований»[8]. Однако следует подчеркнуть, что такая форма тестового задания позволяет проверить лишь знания на уровне запоминания (т.е. знание дат, названий, имен, понятий, терминов), тогда как проверка знаний на уровне понимания (т.е. классификационные, сравнительные, обобщенные, системные, причинные знания) требует формулировки заданий с выбором нескольких правильных ответов. Данный момент отмечен в научно-методической литературе. И в этой связи предложены разные походы к решению проблемы.
 

Согласно одному из них рекомендуется объединять несколько правильных ответов в один вариант. Однако такое объединение, как показывает практика, значительно усложняет выполнение заданий в силу громоздкости дистракторов, что противоречит одному из требований, предъявляемых к конструированию тестов, т.е. краткости и четкости формулировок. Другой выход усматривается в составлении заданий на выбор неправильного ответа. К такой форме задания прибегают также и в случае затруднений с подбором дистракторов. Однако изначальная ориентация студентов на выбор неправильного ответа не может не вызвать возражений у многих преподавателей. С учетом этого тестологи допускают разработку заданий с выбором нескольких правильных ответов, однако рекомендуют использовать их для текущего контроля. Применение подобных заданий в итоговом контроле, по их мнению, сопряжено со снижением точности измерений. В этой связи поднимается вопрос об оценке результатов тестирования.
 

При этом предлагается оценивать выбор всех правильных вариантов ответа в один балл, а при выборе хотя бы одного ошибочного ответа или при правильном, но не полном выборе ответов выставлять нуль баллов. Последнее предложение не вполне обоснованно, поскольку не учитывается ситуация, когда студент на все задания даст правильные, но не полные ответы. В рамках традиционного контроля он, безусловно, получит положительную оценку, тогда как по результатам тестирования его уровень знаний будет равняться нулю. В этой связи наиболее оптимальной представляется система, при которой правильный и полный ответ на один вопрос оценивается в «1» балл; правильный, но не полный ответ на один вопрос – в «0,5» балла; при наличии в ответе на вопрос хотя бы одного неправильного варианта ответа проставляется «0» баллов. Однако предлагаемая система может вызвать возражения, поскольку современные системы обработки информации основаны на двоичном коде 1 или 0. В таком случае целесообразно за каждый правильный вариант ответа проставлять один балл, а выполнение теста оценивать по количеству набранных баллов в целом. Совершенно очевидно, что при такой системе количество максимально набранных баллов будет превышать количество сформулированных заданий, в отличие от других систем, где количество максимально набранных баллов будет равняться количеству заданий в тесте. Проблема интерпретации результатов тестирования непосредственно связана с решением вопроса о том, насколько объективно результаты тестирования отражают уровень знаний обучающихся. Данный вопрос носит принципиально важный характер и является предметом дискуссии, в рамках которой прямо противоположные мнения высказаны, с одной стороны, тестологами, а с другой – их оппонентами, т.е.противниками тестовых форм обучения и контроля.
 

Тестологи утверждают, что объективность тестов зависит от качества тестовых материалов, и в этой связи вполне обоснованно настаивают на обязательной сертификации тестов, используемых в учебном процессе, особенно при итоговом контроле. Качество тестов определяется по статистическим характеристикам всех заданий и вариантов тестовых материалов с помощью математико-статистических методов, которые разработаны и применяются в тестологии.
 

По мнению тестологов, система тестирования позволяет избежать упреков в субъективности, которые нередко высказывают студенты в адрес преподавателя при традиционной форме опроса на экзаменах. В справедливости такого утверждения можно убедиться на практике. Однако здесь уместно обратить внимание и на случаи, когда подготовленные студенты не в состоянии пройти тестирование, тогда как слабые студенты успешно справляются с заданиями. Объясняется это различными факторами и нередко используется противниками тестовых форм обучения в качестве аргумента в пользу своей точки зрения. Тестологи в таком случае указывают на просчеты разработчика теста. В этой связи следует все-таки признать, что на данный момент в учебный процесс внедряются тесты, как правило, не прошедшие сертификацию в специализированных центрах, поскольку сама система сертификации качества ПТМ находится в стадии становления. Из этого следует, что при проведении экзамена в вузе в форме тестирования избежать конфликтных ситуаций возможно, разрешив студентам устную пересдачу экзамена после объявления результатов тестирования.
 

Проблемы, о которых шла речь выше, касаются, главным образом, разработки итоговых тестов. Однако для педагогов-практиков не меньший интерес представляют обучающие тесты. К данному виду тестов не предъявляются строгие требования. Они могут быть составлены в любой форме. И, тем не менее, при их разработке и применении следует учитывать ряд важных моментов.
 

Прежде всего, следует отметить, что подобные тесты могут быть использованы как на семинарских занятиях, так и при самостоятельной подготовке студентов к занятиям, зачетам или экзаменам. Продуманное и целенаправленное использование таких тестов позволяет решить ряд проблем, с которыми приходится сталкиваться в рамках учебного процесса.
 

В условиях нашего вуза, когда студенческие группы достигают численности 30 человек и далеко не все студенты могут быть опрошены в той или иной форме в ходе проведения семинара, целесообразно использовать тестирование в конце семинарского занятия. В таком случае, предлагаемые варианты тестов должны включать в себя не более 10 заданий по изучаемой теме, и соответственно на их выполнение отводиться 7-10 минут. При этом к тестированию студентов необходимо подготовить в рамках данного семинара. Другими словами, ответы на предлагаемые вопросы теста должны прозвучать в ходе обсуждения темы на данном семинаре.  Результаты тестирования могут быть проставлены в качестве оценки или зачета за семинар. Вместе с тем, всесторонний анализ результатов такого опроса позволит скорректировать методику проведения семинарских занятий, выявить студентов, требующих индивидуального подхода, определить общий уровень подготовки студенческой группы и т.п.
 

Как показывает опыт, с помощью тестирования можно заметно активизировать работу студентов на семинаре. Достигается это при выполнении теста в устной форме. В таком случае тест выполняется одним студентом, которому можно предложить обосновать свой выбор ответа или задать ему дополнительные вопросы, вытекающие из содержания теста. Правильность ответа оценивает группа. При такой форме опроса студенты, как правило, внимательно слушают зачитываемое задание и активно включаются в поиск правильного ответа.
 

Активизировать работу студентов на лекции и решить проблему посещаемости лекционных занятий в определенной мере позволяет короткое тестирование по материалам лекции в начале каждого практического занятия. Эффективность
подобного тестирования наиболее очевидна при преподавании дисциплин, формой отчетности по которым в конце семестра является «зачет».
 

Совершенно очевидно, что тесты, используемые на семинарских занятиях, не должны содержать большое количество заданий. Здесь важно учитывать фактор времени, поскольку тестирование ни в коей мере не должно подменять традиционные формы работы на семинаре. В этой связи уместно напомнить, что на выполнение каждого тестового задания студенту требуется, как правило, от 1 до 2 мин. времени (в зависимости от сложности задания). Этот момент следует иметь в виду, планируя применение тестов в ходе семинарского занятия.
 

Обучающий потенциал системы тестирования в наибольшей степени может быть использован при самостоятельной работе студентов. В этом случае тестовые задания составляются по отдельным темам изучаемой дисциплины и должны отражать не столько материал лекционного курса, сколько содержание учебника, который рекомендован в качестве обязательного. При этом задания следует формулировать в форме вопроса, поскольку такая форма позволяет зафиксировать внимание студента на наиболее важных аспектах изучаемой темы. Работа над тестом поможет студенту
уяснить последовательность изложения материала, уточнить значение и суть основных определений, понятий и терминов, составляющих понятийный аппарат изучаемой дисциплины, систематизировать и закрепить в памяти основной фактический материал. Не случайно в научно-методической литературе содержание тестового задания определяется как «отображение фрагмента содержания учебной дисциплины в тестовой форме»[9].
 

Тесты, предназначенные для самообучения, могут включать в себя до 60-80 заданий. При этом правильный вариант ответа студент может выбрать с помощью учебника или обратиться за консультацией к преподавателю. Однако, нередко сборники подобных тестов (так называемых тестов-репетиторов) содержат приложения с ответами к тестам, что, по сути дела, не позволяет использовать их в учебном процессе.
 

В заключение следует особо отметить, что тестовые технологии находятся на стадии становления, а следовательно, по многим вопросам еще не сложилось единого мнения. Поэтому не следует абсолютизировать подходы и требования, предложенные авторами отдельных учебных пособий по проблемам тестирования. Определиться в методике составления тестов поможет прежде всего практика, которая предполагает апробацию тестов и анализ полученных в ходе тестирования результатов с последующим их обсуждением на уровне научно-методических семинаров, конференций или публикаций по проблемам тестологии.
 



[1] Аванесов В. С. Основы научной организации педагогического контроля в высшей школе: Учеб. пособие. М., 1987; Аванесов B.C. Научные проблемы тестового контроля знаний М., 1994; Аванесов В. С. Композиция тестовых заданий. М., 1996; Поддубная Л. М., Татур А. О., Челышкова М. Б. Задания в тестовой форме для автоматизированного контроля знаний студентов. М., 1995; Родионов Б. У., Татур А. О. Стандарты и тесты в образовании. М., 1995; Челышкова М. Б. Разработка педагогических тестов на основе современных математических моделей. М., 1995; Челышкова М. Б., Савельев Б. А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М., 1995; Челышкова М. Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. М., 2002 и др.
[2] Базисные понятия тестовой теории и практики представлены в кн.: Балыхина Т. М. Словарь терминов и понятий тестологии. М., 2000.
[3] См., например: Аванесов В. С. Теоретические основы разработки заданий в тестовой форме: Пособие для профессорско-преподавательского состава высшей школы. М., 1995. С. 9–10; Челышкова М. Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. М., 2002. С. 119–120.
[4] Аванесов В. С. Теоретические основы разработки заданий в тестовой форме. С. 11.
[5] Там же.
[6] Челышкова М. Б. Теория и практика конструирования педагогических тестов. С. 56.
[7] Аванесов В. С. Теоретические основы разработки заданий в тестовой форме. С. 10.
[8] Там же. С. 11.
[9] Там же. С. 14.

 

Designed by Семченко Павел, ИС-41