- инструмент, который состоит из задания на деятельность данного уровня, позволяющего выявить факт усвоения (В. П. Беспалько);
- стандартизированный метод диагностики уровня и структуры подготовленности (В. С. Аванесов);
- система специально составленных заданий, решение которых имеет однозначно правильные ответы (Е. А. Михайлычев);
- метод педагогической диагностики (К. Ингекамп).
Примем следующее определение теста.
Тест - это инструмент, состоящий из системы стандартизированных заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов.
Отметим, что все основные функции контроля: обучающая, развивающая, мотивационная, диагностическая и прогностическая - реализуются через его нетрадиционную форму - тесты.
Самое существенное требование, отличающее тест от экзамена и от остальных методов контроля, - это обязательная проверка его качества. Существуют соответствующие научнообоснованные критерии, которые позволяют оценить качество теста: объективность, надежность, валидность, трудность, эффективность.
Остановимся подробнее на каждом из показателей.
Объективность. Тесты, как показывает опыт, являются значительно более качественным и объективным способом оценивания. Объективность тестирования достигается путем стандартизации процедуры его проведения и проверки показателей качества заданий и тестов целиком. Тесты -- более емкий инструмент, их показатели ориентированы на измерение степени, определение уровня усвоения ключевых понятий, тем и разделов учебной программы, умений, навыков, а не на констатацию наличия у школьников определенной совокупности усвоенных знаний. Стандартизированная форма оценки, используемая в тестах, позволяет соотнести уровень успехов учащегося по предмету, как в целом, так и по отдельным разделам со средним уровнем учащихся в классе. К тому же тесты -- более объемный инструмент. Выполняя тестовые задания, каждый ученик использует знания по всем темам, предусмотренным программой. Еще одно существенное отличие тестов от традиционных методов аттестации состоит в том, что использование при тестировании процедур и единых критериев оценки приводит к снижению экзаменационных стрессов. Тест -- широкий инструмент и с точки зрения интервала оценивания. Если провести аналогию с прыжками в высоту, то традиционная контрольная работа представит собой не линейку, а палочку, на которой нанесены три риски -- 5, 4 и 3. В случае выполнения учеником всех заданий он получает отличную отметку. При этом совершенно не ясно, перепрыгнул он палочку с запасом в несколько раз или пролетел прямо над ней. То же можно сказать и про нижнюю отметку. При сравнении тестирования и традиционного оценивания можно увидеть, что первое предоставляет возможность расширить шкалу оценивания как вверх, так и вниз. Означает ли тот факт, что если ученик не выполнил ни одного задания, что он ничего не знает? Скорее всего, нет. Давая широкие возможности для проявления достижений, тест представляет собой измерительный инструмент примерно трехметровой высоты, риски на котором расположены практически от земли. В этом отношении тестирование приходит в противоречие с учительским стереотипом о том, что отличную оценку нужно выставлять только в том случае, если все задания выполнены правильно. Можно отметить и гуманизм тестирования, который заключается в том, что всем предоставляются равные возможности, а широта теста дает возможность ученику показать свои достижения на широком поле материала. Таким образом, ученик получает некоторое право на ошибку, которого он лишен при традиционном способе оценивания.
Надежность. Под надежностью понимают согласованность результатов проведения теста на одной и той же группе испытуемых, но при изменении условий проведения, чаще всего либо времени, либо набора тестовых заданий. Надёжность - фундаментальная характеристика теста, которая показывает, в какой степени стабильны результаты тестирования при неоднократном обследовании. Обычно для оценки надежности тест проводят два раза и сравнивают полученные тестовые баллы. Чем более схожи результаты двух тестирований, тем более высок уровень надежности тестов. [4].
Валидность. Валидность теста - его пригодность для достижения поставленной цели: пригодность по содержанию, пригодность к применению в конкретных обстоятельствах, пригодность по какому-либо критерию. Валидность педагогического теста по содержанию может быть определена опытным преподавателем-экспертом, который отмечает, что задания теста: соответствуют учебной программе; охватывают всю программу; имеют высокую вероятность того, что учащийся, успешно ответивший на задания теста, знает предмет в соответствии с полученной оценкой (при установлении соответствия тестового балла принятой систем отметок в качестве критериев обычно берутся оценки, выставляемые учащимся группой преподавателей-экспертов при традиционной форме контроля знаний). Тест может быть валидным, если, помимо прочих требований, средние результаты соответствуют большей части учащихся группы, а сами данные распределяются по нормальному закону. Если это условие не выполняется, то такой тест считается невалидным с точки зрения соответствия стандартам распределения. Мера валидности теста может определяться так же сравнением с тестом-эталоном и сопоставлением с более объективными показателями, полученными другими методами. Валидность теста существенно уменьшается из-за снижения его различающей способности. Различающая способность теста тем выше, чем меньше одинаковых тестовых баллов набирают сами учащиеся. Валидность теста зависит и от длины теста. Под длиной теста понимают количество заданий, входящих в тест. Существуют тесты очень короткие, состоящие из 7-15 заданий, и очень длинные, состоящие из более 500 заданий. Если тест очень длинный, то ухудшается мотивация и внимание учащихся, а это снижает надежность и валидность. Практика показывает, что если тестирование занимает более полутора часов, то испытуемые с неохотой соглашаются отвечать на вопросы теста. С другой стороны, с точки зрения теории, чем тест длиннее, тем он надежнее. Возникающее противоречие между теорией и практикой решается компромиссом в ту или в другую сторону, в зависимости от конкретного случая [4].
Трудность. Трудность теста - это степень сложности в совокупности включенных в тест заданий. В процессе создания теста мера трудности регулярно проверяется на случайной выборке из того контингента, для которого тест предназначается. В сбалансированном тесте авторы обычно легко добиваются нормальности распределения. Дальнейшее совершенствование теста идет по пути замены ряда заданий, ответы на которые нарушают нормальность распределения. Трудность заданий влияет на надежность и валидность. Если тест очень трудный, то учащиеся чаще вынуждены догадываться - какой ответ правильный, но чем чаще они прибегают к догадке, тем больше распределение результатов теста приближается к случайному распределению. Поэтому пригодность теста для оценки знаний всей массы учащихся будет ниже, чем труднее тест. Такое же влияние на надежность, но по другой причине, оказывает легкий тест, в котором учащиеся редко догадываются, их ответы устойчивы, но между ними нет различий [17].
Эффективность. Эффективность педагогического теста определяется творческим подходом составителей к разработке системы заданий, соответствующих конкретным целям тестирования [17].
К настоящему времени в педагогическом сообществе нет единства в классификации тестов. В. С. Аванесов, А. Н. Майоров, М. Б. Челышкова, Т. Д. Макарова видят разные признаки демаркации. Однако в соответствии с методологией создания теста все авторы единодушно выделяют: критериальные, предназначенные для выявления факта порога усвоения учебного материала; нормативные, обеспечивающие ранжирование учащихся по уровню усвоения материала относительно нормы. По профессиональному признаку можно определить: стандартизированные и нестандартизированные тесты.
Обобщая исследования учёных, из существующего многообразия типологизаций тестов выделим в первую очередь те, которые могут быть соотнесены с видами контроля: предупредительным, текущим, итоговым. Это, соответственно, установочный, формирующий, итоговый тесты. Установочный тест выявляет исходный уровень подготовки школьников, он содержит как легкие, так и трудные задания. Замерив базовый уровень учащегося, учитель может наблюдать за развитием каждого ребенка, вносить элементы индивидуализации в учебный процесс. Формирующий тест определяет прогресс достигнутого в обучении. К данному типу тестов мы относим базовые и диагностические. Первые включают репродуктивные задания и проводятся на уровне формирований понятий. Вторые содержат задания от репродуктивных до творческих и выявляют уровень усвоения темы или раздела программы. Итоговый тест, который чаще называют тестом школьных достижений, должен отвечать всем требованиям стандартизированного научно обоснованного теста [1, 4, 17].
Проанализировав многообразие классификаций тестовых заданий, представленных в литературе, и сопоставив их с нормативными документами, целесообразно предложить классификацию по типам и видам заданий: типы - закрытые (задания с выбором верного ответа), открытые (задания со свободно конструированным ответом); виды - с выбором одного верного ответа, с выбором более одного верного ответа, на установление соответствия, на установление правильной последовательности, на дополнение с кратким ответом, на дополнение с развернутым ответом.
Одним из направлений модернизации образования является введение единого государственного экзамена (ЕГЭ). Хотя в среде педагогической общественности нет единой точки зрения, но все большее число педагогов и руководителей различных уровней признают, что ЕГЭ более надежный инструмент для оценки образовательных достижений школьников. Общероссийские тестовые баллы массового тестирования задают средние статистические нормы учебных достижений, относительно которых субъекты образовательного процесса могут самоидентифицироваться в едином контрольно-измерительном пространстве. Анализ успехов и недостатков требуется образовательным учреждениям, органам систем управления на всех иерархических уровнях для коррекции образовательного процесса. Так как экзамен по математике является обязательным для всех выпускников, то результаты ЕГЭ можно рассматривать как информационную основу для организации многоуровневого мониторинга. Особо подчеркнем, что вводимая независимая система оценивания, осуществляемая в рамках ЕГЭ, является мощным воспитывающим средством. Отсюда - воспитывающая функция мониторинга, которая проявляется опосредованно.
Одна из важных задач обучения - быстрая и надежная оценка знаний человека. Нами предпринимается попытка разработать систему измерителей качества знаний, которая бы выявляла условия повышения успеваемости учащихся, а также уровень целей и задач педагогического контроля.
Мы разработали подход к технологии конструирования тестовых измерителей в котором выделили четыре этапа: поисковый, моделирующий, формирующий, оценочный.
Поисковый этап. Чрезвычайно важно, чтобы оценочная деятельность педагогов была адекватной, справедливой и объективной. В связи с этим нами был организован поиск надежных и эффективных видов проверочных заданий, способов проверки с помощью технических средств и персональных компьютеров (ПК) [10]. Использование ПК позволяет перейти к контролю знаний на протяжении длительного периода времени.
На данном этапе определяется состояние знаний учащихся с применением тестовых измерителей. Тестирование является одной из наиболее технологичных форм проведения автоматизированного контроля с управляемыми параметрами качества. Выборочный метод при конструировании тестовых заданий дает возможность быстрее усваивать все виды явлений, лучше понимать их общие и отличительные качества, легче классифицировать конкретные явления, виды знаний.
Таким образом, тестирование, выполняя функцию контроля в ходе диагностирования образовательного процесса, используется одновременно как средство диагностики обученности учащихся. Диагностика рассматривается как точное определение результатов процесса обучения, обученность же - как достигнутый на момент диагностирования уровень (степень) реализации намеченной цели” (И.П. Подласый) [17].
На данном же этапе выявляются основные проблемы при использовании тестов: качество и валидность содержания тестовых заданий, надежность результатов тестирования, недостатки обработки результатов по классической теории тестов, отсутствие использования современной теории обработки тестовых материалов с применением ПК. Недостаточное количество тематических тестов для текущего контроля знаний учащихся школ негативно отражается на обучении, препятствуя его индивидуализации в условиях массового учебного процесса. Поставленные задачи необходимо решать в рамках текущего и итогового тестирования учащихся.
Моделирующий этап. На втором этапе разрабатывается алгоритм обучающего цикла и концепция тестового контроля. Обучающий цикл должен обеспечивать последовательную ориентацию обучения на намеченные цели. Благодаря такому строению учебный процесс приобретает “блочный” характер. Блок - дидактическая инженерия знаний, позволяющая оформить сжатие учебной информации с использованием достижений теорий содержательного обобщения (В. В. Давыдов и его последователи), укрупнения дидактичесих единиц (П. М. Эрдниев), концепции формирования системности знаний (Л. Л. Зорина).
Помимо содержательной целостности ориентиром при разбивке на блоки является продолжительность изучения материала.
Созданная модель содержания курса и представленная в виде образовательных модулей позволяет разработать план теста и его спецификацию по каждому блоку отдельной темы. Для контроля знаний используются педагогические тесты. С этой целью проводится детальный анализ учебного материала и его структуризация, в процессе которой этот материал разбивается на отдельные фрагменты.
Можно определить основные проблемы при конструировании и применении тестов: блочный принцип структурирования содержания курса, создание плана и спецификации тестовых заданий с выделением структурных единиц в виде «учебных единиц», повышение валидности тестовых заданий, надежности результатов тестирования учащихся и применение тестов для индивидуального точного определения уровня обученности и расчета индивидуального истинного балла испытуемых.
Один из подходов к описанию целей обучения состоит в указании уровней, ступеней, которых достигает ученик по мере овладения знаниями. Объективные и адекватные измерители успешности обучения - тесты, задачи, упражнения, контрольные задания, контрольные работы - могут быть использованы на всех уровнях иерархии учебных целей.
Математическая модель тестового контроля знаний определяет уровень обученности учащихся в зависимости от трудности заданий.
Формирующий этап. На третьем этапе ставится цель разработать тестовые измерители, которые определяют уровень обученности и способствуют достижению целей обучения учащихся, апробировать ее при текущем контроле знаний, проверить ее действенность на основе более широкого внедрения в практику. Исходный тест по предложенной теме предназначен для предварительного тестирования групп учащихся с целью приближенного
+
определения уровня обученности группы по соответствующей теме. Следующим шагом является исключение из теста «неработающих» заданий в этой группе тестируемых и определение уровня знаний каждого испытуемого. Таким образом, для группы тестируемых создаются тесты, имеющие разную длину и время выполнения для сильных, слабых и средних учащихся данной группы. Такой процесс требует компьютерной технологии создания, хранения тестов, проведения тестирования и обработки результатов тестирования.
Оценочный этап. На этом этапе анализируют полученные результаты исследования. Оценивается объективность в определении индивидуального уровня обученности учащихся.
Рассмотрим, как с помощью тестов можно судить об уровне знаний учащихся. Проверка выполнения требований к математической подготовке учащихся включается в существующую систему государственного и учительского контроля, оказывая при этом значительное влияние на его идеологию и содержание.
Система государственного контроля за выполнением требований к уровню подготовки выпускников должна включать специальную проверку достижения каждым учащимся уровня обязательной математической подготовки как безусловного минимума знаний и умений, который дает право на получение положительной оценки и документа об образовании. Такая проверка, в зависимости от целей, которые ставят перед собой проверяющие, может дополняться проверкой на повышенных уровнях. При этом учащемуся предоставляется право выбора уровня контроля. По своему желанию он может ограничиться проверкой только на обязательном уровне, достаточном для получения положительной отметки. Возможны различные способы сочетания этих двух этапов контроля. Они могут быть представлены в одной работе или же в разных специально ориентированных работах. В первом случае работа включает задания, позволяющие проверить подготовку учащихся на различных уровнях (обязательном и повышенных), во втором -- эти две проверки могут быть разведены во времени.
Выделение в контроле двух принципиальных этапов (проверка достижения уровня обязательной подготовки и проверка на повышенных уровнях) имеет целый ряд позитивных следствий. С одной стороны, это дает возможность получать объективную информацию о состоянии знаний и умений учащихся и на этой основе мотивированно управлять учебным процессом. С другой стороны, это обеспечивает возможность ученикам с разным уровнем подготовки продемонстрировать свои достижения. И, наконец, это дает реальную основу для переориентации традиционной системы оценки, при которой подготовка ученика сравнивалась с некоторым максимальным уровнем усвоения учебного материала, оцениваемым максимальным баллом «5». В зависимости от ошибок и недочетов, допущенных учеником, его отметка при таком подходе снижалась. В этих условиях отметка «3» нечетко отделяла знание от незнания, свидетельствуя о низком уровне подготовки, но не поддаваясь четкой содержательной интерпретации.
Альтернативным рассмотренному подходу является оценивание подготовки учащихся «методом сложения»: от достигнутого обязательного уровня к более высоким, что оказывается возможным благодаря включению в контроль этапа проверки уровня обязательной подготовки.
Достижение уровня обязательной подготовки свидетельствует о выполнении предъявляемых программой требований на том минимальном уровне, который является необходимым и одновременно достаточным для положительной аттестации. В зависимости от целей и способов проверки достижение этого уровня может оцениваться по-разному. В том случае, когда цель -- выявить достижение учащимися этого уровня, естественно использовать дихотомическую шкалу оценки типа: «достиг -- не достиг». Если же цель проверки -- аттестация учащихся, что предполагает дифференциацию их по уровням подготовки, то выполнение учащимся заданий обязательного уровня (при условии, что ученик в своей работе не справился с более сложными заданиями) может быть оценено отметкой «3». В этом случае отметка «3» приобретает новый содержательный смысл -- свидетельствует об усвоении учащимся минимума математических знаний и умений, отвечающих программным требованиям и достаточных для продолжения обучения. Соответственно меняется содержание отметок «4» и «5», характеризующих достижение более высоких уровней обученности.
