Эту ошибку легко выявить процедурой обратной сверки: по формулировкам тестовых вопросов-заданий составляется список фактически тестируемых единиц, который сверяется с единицами содержания каждой темы учебной программы. Обнаруженное несоответствие устраняется по критерию совпадения единиц содержания и единиц тестирования.
Формулировка вопроса может быть такой, что содержит
подсказку (наводящий вопрос), - это позволяет дать правильный ответ тому, кто знает материал ниже заданных требований.
Формулировка вопроса и ответов может быть недостаточно
определенной, неоднозначной (допускающей различные толкования), так что неверный ответ может выбрать и тот, кто хорошо усвоил материал.
Варианты ответов могут быть подобраны так, что, даже не зная
материала, можно логически отсеять часть или все неверные ответы (например, при вариантах ответов, явно относящихся к другой теме или сфере знаний).
Чрезмерно ограниченное число ответов на один вопрос в
закрытом варианте теста (выбор ответа из готового их списка).
При этом имеет место высокая вероятность угадать правильный ответ, совершенно не зная материала.
Остановимся на этом подробнее, поскольку это относится к важной проблеме обеспечения точности теста.
Например, при дихотомическом выборе ответа (да-нет, правильно-неправильно) вероятность угадать верный ответ составляет 50%. То есть, если тест состоит из 100 вопросов, то можно утверждать, что число правильно угаданных ответов будет около 50. Такой тест можно применить только при условии, что достаточно усвоить половину материала; но и тогда, для удовлетворительной оценки (типа «зачтено») нужно требовать 100 правильных ответов (иначе нет гарантии действительного усвоения половины курса).
Исходя из сказанного, минимально допустимое число ответов на один закрытый ответ равно «пяти». Вероятность случайного угадывания правильного ответа здесь равна 0,20 (20%), а точность измерения - 0,80. Хотя она ниже, чем общепринятая в математической статистике (0,95), но вполне приемлема для большинства тестов на измерение знаний с недифференцированной оценкой типа «усвоено - не усвоено». Однако, при необходимости введения различных уровней усвоения такое построение теста непригодно.
Для иллюстрации этого утверждения попытаемся построить соответствующую шкалу оценок. При требовании знать 51 % материала для оценки удовлетворительно, обучающийся должен набрать по тесту 63,75 % правильных ответов (это гарантирует нас от случайного угадывания 20% ответов). 60 % усвоения требует 75 % правильных ответов.
75 % усвоения - 94 % верных ответов, а 80 % - 100 % точных ответов. Очевидно, что такой тест не обладает достаточной различительной способностью для высокого уровня усвоения («отлично» получат те, кто усвоил менее 80 % курса, или вообще - никто, поскольку шкала не позволяет различать высокие оценки). К этому следует добавить, что уровень усвоения курса в 51 % можно признать удовлетворительным только в тех случаях, когда учебный курс призван сформировать лишь общие представления в какой-то области знания. В сфере освоения профессиональных знаний и умений, а также при освоении новой деятельности эта «планка» должна быть поднята значительно выше (невозможно принять удовлетворительным освоение наполовину количества основных грамматических форм или минимального словаря изучаемого языка; или - половину действий, составляющих какую-то целостную осваиваемую деятельность).
Из изложенного следует, что точность теста должна быть выше, чем 0,80. Иначе говоря, нужен выбор не из пяти, а из 20 и более ответов (точность 0,95 и выше). Такой тест трудно составить, с ним неудобно работать тем, кто проходит тестирование (невозможно удержать в памяти и легко обозревать возможные ответы, выбор ответа требует очень много времени и усилий, что приводит к ошибкам).
Выход состоит в том, чтобы каждая тестируемая единица была представлена несколькими однородными вопросами (батареей) с выбором из пяти ответов на каждый вопрос. Так, при двух вопросах на тестируемую единицу, - два правильных ответа обеспечивают точность оценки 0,96. При трех вопросах на тестируемую единицу: два правильных ответа гарантируют точность 0,88, а три - 0,992. При четырех вопросах: два верных ответа дают точность 0,76; три - 0,968. При пяти вопросах - три правильных ответа дают точность 0,95 (наилучший вариант для тестируемых, поскольку снижается возможность случайной ошибки или неверного ответа из-за неудачной формулировки ответа составителем теста).
При таком конструировании теста сначала необходимо оценивать усвоение каждой тестируемой единицы (по принципу «усвоено или нет»), а затем - оценивать усвоение по всему тесту (процент правильных ответов из их общего числа вопросов или процент усвоенных единиц из числа всех единиц теста). Это дает хорошо дифференцированную шкалу оценок.
Разновидности тестов. Сплошное и выборочное тестирование. Наиболее распространены простые и сложные тесты с однородной и дифференцированной трудностью заданий.Простой тест состоит из примерно одинаковых по трудности вопросов-заданий и обычно предназначен для оценки усвоения типа «зачтено - не зачтено». Его преимущество в относительной легкости составления, простоты применения и компьютеризации. Такой вид теста в настоящее время является преобладающим. Он используется для оценки усвоения знаний и отдельных действий на уровне «понимание и воспроизведение» в процессе текущего контроля и строится по принципу «одна единица содержания учебного курса - один тестовый вопрос - пять вариантов ответа». Его недостаток - малая пригодность для получения дифференцированных оценок при промежуточном и итоговом контроле (усвоения теоретических знаний на уровне осмысления и применения, а также практического освоения отдельных видов профессиональной деятельности).
Сложный тест предназначен для более глубокого контроля и получения интегрированных и хорошо различаемых оценок. Главная особенность и достоинство такого теста - контролируемое изменение трудности тестовых заданий, позволяющее четко дифференцировать обучающихся по успешности обучения. Это качество обеспечивается двумя способами построения (и применения) теста. В первом случае подбирается три группы заданий, различающихся по уровню сложности и соответствующих оценкам «удовлетворительно», «хорошо» и «отлично». Обучающимся дается возможность выбрать подходящий уровень трудности. Во втором случае всем обучающимся предъявляется один тест, все задания которого различаются по сложности. Предполагается, что более подготовленные студенты справятся с большим числом заданий, и произойдет естественное ранжирование их успешности (практически все тестируемые получат разные оценки в отличие от предыдущего способа, при котором тестируемые распределяются только на три группы).
Термин сплошное тестирование означает способ контроля, при котором тестируются все единицы содержания учебного курса (или его части), независимо от общего их числа. Он должен быть обязательным для промежуточного и итогового контроля (проводимого службой Регистратора или деканатом), а также частично - для текущего и рубежного, в тех случаях, когда обязательно усвоение каждой без исключения единицы содержания («промежуточный контроль» означает экзамен или завершающую работу после окончания изучения учебного курса; «итоговый контроль» - итоговый по дисциплине или междисциплинарный выпускной экзамен, или выпускную работу по специальности).
Термин выборочное тестирование означает способ контроля, при котором тестируется относительно небольшая часть единиц содержания курса (обычно 10 %), отобранная из их общего числа (списка) случайным образом (лучше всего - компьютером). Предполагается, что полученная приблизительная оценка усвоения курса имеет допустимую точность для самоконтроля обучающимися, текущего и (реже) рубежного контроля со стороны преподавателя.
2.2. Тестирование теоретического учебного курса
При создании и применении тестов необходимо учитывать различия в структуре, особенностях проявления (фиксирования) и усвоения теоретических и практических знаний, познавательной деятельности по их применению, а также практической деятельности по освоению и применению профессиональных умений и навыков.
Структура знаний и деятельности различна (см. п. 3.1.). Назначение теоретического курса - сформировать модель какой-то части мира (специфическое знание) и научить применять ее (сформировать соответствующие умения и навыки в решении познавательных задач практики). То есть его содержание неоднородно. Это влечет за собой качественное различие соответствующих единиц содержания в учебной программе, различие способов обучения и способов фиксирования его результатов.
Иначе говоря, для тестирования теоретического курса необходимо два различных теста: один - для оценки знаний (на уровне «понимание-воспроизведение» и с оценкой «усвоено на приемлемом уровне - не усвоено»); другой - для оценки умения их применять (на уровне «системного осмысления знания и применения по образцу - свободного применения - творческого применения» и с дифференцированной оценкой 3-4-5 баллов). Формально объединив их, получим один комбинированный тест.
2.3. Тестирование практического учебного курса
Назначение практического курса - сформировать модель новой деятельности (практическое знание) и научить выполнять ее (сформировать практические действия - умения и навыки ее выполнения в рамках профессиональных обязанностей).
Структура такого практического знания: осознание целей деятельности как конкретных форм представления результатов; представление о каждом действии - его назначении и способах выполнения; представление об алгоритме деятельности как целостной и фиксированной последовательности действий. Элементы этой структуры (единицы знания) должны быть единицами содержания учебной программы, единицами обучения и единицами тестирования. Нужен тест контроля практического знания.
Программа должна также зафиксировать в качестве единиц обучения (и тестирования) практическое освоение всех действий и деятельности в целом (умение выполнять каждое действие в отдельности, выполнять деятельность как целостный процесс, фиксировать ее конечные результаты в заданной форме). При этом обязательно должен быть освоен (и протестирован) каждый элемент. Следовательно, нужен второй тест - для контроля освоения целостной деятельности под контролем сознания (уровень умения). Два указанных теста, при успешном их выполнении (оба с оценкой «усвоено»), выявят приемлемый уровень усвоения деятельности (оценка «удовлетворительно»).
Только после этого можно применить еще один тест для получения более высокой, дифференцированной оценки «хорошо» или «отлично».
Таким образом, тестирование практического курса предполагает наличие и применение трех различных по содержанию тестов. В зависимости от реальных различий в качественной структуре содержания конкретного учебного курса, их может быть и больше трех. В любом случае, формально объединив частные тесты под общим названием курса, получим один комбинированный тест.
2.4. Требования к содержанию и форме тестаСтруктура теста:Инструкция по назначению и правилам применения.Критерии оценки (предмет оценки по каждой теме или курсу в целом).Вопросы-задания (закрытые, полуоткрытые, открытые).Ответы-ключи (выбор из списка готовых ответов, ввод ответа из не предъявляемого списка, ввод свободного ответа).Шкалы оценок (по каждому критерию темы или курса в целом).Требования к содержанию теста:1. Критерии оценки:1.1. По каждой отдельной теме или курсу выделяется предмет оценки (что оценивается - специфическое знание, его качественная характеристика, вид деятельности и т.п.);
1.2. По каждому критерию формируется отдельная база данных («вопросы-задания» - «ответы-ключи») и приводится балльная шкала оценки;
1.3. При частичном тестировании по одному критерию указывается как балльная шкала оценки, так и «процентная доля курса», выделяемая для этой части тестирования.
2. «Вопросы-задания»:
2.1. Обеспечивается полный и равномерный охват содержания курса: не пропущено ничего существенного по каждой теме - теоретические знания, умения и навыки; профессиональные знания, умения, навыки (компетенция). При этом по каждой теме (учебная программа курса) указывается перечень существенных единиц содержания, являющихся одновременно единицами тестирования. Каждая единица тестирования должна быть представлена в тесте одинаковым числом вопросов-заданий.
2.2. Соблюдается простота, однородность и однозначность формулировок: вопросы формулируются короткими простыми предложениями, на одном уровне обобщенности, при равном объеме понятий; один вопрос-задание относится к одному критерию и одной смысловой единице информации - единице тестирования.
2.3. Обеспечивается минимизация и обоснованность формулировок: - вопросы формулируются только по существенным идеям и фактам (должны быть исключены частные и второстепенные аспекты, относящиеся к пояснениям, описаниям контекста, детализации и иллюстрации существенных сообщений);
существенными идеями (сообщениями) считаются базовые
(стержневые) структурные элементы главной идеи, конкретизирующие назначение курса или темы (целостные смысловые единицы того, что должно быть усвоено);
- существенными фактами считаются сообщения, содержащие конкретные данные о действительном, практическом основании существенных идей, положений (цифры, статистика и другие сведения объективного характера), представляющие собой необходимый и достаточный минимум их доказательства или опровержения.
2.4. Содержание тестовых заданий подбирается с учетом уровня
трудности (сложности). Обоснованность ее градаций должна обязательно проверяться (с коррекцией соответствующих формулировок) в группировках «сильных» - «средних» - «слабых» учащихся.
Для варьирования заданий по трудности можно использовать выделенные системной дидактикой пять уровней усвоения знания:
Уровень общего знакомства с материалом. Это задания, в
которых требуется опознать единицы знания с помощью опоры (выбрать правильный ответ из нескольких представленных вариантов ответа или установить соответствие элементов одного списка элементам другого).
Уровень воспроизведения (алгоритмический). Это задания,
требующие вспомнить и воспроизвести материал по памяти без внешней опоры (варианты заданий: подстановки - вставить в заданную структуру ответа недостающие и пропущенные или исправить искаженные элементы; способ конструирования или восстановления по памяти порядка какого-либо действия с последующим его выполнением; способ типовой задачи - выполнение действия по определенному алгоритму, формуле, схеме; способ восстановления алгоритма - вспомнить и воспроизвести последовательность какого-то процесса, деятельности).
Уровень эвристический (частичного поиска). Это задания на
самостоятельный перенос известного алгоритма действий в заданные конкретные условия (варианты заданий: дополнить формулировку вопроса посредством применения общего правила для заданной ситуации; построить ответ, алгоритм с изменением условия; решить задачу, изменив алгоритм типового процесса и применив его в заданной ситуации).
- Уровень творческого применения знаний. Это задания, требующие
самостоятельной рационализации, моделирования или конструирования. Их результатом могут быть алгоритмы, схемы, карты и т.д. К таким заданиям прилагаются требования к форме представления результатов, параметры, условия и другие ограничения, которым должны соответствовать творческие разработки.
Уровень исследования. Это задания трех видов: на проверку и
уточнение известного знания, на его дополнение и развитие, на получение нового, не имеющего аналогов, знания. Такие задания, помимо знаний конкретного учебного курса, предполагают определенное владение понятийным аппаратом и методологией научного исследования. Как и в предыдущем пункте, здесь тоже задается организующий комплекс необходимых условий и ограничений.
Примечание: материал этого пункта (пять уровней усвоения) представлен Пырлик Л.Я., гуманитарный колледж, г. Астана.
2.5. Вопросы-задания строятся как закрытые (в большинстве), полуоткрытые и открытые. Закрытые - предполагают выбор из предъявляемого списка ответов. Полуоткрытые - предлагают самостоятельно ввести ответ, осуществляя выбор из известного, но не предъявляемого списка ответов (например, напечатать перевод слова с иностранного языка по известному словарю). Реже применяется открытый вариант - с произвольной формой развернутого ответа. Хотя он и обладает наилучшими возможностями для выявления результатов усвоения, его трудно оценивать (необходимо создавать специальную шкалу с произвольными ограничениями, которую сложно и не всегда возможно обоснованно формализовать) и приходится использовать трудоемкий способ ручного тестирования.
3. «Ответы-ключи»:
3.1. Обеспечивается однозначное соответствие формулировки ответа и сути задания (вопроса): с одной стороны, - каждый ответ в списке обязательно содержит существенные признаки распознавания идеи (действия) правильного ответа; а с другой, - формулировка ответа в соответствующем списке исключает прямое или косвенное искажение этой идеи (действия), ее двусмысленное толкование.
3.2. Формулировки в списке возможных ответов должны
максимально снижать возможность случайного угадывания правильных ответов и исключать возможность его логического «вычисления» без подлинного знания:
каждая тестируемая единица темы должна быть представлена
двумя - пятью вопросами (заданиями) с выбором из пяти (или более) возможных ответов для каждого из них;
все формулировки в списке возможных ответов должны быть
построены на изменении (в тексте правильного ответа) существенных признаков тестируемой идеи (действия), без использования суждений, не относящихся к ней (чтобы было невозможно чисто логически отсеять формулировки, явно не относящиеся к сути вопроса);
