При составлении теста преподаватель делит курс на темы Т1, T2, … , Tk и оценивает степень важности Si и объем изучаемого материала Vi по каждой теме Ti. Количество вопросов ni по каждой теме Ti должно соответствовать (быть пропорционально) объему изучаемого материала Vi.
Минимальное количество вопросов ni по каждой теме Ti определяется в соответствии с методикой с учетом параметра Vi.
Знания по каждому разделу курса оцениваются по пятибалльной (а фактически по четырехбалльной) системе. Оценке «отлично» (5) соответствует вероятность правильного ответа от p3 до 1; оценке «хорошо» (4) соответствует вероятность правильного ответа от p2 до p3; оценке «удовлетворительно» (3) соответствует вероятность правильного ответа от p1 до p2; оценке «неудовлетворительно» (2) соответствует вероятность правильного ответа менее p1. Следует отметить, что вероятности р1, р2 и р3 (0< p1Ј p2Ј p3<1) задаются преподавателем с учетом структуры теста и могут быть изменены. Абсолютное количество (или доля) правильных ответов, достаточное для получения соответствующей оценки, определяется по специальной методике.
Итак, преподаватель:
· разбивает курс на темы (разделы) Т1, Т2, … , Тк;
· определяет их объемы V1, V2, … , Vk и степень важности S1, S2, … , Sk;
· определяет структуру теста - количество m вариантов ответов на каждый вопрос;
· задает р1, р2, р3 - уровни знаний студента (или вероятности выбора правильного ответа), соответствующие оценкам: “2” - 0Ј p< p1 , “3” -- p1<pЈ p2 , “4” -- p1< pЈ p3 , “5” -- p3<pЈ1 .
р1 должно быть заметно больше 1/m - вероятности выбора правильного ответа наугад.
После этого вычисляется минимальное количество вопросов n, необходимое для того, чтобы при заданных параметрах m, p1, p2, p3 и заданном уровне значимости e на основании испытания статистических гипотез можно было поставить оценку «5», «4», «3» или «2» за определенный раздел курса.
Минимальное количество вопросов n будет содержать тест по теме с минимальным значением Vj = min{V1,V2, … , Vk}; nj=n.
Минимальное количество вопросов по темам Т1, Т2, … , Тк определяется пропорционально их объемам, V1,V2, … , Vk.
По ответам студента вычисляется оценка Oi по каждой теме Ti (1 Ј i Јk ) как результат испытания статистических гипотез
При вычислении итоговой отметки за тест (курс) O учитывается степень важности Si каждого раздела Ti. Получившаяся итоговая оценка О округляется до целых.
Следует отметить, что описанная выше методика позволяет давать студентам тест поэтапно, по мере изучения и усвоения материала отдельных разделов курса, и выводить итоговую оценку с учетом результатов промежуточного тестирования [10].
2.1.3 Метод определения количества образовательной информацииТеория образовательного тестирования должна формироваться на частных законах и закономерностях таких научных направлений как информациология, общая статистика, статистический приемочный контроль, квалиметрия, педагогика, психология, исследование операций, теория принятия решений и др. Прямое применение теоретических разработок из указанных научных направлений не дает заметных практических результатов по оцениванию знаний по причине нематериальности знаний, как объекта исследований. Задачу формирования теории образовательного тестирования можно сформулировать как задачу поиска оптимальной структуры специфических законов и закономерностей тестологии, позволяющую оценить знания с заданной погрешностью.
Для решения задач подобного класса наиболее успешно используются генетические методы, основанные на реализации генетических алгоритмов, позволяющих осуществить направленный перебор частных законов и закономерностей по наиболее приемлемым направлениям для формирования отечественной теории образовательного тестирования.
В отличие от традиционного случайного поиска приемлемых решений, алгоритмы генетического поиска используют аналоги или близость имеющихся решений во многих областях знаний к поиску оптимального набора специфических законов, обеспечивающих объективность, достоверность и точность оценивания уровня знаний, воспроизведенных обучаемыми в процедурах тестирования. Такой направленный перебор частных законов является эволюционным и имеет очень много сходств с операторами, применяемыми в генетических алгоритмах и процедурах, происходящих с живыми организмами в природе.
Рассмотрим применение генетических алгоритмов для формирования специфического закона о количестве образовательной информации. Исходные популяции: Государственный образовательный стандарт, учебная программа, специфическая совокупность учебной информации, банк тестовых заданий. Репродукция: образовательная совокупность. Скрещивание: образовательная совокупность, статистическая совокупность. Мутация: образовательная совокупность информации.
Следующий генетический алгоритм направлен на поиск единицы образовательной информации. Исходные популяции: единица статистической совокупности, единица допуска, информацион. Репродукция: единица образовательной совокупности. Скрещивание: единица образовательной совокупности, единица допуска, информацион. Мутация: условная единица образовательной информации конкретной дисциплины.
Формирование специфического закона тестологии об образовательной информации: образовательная информация является первичной, поскольку независимо от образовательной услуги, формы теста, процедур тестирования и уровня подготовки обучаемых знания по конкретной дисциплине оцениваются только по их соответствию «образу знаний». Вся остальная информация является вторичной и третичной и не может претендовать на такую же роль как образовательная информация.
Любая информация, и в том числе образовательная, для ее последующего применения в заданиях теста должна быть представлена определенным количеством, рассчитанным с использованием условной единицы образовательной информации.
Следующий закон о сохранении образовательной информации определяет, что количество образовательной информации HQ и количество ее энтропии IQ величина всегда постоянная для всех процедур тестирования. Вычисление количества информации и количества энтропии производится по одной и той же формуле. При этом HQ вычисляют только после создания тестов, а IQ до их создания, что позволяет погрешности тестирования определить априорно. Такие вычисления невозможны без условной единицы образовательной информации, под которой понимается наиболее типичное и применяемое понятие в конкретной учебной дисциплине, поскольку обобщенного понятия пока получить не удается. Например, в материаловедении это «свойство материала», в технологии машиностроения это «операция». В последующем количество образовательной информации пересчитывается по аналогии.
Реализация указанных законов об образовательной информации позволяет с достаточной для практической цели точностью определять количество информации в банке тестовых заданий, в одном задании теста, в выборке заданий теста и в выборке выполненных тестов и обеспечивать соблюдение минимально необходимого соотношения между объемом выборки и банком тестовых заданий, соответствующего выбранной погрешности оценивания уровня знаний по образовательным тестам [11].
2.1.4 Информационно-генетические алгоритмыОсновные свойства образовательных тестов предлагается формировать на популяциях частных законов таких научных отраслей как: информациология; психология, педагогика и психодиагностика; логика; теория вероятностей; теория поиска; теория нечетких множеств; теория игр; теория статистических решений; приемочный выборочный контроль.
Эти популяции позволяют реализовать информационно-генетический алгоритм и получить новое поколение специфических законов теории тестирования о (об): первичности образовательной информации; «образе знаний», воссозданном по первичной информации; «образе уровня воспроизведенных знаний»; количестве и энтропии образовательной информации; единстве количества образовательной информации; минимально допустимом соотношении между количеством образовательной информации в «образе знаний» и в выборке заданий теста; условной единице образовательной информации; энтропии нормальной образовательной услуги; не материальности знаний, как объекта исследований; соответствии формы теста и признака оценивания; формах существования функции оценивания знаний; характеристиках доверия к результатам тестирования; правах тестируемых на получение объективной оценки уровня знаний; защите прав тестируемых при воспроизведении ими знаний по образовательным тестам; переходе количественных результатов тестирования в качество «уровня знаний».
В качестве примера рассмотрим применение информационно-генетических алгоритмов на трансформацию международных и отечественных стандартов ГОСТ Р50 779.71-99 и ГОСТ Р50 779.72-99 на статистический приемочный контроль, применительно к задачам тестирования, позволяющих предложить способы выделения «образов уровня знаний» при тестировании по двум независимым выборкам заданий теста закрытой формы, и применению традиционных лингвистических оценок: отлично (I), хорошо (II), удовлетворительно (III) и неудовлетворительно (IV) [12].
Исходные данные для реализации «образа уровня знаний»: N - объем банка заданий (образ знаний); n - объем выборки заданий; a -- риск занижения оценки; b -- риск завышения оценки; AQL(q0) - приемлемый процент неправильных ответов; RQL(q1) - неприемлемый процент неправильных ответов; С1 - приемлемое число неправильных ответов; степень тестирования - абсолютный объем выборки; уровень тестирования - соотношение между объемом выборки n и числом С в зависимости от предшествующих результатов ответа на задания теста; QL - предельный процент неподготовленных обучаемых, которые могут получить завышенную оценку.
Для нормальной образовательной услуги характерен нормальный процесс восприятия и воспроизведения знаний обучаемыми, нормальный «белый шум». В таких условиях неправильные ответы на задания теста предпочтительного соотношения 5-1 (пять ответов, из которых один правильный) вполне оправданно считать как редкие случайные события и функцию оценивания знаний сформировать по закону Пуассона.
Для конкретного примера задаем N=250; AQL=10%; RQL=20%; QLЈ10%; a<b; степень II по ГОСТ Р50 779.72-99. Объем первой выборки n1 =20 и критерии принятия решений C1<5, C2=6. Для второй выборки применяем усиленное тестирование n1 =20, C3< 3, C4=4, а для нормального тестирования оставляем исходный план n2 =20, C1< 5, C2=6.
По первой выборке уровень тестирования принят нормальный (классификация), а тестируемые разделяются на две группы: y -- недостаточная подготовка и Е -- достаточная подготовка. По второй выборке (аттестация) для группы y тестирование производится по усиленному уровню (ужесточенному) и деление производится на два образа IV и III.
Для группы Е уровень остается нормальным, но время на выполнение заданий сокращается. Тестируемые делятся на два образа II и I. Из схемы видно, что по второй выборке тестируемые получают возможность на улучшение результата, что реально защищает их права на объективность оценивания уровня знаний. Далее имеем скрещивание частных законов, которые проявляются в мутации специфического закона тестирования о переходе количества неправильных ответов в качество знаний, проявляющихся в лингвистической форме. Риски (ошибки) попадания в образы по второй выборке б=0,03, в=0,16. Предельный процент тестируемых с низким уровнем знаний, но получивших положительные оценки QL=q0=10%. Разработаны также методы выделения «образов уровня знаний» и для количественного признака, когда каждое выполненное задание имеет количественное значение в диапазоне [0, 1000], однако рамки статьи не позволяют привести такие примеры.
Таким образом, использование информационно-генетических алгоритмов для выделения необходимых свойств образовательных тестов в форме законов тестирования и их реализация для выделения «образа уровня знаний» наглядно показывает необходимость дальнейших исследований по их применению для решения новых задач по оценке уровня знаний в предстоящих единых экзаменах с целью повышения их объективности, достоверности, эффективности и социальной значимости [13].
2.1.5 Модель РашаСистема тестирования на основе модели Раша обладает важными достоинствами, среди которых, прежде всего, необходимо отметить следующие.
Модель Раша превращает измерения, сделанные в дихотомических и порядковых шкалах в линейные измерения, в результате качественные данные анализируются с помощью количественных методов. Это позволяет использовать широкий спектр статистических процедур.
Оценка трудности тестовых заданий не зависит от выборки испытуемых, на которых была получена и, аналогично, оценка уровня знаний испытуемых не зависит от используемого набора тестовых заданий.
Пропуск данных для некоторых комбинаций (испытуемый -- тестовое задание) не является критическим.
Сама система тестирования достаточно проста, по сравнению с другими аналогичными системами она характеризуется наименьшим числом параметров -- только один параметр уровня знаний для каждого испытуемого и только один параметр трудности для каждого задания.
Модель Раша опирается на четкие и конструктивные понятия "трудность задания" и "уровень знаний". Так, одно задание считается более трудным, чем другое, если вероятность правильного ответа на первое задание меньше, чем на второе, независимо от того, кто их выполняет. Аналогично, более подготовленный студент имеет большую вероятность правильно ответить на все задания, чем менее подготовленный.
Благодаря простой структуре модели существуют удобные вычислительные процедуры для многоаспектной проверки адекватности модели: для всего набора тестовых результатов, для каждого испытуемого, для каждого задания и для каждого конкретного ответа.
"Остатки", получаемые при аппроксимации результатов тестирования моделью можно использовать для выделения различных типов испытуемых.
Однако, несмотря на 40-летний опыт применения этой системы тестирования за рубежом во многих областях знания, прежде всего в образовании, медицине и психологии, до сих пор продолжаются дискуссии об истинной ценности и эффективности системы тестирования на основе модели Раша. До сих пор существуют две крайние точки зрения на эту модель тестирования.
Наиболее убежденные сторонники модели Раша утверждают следующее: "Можно ли собрать или построить или сформулировать данные так, чтобы они соответствовали определению измерения (модели Раша)? Если нет, -- то такие данные бесполезны".
Их наиболее последовательные оппоненты утверждают следующее: "Данные -- это данные, а модель -- это конструкция исследователя, которая подвержена ошибкам". Например, при построении регрессии, выбрасывая те или иные данные, можно получить любую зависимость, но мы тем самым ограничиваем реальный мир данных. Таким образом, мы создаем искусственную переменную, о которой мало что знаем.
Для практики одним из наиболее важных критериев является точность оценивания. Поэтому выбор темы в значительной степени обусловлен противоречивой информацией относительно точности системы тестирования на основе модели Раша. Кроме того, не удалось найти работы, в которых проведен всесторонний анализ точности модели Раша. В известных работах только даются те или иные общие рекомендации по использованию этих моделей.
Чем больше точность, тем лучше работает модель. В случае отсутствия ошибок измерения любая модель в смысле точности измерения работает идеально. Но на практике ошибки всегда есть и поэтому важно знать, насколько точные оценки позволяет получать та или иная модель.
На основе имитационного моделирования исследуются точность оценивания уровней знаний и трудностей заданий, а также число итераций, требуемых для вычисления этих оценок (методом наибольшего правдоподобия) в многофакторной ситуации в зависимости от:
· диапазона уровней знаний испытуемых;
· диапазона трудностей заданий;
· степени соответствия диапазонов уровней знаний испытуемых и трудностей заданий;
· числа испытуемых;
· числа заданий;
· степени соответствия данных модели;
· доли пропущенных данных.
Для статистической обработки результатов моделирования используется многофакторный дисперсионный анализ [14].
2.1.6 Абсолютная временная шкала измерения знанийЗнания являются абсолютной субстанцией: они либо есть, либо их нет. По крайней мере, так считается в любой форме традиционного оценивания знаний -- как на выпускных экзаменах в школах, так и на вступительных экзаменах в вузы. Поэтому интересно проанализировать возможности абсолютных шкал оценки и при переходе к измерению знаний на основе тестов.
В данных исследованиях изучаются возможности так называемой «абсолютной временной шкалы оценивания знаний». Формулируются ее принципы. Формулируются этапы последовательного перехода от традиционной формы экзаменов к тестовой форме этого подхода, на их основе - требования к созданию тестовых материалов этого подхода.
Анализируется опыт использования данного подхода на вступительных экзаменах в Тверском государственном университете на протяжении 4-х лет.
Изучается диагностический потенциал данного подхода. Формулируется принцип «трехуровнего абстрагирования» для диагностических тестирований. Ниже показана «диаграмма знаний» по математике, полученная в результате обработки данных тестирования выпускников одной из школ г.Твери (75 учащихся).
Здесь цифры по окружности - номера тем по математике, по радиусам отложена «успешность ответов» учащихся по той или иной теме.
Как видно, тестирование с использованием абсолютной шкалы оценки имеет ценность диагностическую даже более, чем для итоговых экзаменов.
Изучается уровень достоверности результатов компьютерного тестирования в данном подходе и соотношение «случайного» и «достоверного» в итоговой оценке. На рисунках приведена зависимость (в данном подходе) итоговой оценки по математике от времени тестирования:
Как видно, за все время тестирования (40 минут) в первые 15 минут (первые 4 задания по математике) оценка менялась наиболее заметно. За последние же 10 минут итоговая оценка изменялась не более чем на 10 баллов -- доля «случайного» в итоговой оценке.
Таким образом, при использовании абсолютной шкалы данного подхода существует возможность ответить на вопросы: 1) существует ли предел, к которому сходится итоговая оценка с увеличением времени тестирования (или количества заданий теста); 2) какова погрешность «измерения знаний» если прервать тестирование в некоторый определенный момент, например через 40 минут.
