Предлагаемая методика основывается на том, что учебный процесс является частным случаем технологического процесса и ему должны быть свойственны такие же методы анализа, какие приняты для производственных процессов. Однако слепо перенести подобные методики нельзя, особенно это касается содержательного анализа процесса.
Для того чтобы проанализировать учебный процесс нужно иметь, во-первых, критерий качества обучения, а, во-вторых, проследить его изменение во времени. В качестве наиболее информативного критерия качества обучения следует использовать степень обученности учащихся -- СОУ. Этот критерий основан на статистике полученных учащимися оценок за выполнение отдельных заданий или контрольных работ. Оценки входят в СОУ с «весом» равным интегралу вероятности получения данной оценки для некоторого «типового» распределения оценок.
В качестве такого «типового» распределения используется стандартное распределение Гаусса с параметрами: среднее значение оценки -- 4 и стандартное отклонение -- 1,39 /1/. Такое распределение обладает одним особым свойством: для этого распределения значения СОУ и качественной успеваемости совпадают и составляют 0,64. Это свойство выделяет «типовое» распределение среди других распределений со средней оценкой 4.
Расчеты для «типового» распределения показывают, что если СОУ больше 0,76, то обученность «отличная», если СОУ от 0,5 до 0,76, то обученность «хорошая», если СОУ от 0,24 до 0,5, то обученность «удовлетворительная», если менее 0,24, то «неудовлетворительная».
Для оценки изменения СОУ во времени используется известная в математической статистике методика, связанная с критерием «3 s». Согласно этой методике, если какой либо процесс идет нормально, то отдельные значения должны укладываться в интервал «3s» относительно среднего значения (s -- стандартное отклонение) с определенной точностью. Те значения, которые не укладываются в заданный интервал, являются отклонениями от стандартного распределения. Чем меньше таких отклонений, тем больше соответствие анализируемого распределения стандартному. Что касается применения этой методики для технологических процессов, то ее надо скорректировать -- следует учитывать только те значения, которые выходят за нижнюю границу интервала.
Если взять отношение числа значений попадающих в интервал «3 s» к общему количеству значений, то такую величину можно назвать коэффициентом стандартности распределения, а в случае рассмотрения учебного процесса -- коэффициентом отлаженности учебного процесса (КОУП). Расчеты показывают, что если значение КОУП больше 0,94, то процесс можно считать «отлично отлаженным», если КОУП от 0,84 до 0,94 -- «хорошо отлаженным», если КОУП от 0,69 до 0,84 -- «почти отлаженным», если менее 0,69 -- «не отлаженным».
Для общей оценки учебного процесса можно перемножить среднее значение СОУ по предмету за год на КОУП. Полученную величину можно трактовать как фактор качества учебного процесса (ФКУП). Этот фактор имеет большее число градаций, чем СОУ и КОУП. «Отличному» качеству соответствует ФКУП больше 0,71, «очень хорошему» от 0,64 до 0,71, «хорошему» от 0,41 до 0,64, «удовлетворительному» от 0,17 до 0,41 и «неудовлетворительному» менее 0,17.
Описанная методика реализована в виде электронной таблицы. Для примера проанализируем учебный процесс по информатике и информационным технологиям в 8 классе. По программе это первый класс, когда начинается систематическое изучение информационных технологий. Кроме того, следует учитывать, что учащиеся переходят от одного учителя к другому и уровень требовательности к ним существенно повышается. В течение учебного года, учащиеся должны выполнить 9 заданий на оценку, при чем первые 4 задания по работе с операционной средой Windows, а остальные 5 по работе с текстовым процессором Word. В таблице представлены результаты для 8 Б класса, который по уровню обученности оказался средним среди 3-х классов в параллели [16].
2.1.8 Модель адаптивного тестового контроляПроцедура тестирования предполагает анализ ответов на последовательность тестовых заданий определенной сложности. Проведем аналогию с поведением поискового алгоритма оптимизации для некоторой гипотетической функция Y, максимум которой необходимо найти. В задачах оценивания по тестированию -- это максимум функции уровня знаний.
Реализация поискового алгоритма сводится к последовательному анализу локальной окрестности функционала Y, оценки градиента и выбора очередной области исследования. Если при оценке градиента имеют место помехи, то нельзя говорить о сходимости алгоритма. В обычном смысле он сходится вообще не будет, а будет “блуждать” вокруг области экстремума.
Аналогично можно поступить в случае тестового контроля. Если ответ правильный, то предполагается, что уровень подготовки студента выше сложности предъявленной задачи и он способен решать задачи заданной сложности, в противном случае -- неспособен. Это подобно оценке градиента некоторой гипотетической функции регрессии, в которой градиент сам является случайной величиной.
Предлагается использовать следующий подход. Считаем, что если тестируемый решил задание, то у него появляется желание решить более сложное задание. Если нет -- то им будет сделана еще одна попытка решения задания той же сложности. Если оно также не решено, то предъявляется задача пониженной сложности. Если сразу не решено менее сложное задание, то к решению предлагается задача меньшей сложности . Аналогично происходит процесс повышения сложности заданий. В результате, если исключить этап обучения при решении задач, студент выберет для себя определенный уровень сложности, вокруг которого и будет размываться сложность заданий.
Таким образом, функция «уровня знаний» является преобразованием функции «сложности» задачи через «способность решения задач» определенной «сложности». В этом высказывании термины «уровень знаний», «способность решения задач» и «сложности» носят нечеткий характер. Поэтому для формализации этих понятий целесообразно использование аппарата нечетких множеств. Кроме того, в указанной постановке заметна разница между «сложностью» и «способностью решения задач».
Понятия «сложность» и «уровень знаний» -- это некоторые нечеткие переменные (только переменные, хотя они и задаются функцией), в то время как «способность решения задач» является нечетким отношением нечетких переменных «сложности» и «уровня знаний». Количество баллов также является переменной, однако эта переменная может не анализироваться, поскольку является преобразованием «уровня знаний».
При моделировании ответов в настоящее время наиболее развит анализ IRT теории, которая использует для моделирования вероятностей правильных ответов логистическую кривую. Проведен сравнительный анализ логистического и нормального распределений. Показано, что рассматривая логистическое распределение очень хорошо аппроксимируется нормальным. В свою очередь нормальный закон является предельным случаем биномиального распределения. Этот факт можно формально интерпретировать так, что «уровень знаний» является долей решенных задач, так как число решенных из общего числа задач при заданной вероятности решения подчинено биномиальному распределению.
Далее предполагается, что сложность задания задана некоторым числовым значением, и в результате выполнена формализация процесса тестирования в виде марковской цепи, в которой вероятности переходов по сложностям определяются на основании логистической кривой. Предполагается, что ответы на задания -- независимые величины. Поэтому используется однородная марковская цепь, где состояниями цепи являются меры сложности заданий. Показано, что для построенной цепи существует единственное, не зависящее от начального состояния, стационарное распределение. Найдено аналитическое решение стационарных вероятностей.
Увеличивая дискретизацию сложности, т.е. увеличивая количество состояний марковской цепи показана сходимость к непрерывному распределению. Найдено предельное распределение, которое используется для визуализации преобразований «сложности» в «знание». На практике наиболее естественны случаи, когда оценки имеют постоянную дисперсию или постоянный коэффициент вариации. Постоянный коэффициент вариации объясняется увеличением неопределенности при возрастании «уровня знаний». Постоянная дисперсия может использоваться, когда изменение уровня знаний невелико. Для постоянной дисперсии показано, что преобразование носит экспоненциальный характер. Экспоненциальная функция монотонная и большим значениям функции «уровень знаний» соответствуют большие значения плотности распределения «сложности» решаемой задачи. Соответственно максимум плотности приходится на максимум целевой функции. Для постоянного коэффициента вариации (g) показано, что преобразование описывается степенной функцией, а при g=1 функция плотности вероятности с точностью до постоянного множителя на всей области определения совпадает со средним значением функционала. Таким образом, если есть мера «сложности» задания, то определена и мера «уровня знаний» и она совпадает с плотностью распределения адаптивного алгоритма тестирования.
Если предположить существование функционала «знаний» Y, то стационарные вероятности марковской цепи являются монотонным преобразованием Y. Однако Y неизвестен и этот функционал можно подменить стационарными вероятностями. Такая замена основывается на том, что в поисковом алгоритме при оценки градиента по оценке значений функционала, стационарные вероятности полностью повторяют функционал [17].
2.1.9 Концептуальная модель адаптивного тестового контроля знанийБыла предложена концептуальная модель, состоящая из следующих блоков.
2.1.9.1 Блок целей обученияЦели обучения определяют успешность процесса обучения. Поэтому их содержание, конкретная формулировка являются важнейшим шагом в технологическом конструировании учебного процесса. Цели образовательной системы в целом определяются законом об образовании. Цели данного учебного заведения определяются Уставом этого учреждения. При формировании целей обучения в рамках учебного предмета основная задача учителя заключается в следующем: по каждому разделу и теме учебной программы он должен определить степень успешности освоения учеником требуемых знаний, умений, и навыков, учесть проявляемое отношение к предмету и на основании этого определить комплекс учебных целей.
2.1.9.2 Блок содержанияВ соответствии с концепцией адаптивного тестового контроля было рассмотрено содержание непрерывного курса информатики с 1 по 11 кл. и структурировано на модули. Обучающий цикл должен обеспечивать последовательную ориентацию обучения на намеченные цели. Благодаря такому строению учебный процесс приобретает “модульный” характер. В гуманитарно-естественном лицее N41 г. Ижевска разработана учебная программа по предмету “Основы информатики и вычислительной техники” (ОИВТ), построенная на модульном принципе, который позволяет в максимальной степени учесть быстро меняющееся содержание, дифференциацию учебных классов и учащихся.
Созданная модель содержания курса информатики и представленная в виде образовательных модулей позволяет разработать план теста и его спецификацию по каждому модулю курса с учетом требований образовательного стандарта по школьному курсу информатики. Для оценки изучаемого объема знаний предлагается составить тезаурус -толковый тематический словарь понятий.
Для контроля знаний учащихся методистами ИУУ и учителями информатики в роли экспертов проводился анализ и экспертиза качества созданных в лицее педагогических тестов по анкетной форме согласно разработанной инструкции.
Были определены основные проблемы при конструировании и применении адаптированных тестовых измерителей: модульный принцип структурирования содержания курса информатики, создание плана и спецификации тестов с выделением структурных единиц в виде “учебных единиц”, повышение содержательной валидности тестовых заданий, надежности результатов тестирования учащихся, предварительная диагностическая оценка уровня обученности и тестирование с применением адаптивных тестов для индивидуального точного определения уровня обученности.
2.1.9.3 Блок измерения1) Таксономическая модель адаптивного контроля знаний определяет таксономию учебных целей в когнитивной области. Один из подходов к описанию целей обучения состоит в указании уровней, ступеней, которых достигает ученик по мере овладения знаниями. Выделяются шесть иерархических ступеней по B.S.Bloom: узнавание, понимание, применение, анализ, синтез, оценка. Формулирование целей обучения можно производить с помощью системы требований к качеству знаний. К двум наиболее известным в мировой литературе классификациям знаний и способностей B.S.Bloom и R.M.Gagne. B.C.Аванесов добавляет свой перечень видов знаний, которые сформулированы исключительно для решения задач педагогического измерения. Объективные и адекватные измерителя успешности обучения - тесты, задачи, упражнения, контрольные задания, контрольные работы, компьютерное моделирование - могут быть использованы на всех уровнях иерархии учебных целей.
Самый распространенный способ описания целей обучения состоит в указании качеств знаний, которыми должны обладать учащиеся в результате обучения. Такой подход обоснован в трудах известных советских дидактов: М.И.Зарецкого, И.Я.Лерненра, И.Т.Огородникова, Е.И.Перовского, М.Н.Скаткина. Руководством к выбору целей обучения является раскрытие содержания качеств знания. Полнота знаний определяется количеством знаний об изучаемом объекте, входящих в школьную программу, глубина - совокупностью осознанных знаний об объекте. Полнота и глубина знаний - связанные, но не тождественные качества. Полнота допускает изолированность знаний друг от друга, глубина же, напротив, предполагает наличие осознанных существенных связей, в разной степени опосредованных.
2) Математическая модель адаптивного контроля знаний определяет уровень обученности учащихся в зависимости от трудности заданий. Теоретической основой адаптивного контроля является теория IRT в сочетании с дидактическим принципом индивидуализации обучения. Целям дифференциации обучаемых служит построение индивидуальных кривых испытуемых по двухпараметрической модели A.Bimbaum.
В рамках классической теории тестов уровень знаний испытуемых оценивается с помощью их индивидуальных баллов, преобразованных в те или иные производные показатели. Это позволяет определить относительное положение каждого испытуемого в нормативной выборке.
Другой подход к созданию педагогических тестов и к интерпретации результатов их выполнения представлен в так называемой современной теории педагогических измерений Item Response Theory (IRT), получившей широкое развитие в 60-е - 80-е годы в ряде западных стран. К исследованиям последних лет в этом направлении относятся труды B.C.Аванесова, В.П.Беспалько, Л.В.Макаровой, В.И.Михеева, Б.У.Родионова, А.О.Татура, В.С.Черепанова, Д.В.Люсина, М.Б.Челышковой, Т.Н.Родыгиной. Е.Н.Лебедевой и др.
К наиболее значимым преимуществам IRT относят измерение значений параметров испытуемых и заданий теста в одной и той же шкале, что позволяет соотнести уровень знаний любого испытуемого с мерой трудности каждого задания теста. Именно на этом свойстве оценок параметров испытуемых и заданий основана организация современного адаптивного контроля знаний. Критики тестов интуитивно осознавали невозможность точного измерения знаний испытуемых различного уровня подготовки с помощью одного и того же теста. Это одна из причин того. что в практике стремились обычно создавать тесты, рассчитанные на измерение знаний испытуемых самого многочисленного, среднего уровня подготовленности. Естественно, что при такой ориентации теста знания у сильных и слабых испытуемых измерялись с меньшей точностью.
3) Автоматизированный контроль знаний с применением компьютера и обработка результатов тестирования на ЭВМ для определения параметров качества тестирования.
2.1.9.4 Блок адаптивного обучения1) Модели обучения.
Информационные технологии оказывают решающее влияние на все этапы процесса обучения: от предоставления учащимся знаний, умений и навыков до контроля их усвоения, при этом обеспечиваются такие важнейшие характеристики обучения, как качество, избирательность материала, учет индивидуальности, постоянный контроль и самоконтроль усвояемости материала, высокий эффект использования ресурсов учителей. Конгресс Юнеско подтвердил это положение и предложил рассмотреть различные модели использования информационных технологий в компьютерных приложениях и способы организации работы учащихся такие, как классно-урочная модель, проектная и индивидуальная.
2) Педагогические технологии.
Технологический подход к учебному процессу гарантирует достижение поставленных целей обучения. Оперативная обратная связь которая пронизывает весь учебный процесс, является основой последовательной ориентации обучения на цели. Таким образом, отличительными особенностями технологического конструирования учебного процесса являются:
* конкретизация целей обучения в когнитивной области, разработка учебных единиц как эталонов усвоения учебного материала всеми учениками в классе;
* создание системы проверочных работ (диагностических тестов, адаптивных тестов);
* выбор быстрых способов проверки тестов (компьютерные программы);
* подготовка специальных методов корректирующей методики (краткие конкретные тексты, содержащие необходимые теоретические сведения, тренажеры);
* дополнительные задания, повторные тесты.
Весь учебный процесс пронизан возможностями адаптации к индивидуальным особенностям обучающихся в условиях коллективного обучения. Переход к развивающему обучению без адаптации к индивидуальным особенностям учащихся практически невозможен. Именно во время индивидуального контакта учителя с учеником важно иметь инструмент для контрольного тестирования уровней обученности. Контроль проводится учителем и не влияет на оценку, он позволяет увидеть состояние обученности каждого и внести соответствующие коррекции в учебный процесс.
Важно знать заучил, усвоил ли ученик базовый минимум. Остальной материал прорабатывается с ориентацией на непроизвольное запоминание, расширяющее возможности каждого ученика, занятого активной творческой деятельностью[2].
Исходный тест по предложенному модулю, оцененный экспертами, предназначен для предварительного тестирования групп учащихся с целью приближенного определения уровня обученности группы по соответствующему модулю курса. Обработка результатов тестирования была проведена по IRT, определялась групповая адаптивность, на соответствие среднего догита трудности заданий теста Вср. и среднего логита обученности испытуемых Qcp. по выражению:
Агр=1- [Qcp. - Вер.]
Групповая адаптивность Агр.=1 при идеальном соответствии Вер. и Qcp. Результаты предварительного тестирования группы учащихся имеют значения Агр. далеко не равными единице, поэтому следующим шагом является изменение значения групповой адаптивности путем исключения из теста “неработающих” заданий в этой группе тестируемых с Bj“0 и определение уровня обученноети каждого испытуемого, а также получения в этом случае индивидуальных характеристических кривых испытуемых. В дальнейшем определяется истинный балл как сумма всех вероятностей ответов каждого испытуемого на каждое задание теста и оценивается уровень знаний.
