1. Перед проведением контрольной работы необходимо определить объект контроля, цель предстоящей работы и средства контроля. Они должны быть сообщены учащимся;
2. В зависимости от вида заданий нужно продумать, каким образом ученик должен их оформить;
3. Учитель должен продумать что он отнесет к недочетам, а что к ошибкам, из этого будет складываться оценка. Критерии оценки хотя бы в общих чертах должны быть известны учащимся;
4. Контрольная работа должна быть посильной для всех учащихся без исключения. Сильным ученикам нужно дать задания труднее;
5. Каждой контрольной работе должна предшествовать самостоятельная работа с аналогичными упражнениями;
6. Анализ контрольной работы необходимо проводить сразу, для этого необходимо завершать работу за несколько минут до окончания. Желательно фрагменты решения разобрать сразу после написания работы, потому что на следующий день или позже учащиеся уже теряют интерес к содержанию работы и многие интересуются только оценкой;
7. Обязательно нужно проводить количественный и качественный анализ контрольной работы.
1.3.2 Машинные средства проверкиДля контроля знаний учащихся используют персональный компьютер. Для контроля знаний учащихся удобно применять типовые расчеты, которые включают наиболее характерные задания базового курса [3].В дальнейшем будем говорить о машинных средствах контроля знаний, и, в частности, о тестировании с применением средств вычислительной техники.1.4 Компьютерное тестированиеИдея компьютерного тестирования напрямую проистекает от идеи программированного контроля знаний. Программированный контроль знаний, в свою очередь, явился неизбежной реакцией на некоторые проблемы прежде всего высшего образования в России. Собственно, примерно те же проблемы распространяются и на школьное образование, но последнее, в силу традиционной косности, очень слабо восприимчиво к новым технологиям.
Основной проблемой любого образования (и не только российского, кстати), является отсутствие четкого контроля за качеством усвоения материала. Причем если в школьной практике учитель еще более-менее имеет возможность с определенной периодичностью проверять уровень текущих знаний ученика, то в ВУЗе преподаватель целый семестр выдает материал и лишь в конце семестра убеждается в уровне его усвоения. Само собой, в системе высшего образования подразумевается, что студенты должны в достаточной степени заниматься и самостоятельным образованием, однако, это предполагаемое самостоятельное получение знаний остается целиком и полностью на совести студента, и преподаватель абсолютно не может знать, кто именно из студентов хоть что-то делает самостоятельно. С получением большим числом обучаемых доступа в Internet положение усугубилось еще и тем, что теперь даже сдача рефератов не подразумевает абсолютно никакой работы с информацией; частенько студенты даже не считают нужным целиком прочесть то, что распечатывают из Сети [4].
Необходимость систематического контроля за усвоением материала сомнений не вызывает. Прежде всего это давало бы экономию времени преподавателя, который при отсутствии обратной связи вынужден или повторять положения, которые студентами давно усвоены, или излагать положения, основанные на фактах, плохо усвоенных студентами. Во вторую очередь, систематический контроль за уровнем знаний учащихся стимулирует повышение качества обучения за счет усиления акцента на трудных для усвоения положениях и повышения ответственности обучаемых за результаты самостоятельной работы (в случае, естественно, когда преподаватель в этом заинтересован).
Важным моментом систематического программированного контроля знаний является его объективность, что обусловлено переносом акцента с карательной функции на информативную. Только в таком случае учащийся не будет бояться контроля и изобретать способы получения повышенной оценки, и только в таком случае преподаватель будет получать реальную картину знаний учащегося.
Технически программированный контроль знаний прост - учащимся выдается некий бумажный носитель (расцвет программированного контроля вызвал к жизни релейно-ламповых "электронных" монстров, которые по сей день можно видеть на экзаменах по сдаче на водительские права), на котором записаны вопросы и варианты ответов, один (или несколько) из которых являются правильными. Учащемуся остается лишь расставить крестики против правильных ответов.
Подобная технология позволила совершить качественный скачок в осуществлении обратной связи между преподавателем и студентом. Программированный контроль, состоящий из 8-10 вопросов, проводится за очень короткий срок - от 5 до 10 минут, и при этом преподаватель может получить полноценную информацию об усвоении пройденного материала всей учебной группой одновременно. Кроме того, техническая реализация программированного контроля позволила полностью избежать списывания, давая возможность предложить каждому учащемуся свой вариант программированной карты.
Недостатком программированного контроля в его до-компьютерном виде являлась высокая трудоемкость создания программированных карт, которые (в идеале) требовались на каждое занятие, и сложность их последующей обработки. С появлением компьютерных технологий у преподавателей появилась возможность резко снизить трудоемкость и подготовки контроля, и обработки результатов.
Выделяют пять общих требований к тестам:
· валидность;
· определенность (общепонятность);
· простота;
· однозначность;
· надежность.
Валидность теста - это адекватность. Различают содержательную и функциональную валидность: первая - это соответствие теста содержанию контролируемого учебного материала, вторая - соответствие теста оцениваемому уровню деятельности.
Выполнение требования определенности (общедоступности) теста необходимо не только для понимания каждым учеником того, что он должен выполнить, но и для исключения правильных ответов, отличающихся от эталона.
Требование простоты теста означает, что тест должен иметь одно задание одного уровня, т.е. не должен быть комплексным и состоять из нескольких заданий разного уровня. Необходимо отличать понятие “комплексный тест” от понятия “трудный тест”. Трудность теста принято характеризовать числом операций P, которое надо выполнить в тесте: P < 3 - первая группа трудности; P = 3-10 - вторая группа трудности. Не следует также смешивать понятия простоты-комплексности и легкости-трудности с понятием сложности.
Однозначность определяют как одинаковость оценки качества выполнения теста разными экспертами. Для выполнения этого требования тест должен иметь эталон. Для измерения степени правильности используют коэффициент K = P1 / P2 , где P1 - количество правильно выполненных существенных операций в тесте или батарее тестов; P1 - общее количество существенных операций в тесте или батарее тестов. Существенными считают те операции в тесте, которые выполняются на проверяемом уровне усвоения. Операции, принадлежащие к более низкому уровню в число существенных не входят. При K 0.7 считают, что деятельность на данном уровне усвоена.
Понятие надежности тестирования определяют как вероятность правильного измерения величины K. Количественный показатель надежности r [0, 1]. Требование надежности заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого. Надежность теста или батареи тестов растет с увеличением количества существенных операций P [5].
Итак, при реализации систем компьютерного тестирования необходимо, на мой взгляд, придерживаться именно этих пяти требований к создаваемым тестам. Но проблема компьютерного тестирования стоит намного острее. Реализация в системах тестирования описанных выше пяти требования к тестам не означает того, что созданный комплекс будет отвечать всем требованиям преподавателя и учащегося.
Большинство программных продуктов не дают возможности преподавателю и студенту, учителю и ученику отойти в реальном учебном процессе от традиционных методик: лекционного курса, конспекта, очного контроля знаний, контрольных работ, зачетов, экзаменов. Недостаток этот можно определить следующим: компьютерный курс является авторским по определению, и поэтому обеспечивает высокое качество образования только при соответствующем сопровождении автором (который, в большинстве случаев, не обладает достаточными знаниями в области информационных технологий). Хотя отдельные компоненты компьютерного обучающего, контролирующего или обучающе - контролирующего курса могут использоваться как независимые учебные модули другими преподавателями (а также и при самостоятельном освоении темы ), максимальный эффект, скорее всего, может быть достигнут только во взаимодействии с автором- разработчиком курса.
Если же в образовательный процесс, основанный на авторском мультимедиа курсе, включается другой преподаватель, возникает опасность конфликта личностей, так как на едином образовательном поле сталкиваются не только различные способы методической организации учебного процесса, но и разные личностные подходы.
Что касается проверки качества знаний, неформальный характер процесса оценивания знаний требует применения трудно поддающихся обработке преподавателем компьютерных тестов, необходима активная обратная связь, помогающая оценить правильность усвоения материала, должна быть четко выражена определенность и результативность [6].
Именно неформальность знаний как таковых, и процесса проверки знаний в частности, породило множество проблем в области компьютерного тестирования, таких как необъективность оценивания, трудность понимания учащимися подготовленных вопросов, медленная работа компьютерных систем, и т.п.
На мой взгляд, инженерия знаний и методы теории искусственного интеллекта помогут создать систему контроля знаний, позволяющую строить модели знаний преподавателя и тестируемого и объективно оценивать знания и умения последнего.
2. Интеллектуальное тестированиеВ понятие «искусственный интеллект» вкладывается различный смысл -- от признания интеллекта у ЭВМ, решающих логические или даже любые вычислительные задачи, до отнесения к интеллектуальным лишь тех систем, которые решают весь комплекс задач, осуществляемых человеком, или еще более широкую их совокупность. Можно выделить две основные линии работ по искусственному интеллекту (ИИ). Первая связана с совершенствованием самих машин, с повышением "интеллектуальности" ис-кусственных систем. Вторая связана с задачей оптимизации совместной работы "искусственного интеллекта" и собственно интеллектуальных возможностей человека.
Идея создания мыслящих машин "человеческого типа", которые, каза-лось бы, думают, двигаются, слышат, говорят, и вообще ведут себя как живые люди, уходит корнями в глубокое прошлое. Еще древние египтяне и римляне испытывали благоговейный ужас перед культовыми статуями, кото-рые жестикулировали и изрекали пророчества (разумеется, не без помощи жрецов). В средние века и даже позднее ходили слухи о том, что у кого-то из мудрецов есть гомункулы (маленькие искусственные человечки) - настоящие живые, спо-собные чувствовать существа [2]. В настоящее время роботы, системы распознавания образов, экспертные системы и т.д. вызывают у непосвященного тот же трепет и восторг перед «думающей» машиной.
Но не зря в свое время были заморожены некоторые исследования в области ИИ. Попытки создать машинный разум не удавались, и раз за разом энтузиазм ученых угасал, так как существующие на тот момент вычислительные средства не позволяли хотя бы приблизительно воссоздать взаимодействие нейронов головного мозга. Появление многопроцессорных систем и увеличение количества команд микропроцессоров и его тактовой частоты позволяет сейчас, на мой взгляд, «построить» приближенное мышление человека с использованием параллельных процессов и нейронных сетей.
Обращаясь к проблеме роли ИИ в обучении и образовании, будем рассматри-вает этот процесс как одну из разновидностей взаимодействия человека с ЭВМ, и раскрывать среди перспективных возможностей те, которые направлены на создание так называемых адаптивных обучающихся систем, имити-рующих оперативный диалог учащегося и преподавателя-человека.
2.1 Методы и моделиИнтеллектуальное тестирование предполагает наличие модели знаний, модели самого процесса тестирования и оценивания. Так можно охарактеризовать в общем все разработки в этой области. Рассмотрим некоторые из них более подробно.
2.1.1 Модели распознавания образа уровня знанийТрадиционная Российская система оценивания знаний обучаемых основана на лингвистических оценках, по которым устанавливается стипендия, производится учет успеваемости, проставляются записи в зачетных книжках за период обучения и др.
Вместе с тем, такая новая образовательная процедура как образовательное тестирование по альтернативному признаку предполагает оценивание уровня знаний в диапазоне от нуля до ста, что порождает проблему распознавания лингвистического образа знаний по результатам такого образовательного тестирования.
Под образом уровня знаний понимаются обучаемые, принадлежащие к множеству (группе), знания которых по “эталону уровня знаний” отнесены к лингвистическим оценкам неудовлетворительно (D), удовлетворительно (C), хорошо (B), отлично (A).
Под распознаванием образа уровня знаний понимается процедура принятия решения о принадлежности конкретного обучаемого к одному из указанных образов на основании сравнения его образовательных достижений при тестировании с характеристиками образа.
При тестировании по альтернативному признаку используется закрытая форма теста, характеристиками которой являются: функция плотности распределения неправильных ответов f(d), приемлемый уровень неправильных ответов q0, неприемлемый уровень неправильных ответов q1, риск заниженной оценки знаний a, риск завышенной оценки знаний b, функция оценивания знаний f(Q), объем образовательной информации N, объем выборки заданий теста n и критерий принятия решений в виде предельного числа неправильных ответов K.
Перечисленные характеристики являются взаимозависимыми, но не обладающими достаточным свойством четкости. В условиях их нечеткости для распознавания образа уровня знаний обучаемых вполне допустимо для нормально реализованной образовательной услуги принять модель распределения неправильных ответов по закону редких случайных событий Пуассона и функцию оценивания уровня знаний сформировать по этому же закону [8].
Поскольку образовательная информация в банке заданий теста N в их выборке n представляется как статистическая совокупность, а задания теста обучаемому в компьютерном варианте всегда для выполнения выдаются последовательно, то для распознавания образа уровня знаний возможно воспользоваться последовательным критерием Вальда. При этом примем дополнительное принципиальное условие, что задания теста однородны по количеству образовательной информации по конкретной учебной дисциплине, поскольку аналитических методов классификации заданий по мере их сложности или трудности пока не разработано.
Будем обозначать гипотезу о приемлемом уровне знаний H0, а гипотезу о неприемлемом уровне знаний H1. Пусть в результате последовательного поступления заданий теста в объеме n получены неправильные ответы d1, d2, d3…dn. При известной функции оценивания знаний по закону Пуассона последовательный критерий Вальда позволяет по выборке объемом n классифицировать обучаемых по уровню знаний на три подобраза по количеству областей принятия решений. Для того, чтобы иметь четыре образа необходимо произвести для каждой из трех областей повторное последовательное тестирование [7].
В предлагаемой процедуре рекомендуется использовать два способа распознавания образа уровня знаний: нормальный и усиленный. При этом задаются только четыре исходные характеристики теста q1, q0, a и b.
По нормальному способу по первой выборке заданий теста n1 производится классификация обучаемых на три предварительные области (уровни): низкая, нормальная и высокая. По второй выборке заданий теста n2=n1 или n2<n1 для уровня низкий ужесточаются исходные характеристики q0 и q1 и обучаемые аттестуются по трем образам D,C и B. Для нормального уровня ужесточаются характеристики a и b и обучаемые аттестуются по трем образам C,B и A. Для высокого уровня тестирование осуществляется без изменения исходным q0, q1, a и b и обучаемые аттестуются на два образа B и A. К достоинствам нормального способа относится то, что обучаемые по второй выборке могут существенно улучшить свои образовательные достижения, что отвечает требованиям закона «О защите прав потребителей продукции и услуг».
По усиленному способу по первой выборке обучаемые классифицируются только на два уровня: низкий и высокий. По второй выборке для низкого уровня ужесточаются характеристики q0 и q1 и обучаемые аттестуются только на два образа D и C. По второй выборке для высокого уровня ужесточаются характеристики a и b и обучаемые аттестуются только на два образа B и A. Достоинством усиленного способа является более уверенное распознавание образа уровня знаний и поэтому его рекомендуется использовать в тех случаях, когда снижено доверие к реализуемой образовательной услуге.
Существенным отличием предлагаемых методов распознавания образа уровня знаний при тестировании от известных является заранее заданная погрешность распознавания, заложенная в рисках принятия решений a и b, использование наиболее мощного критерия Вальда и достаточно простые и апробированные в статистическом приемочном контроле способы ужесточения планов тестирования, что позволяет использовать для решения практических задач распознавания образа уровня знаний международный стандарт ИСО 8423-91 «Статистические методы. Последовательные планы выборочного контроля по альтернативному признаку». Это способствует повышению достоверности компьютерного тестирования, что позволяет использовать предложенные теоретические разработки для обоснования методов оценивания знаний в предлагаемом едином экзамене довузовского образования, в процессе реформирования Российской системы образования [7].
2.1.2 Предметно - критериальная методика составления тестовВ каждом курсе есть ключевые моменты, особенно важные темы, без знания которых невозможно усвоение более сложного материала в процессе учебы или которые будут необходимы в работе по специальности. На устном экзамене при личном контакте со студентом преподаватель обязательно оценивает понимание студентом этих тем. При автоматизированном тестировании можно учесть важность каких-либо разделов курса, увеличив долю вопросов по этим разделам в общем количестве вопросов. Но это не всегда удобно для составителя теста, потому что не всегда наиболее важные разделы содержат больше всего материала.
