- вопросы (задания) должны предъявляться по одному и в
случайном порядке (во избежание запоминания правильных ответов по их привычному расположению в списке вопросов, или их логического «вычисления» посредством сопоставления ответов при использовании печатного бланка). Эти условия легко выполнить при компьютерном тестировании. Для соблюдения указанных условий при использовании ручного тестирования формулировки инструкций и вопросов, их порядок в списке, организация материала в бланках для фиксирования ответов должны отрабатываться с помощью экспертной оценки и не допускать
произвольного изменения в практике тестирования.
4. Шкалы общих оценок:
4.1. Принимается единая базовая шкала оценок, построенная как вычисление процентной доли усвоенного по отношению к числу всех единиц содержания курса (или вопросов-заданий) теста:
________________________________________________________________________
Оценка Значение Процент Средний балл (варианты)
A + замечательно 100 5 5 5 отлично
A отлично 95 - 99 4,75 5 5 отличноA - почти отлично 90 - 94 4,5 4 4 очень хорошо
B + очень хорошо 85 - 89 4,25 4 4 хорошо
B хорошо 80 - 84 4,0 4 3 уд-но, (выше ср.)
B - почти хорошо 75 - 79 3,75 3 3 уд-но (средне)
C + вполне удов-но 70 - 74 3,5 3 3 удовлетв-но
C удовлетворительно 65 - 69 3,25 3 0 неуд-но (провал)
C - почти удов-но 60 - 64 3,0 0 0
F провал 59 - 0 0,0 0 0
P прошел NA NA
(финальный тест)
Эта шкала делает сопоставимыми все результаты, позволяет накапливать и интегрировать (промежуточный и итоговый контроль) оценки любых тестов и форм контроля, в том числе, - тестирование по частям и в разное время. Процентная шкала применяется при любом тестировании.
4.2. Единая процентная шкала дополняется для каждого конкретного критерия и теста собственной шкалой балльной оценки (0; 3; 4; 5 баллов). Шкала баллов применяется при оценке усвоения всего курса в целом (промежуточный и итоговый контроль). Она устанавливает соответствие между достигнутой процентной долей усвоения и ее оценкой в баллах (это необходимо для расчета показателей среднего балла, проходного балла, рейтинга, и т.д.).
4.3. При каждом частичном тестировании (текущий и рубежный контроль) обязательно указывается выделенная для него доля процентной шкалы (для пересчета текущего процента по теме или другой части курса в одну общую долю усвоения курса). Балльная оценка может применяться и в этом случае, однако она не фиксируется в банке данных Регистратора (то есть используется только в текущей работе по усмотрению преподавателя).
4.4. Оценка по тесту производится в три, четыре или пять шагов:
оценка правильности сделанного выбора ответа на каждый
вопрос теста;
- оценка усвоения каждой единицы тестирования (оценка
«усвоено» по курсу или его части фиксируется при зачете всех тестируемых единиц; оценка «не усвоено», - если не зачтена хотя бы одна единица). Применяется в тех случаях, когда курс может считаться усвоенным только при приемлемом уровне усвоения каждой единицы теста без исключения (пример: деятельность не может считаться освоенной, если не освоено хотя бы одно из составляющих ее действий). Соответственно, если не зачтена хотя бы одна единица, то по тесту выставляется оценка «0»;
- общая оценка как доля правильных ответов на все вопросы теста в процентах (для дифференциации оценки уровня усвоения);
- перевод процентной оценки в баллы;
- суммирование балльных оценок промежуточного и итогового контроля в форме подсчета их средне-арифметического значения (в том случае, когда курс выносится на выпускной экзамен или завершается выпускной работой по специальности).
5. Шкала для оценки усвоения отдельных единиц тестирования:
5.1. Если тест строится из двух или трех вопросов на каждую единицу тестирования (с пятью вариантами ответов), то она считается усвоенной при двух правильных ответах.
5.2. Если тест строится из четырех или пяти вопросов (заданий) на каждую единицу (с пятью вариантами ответов), - то она считается освоенной при трех правильных ответах.
5.3. Если тест конструируется иначе, то должна быть обеспечена вероятность случайного угадывания правильного ответа не более 0,05, а также - статистическое обоснование делений балльной шкалы оценок (различия процентной шкалы для оценок «3», «4» и «5» баллов должны быть не менее статистически значимых).
2.5. Обязательные этапы и процедуры при создании теста и обнаружении его неадекватности1. Формирование проекта - теоретической модели объекта тестирования и структуры теста: - формулировка цели и назначения теста; выделение единиц тестирования; принятие решения о построении шкалы для единиц тестирования; формулировка комплекса заданий (вопросов) и закрытых ответов (или интерпретации и оценке открытых ответов) по каждой единице тестирования и тесту в целом; подготовка инструкции о процедуре тестирования. Существенным здесь является требование избыточности на 30- 40 % количества вопросов-заданий по каждой единице тестирования по сравнению с заданным окончательным их числом для последующей отбраковки «плохих», непригодных формулировок;- экспертная оценка теоретической модели объекта тестирования (целей курса, обоснованности выделения единиц тестирования, валидности и точности тестовых заданий и закрытых ответов, шкал оценки), принятой организации и процедуры тестирования;- устранение замечаний, отсев и доработка формулировок и процедур.2. Пилотажное исследование валидности и точности теста, его
заданий и ответов:
- практическое проведение тестирования на достаточной по объему выборке обучающихся для получения статистически достоверных результатов;
- проведение тестирования в той же выборке на основе других способов тестирования (экспертная оценка усвоения каждой тестируемой единицы на основе индивидуального собеседования экспертов с каждым обучающимся; сравнительное тестирование посредством «расщепления» исходного теста; тестирование посредством другого, проверенного теста и т.п.);
- сопоставление результатов (выявление степени совпадения и
расхождения) тестирования по тесту в целом, отдельным единицам тестирования и вопросам-заданиям на основе статистической обработки и проверки гипотез (корреляция и т.д.);
- отсев «плохих» заданий (вопросов) и ответов (при замене заданий или изменении формулировок вся процедура тестирований и сопоставления результатов проводится заново), построение и обоснование оценочных шкал.
3. Исследование надежности теста:
- повторное тестирование той же выборки (тем же тестом с интервалом времени от 3 до 6 месяцев) и сопоставление результатов;
- повторное тестирование на другой выборке (другими людьми с
интервалом времени от 3 до 6 месяцев) и сопоставление результатов.
4. Принятие обязывающего решения компетентного органа о разрешении, порядке и границах применения созданного и проверенного теста, интерпретации и практического использования получаемых результатов тестирования.
В случаях статистически значимого расхождения в оценке результатов при внутреннем и внешнем тестировании одного и того же контингента обучающихся (по одному и тому же учебному курсу) необходима сравнительная экспертиза единиц тестирования, положенных в основу теста, а также материалов проверки применяемых тестов на валидность, точность и надежность. По каждому факту такого расхождения должно быть принято решение о запрете или ограничениях на применение теста, не отвечающего требованиям стандарта (вуза или министерства).
3. Качество процесса обучения.
Современное обучение понимается как эффективно организованный процесс самообучения студентов (учащихся), всесторонне обеспеченный необходимыми условиями и направляющей поддержкой и гарантирующий высокие индивидуальные результаты и личностный рост.
Традиционно учебный процесс строится так, что всегда фиксированы условия обучения (способ представления информации преподавателем один для всех учащихся; время, отводимое на ее понимание и усвоение, - тоже одинаково для всех, и т.д.), а единственной переменной величиной остается… результат обучения.
Современные технологии «полного усвоения знаний» и «разноуровнего образования» исходят из фиксированного результата: все обучающиеся свободно усваивают практически любой учебный материал, если организация материала, его представление и другие условия обучения оптимально изменяются в зависимости от конкретных особенностей восприятия, способностей и личных качеств каждого обучающегося (подстраиваются по обратной связи).
Для нашей задачи это предполагает переориентацию учебного процесса с информирования (фиксированный способ обучения) на обеспечение индивидуально гарантированного результата в каждом системном элементе учебной деятельности: внешние условия - учебный материал - учащийся - преподаватель - взаимодействие.
3.1. Главный фактор ориентации внешних условий на результат - это механизм внешнего давления в направлении заданных изменений и содействия им. В отношении обучающихся - это рамки кредитной системы организации обучения, с ее жесткими требованиями к самоорганизации и непрерывным мониторингом успеваемости в сочетании с полным информационно-методическим обеспечением и свободой в выборе учебного плана, преподавателей и траектории профессиональной подготовки.
В отношении преподавателя:
- это рамки той же кредитной организации, обязывающей его организовать, обеспечить информационно и методически аудиторную и внеаудиторную работу каждого учащегося по каждой единице учебной программы и междисциплинарным аспектам, в том числе повседневную и индивидуальную обратную связь (самоконтроль, текущий и рубежный контроль результатов обучения);
- это личный рейтинг преподавателя по итогам семестра и учебного года (средний балл обучавшихся у него студентов - по итогам независимого тестирования);
- это официальная оценка квалификации (квалификационный статус) преподавателя по результатам ежегодной аттестации, включающей: указанный выше средний балл; экспертную оценку качества информационно-методического комплекса по его учебным курсам; личный портфель достижений (научные исследования, методические разработки, повышение профессионального мастерства); оценка студентами квалификации преподавателя и качества преподавания по итогам обучения; относительное число студентов, записавшихся на обучение к данному преподавателю;
- это изменение положения об аттестации преподавателя, устанавливающее прямую зависимость заработной платы и официального статуса (ученые звания и др.) от личного рейтинга, квалификации (по результатам годовой аттестации) и наличия сертификата (свидетельства, удостоверения) о научно-педагогической подготовке (переподготовке);
- это предоставление практических возможностей получения научно-педагогической подготовки на профессиональном уровне, соответствующей переподготовки и повышения квалификации (психолого-педагогические основы и практические навыки ускоренного, развивающего и междисциплинарного обучения; современные методики интерактивного, индивидуального и группового обучения; методология научного исследования, организация и руководство НИРС).
3.2. Для ориентации на результат учебного материала главным фактором является жесткий отбор, структурирование и организация преподавателем всех материалов и деятельности обучающихся по их освоению в расчете на минимум подготовленности и способности к самостоятельному обучению. В частности:
- Четкое выделение единиц содержания, максимально сжатое изложение курса (на руки выдается максимально краткий конспект без подробностей и пояснений) - ядро курса для программированного освоения.
- Пошаговое усложнение структуры знания и осваиваемых видов деятельности (каждое дробление - не более 3-5 единиц).
- Освоение содержания малыми смысловыми блоками простой структуры до хорошего результата и с постоянной самопроверкой; после этого - переход к освоению следующего блока, и т.д.
- Отработка на аудиторных занятиях и перенос на самостоятельную работу алгоритма по усвоению материала и самоконтролю, выработка индивидуального стиля успешного самообучения. Мы выделяем три уровня (этапа) в формировании такого стиля: программированное обучение - учебный материал и процесс его усвоения полностью организуется преподавателем (кратко описано выше); программированное самообучение - учащийся самостоятельно и в группе организует усвоение (по заданному алгоритму) материала, структурированного и организованного преподавателем для целей обучения; свободное самообучение - самостоятельное усвоение учащимся информации из любого источника.
- Формирование алгоритма самоуправления оптимальным рабочим состоянием и быстрым восстановлением работоспособности (настройка и поддержание).
При этом преподаватель постоянно, в каждом действии нацелен на результат, эффективное взаимодействие и стимулирование учащихся к самообучению: «Как представить учащимся новую единицу содержания курса, как организовать для ее усвоения аудиторную и самостоятельную работу каждого учащегося с учетом его личных возможностей и ограничений, как поддержать их мотивацию, как направлять и наиболее эффективно организовать их индивидуальную и групповую работу, коллективное взаимообучение и самоконтроль?»
В итоге к тестированию все учащиеся в группе подходят на 100 % усвоив материал, многократно проверив себя и убедившись в этом. Поэтому официальный тест уже является не стрессовым фактором, а способом официального признания и фиксирования успеха, стимулирующим, мотивирующим дальнейшую работу.
3.3. Для ориентации на результат самого обучающегося главными факторами, определяющими степень его готовности к успешному самообучению, являются: умение работать с информацией (навыки теоретической работы); личностный рост (степень зрелости); значимые пробелы в предшествующем обучении.Умение работать с информацией понимается здесь как наличие следующих видов освоенной деятельности: быстро и продуктивно читать (500 - 1000 слов в минуту); осмысливать, запоминать и вести структурированные записи при чтении и слушании учебного материала; грамотно, последовательно и обоснованно строить устную и письменную речь.
Личностная зрелость означает: осознанный выбор профессии в соответствии с жизненными целями и ценностями, принятие ответственности за свое образование и профессиональную подготовку как средство личной самореализации; наличие эффективной стратегии достижения жизненных целей; объективное понимание себя и других людей, умение и готовность взаимодействовать с ними на основе сотрудничества.
Термин значимые пробелы в предшествовавшем обучении означает конкретные знания, умения и навыки, низкий уровень освоения которых делает затруднительным или вообще невозможным обучение в вузе или колледже (например, отсутствие элементарных навыков теоретической работы и низкий уровень общего развития) или продолжение обучения по какому-то учебному курсу (например, не освоенный в средней школе курс казахского или английского языка, делает невозможным освоение соответствующего вузовского курса, если он построен как продолжающий).
Необходимость практического учета указанных факторов предполагает обязательный входной контроль - тестирование по пререквизитам учебных программ до или сразу после приема на первый курс обучения, а также организацию соответствующего предварительного обучения (в общеобразовательной школе, на подготовительных курсах, в период летнего семестра перед началом учебы в вузе и колледже или же в первом семестре).
Создание теста для текущего или рубежного контроля(примерный образец начальной работы)Спецификация теста по учебному курсу «Личностный рост»1. Название теста: «Распознавание основных свойств личности»2. Общая цель создания: инструмент самоконтроля, промежуточного и рубежного контроля по модулю «Понимание себя и других людей».3. Задачи, решаемые тестом: выявить степень освоения признаков проявления основных свойств личности (модель Ю-А) на соответствие нормативному уровню; дать обучающимся возможность самопроверки.4. Содержание теста: 56 заданий, равномерно охватывающих признаки распознавания в реальном поведении восьми базовых свойств личности по изучаемой модели (семь заданий на каждое свойство).5. Время тестирования: 60 минут.6. Вид тестирования: сплошное тестирование с раздельной оценкой (достижение нормативного уровня усвоения признаков распознавания каждого свойства и общая оценка по тесту).7. Способы и шкалы оценки: каждое свойство считается освоенным при наличии трех и более правильных ответов из семи возможных (вероятность случайного угадывания - 0,049); если хотя бы по одному свойству число правильных ответов ниже указанного уровня, то по тесту в целом выставляется оценка ноль баллов; если все восемь свойств освоены, то общий балл по тесту вычисляется как процентная доля всех правильных ответов в общем числе заданий.8. Уровень трудности заданий: задания считаются однородными, задача дифференциации заданий по трудности не ставилась, поскольку отрабатывается минимально необходимый и обязательный уровень усвоения (а не определение рейтинга обучающихся, который требует их упорядочения по индивидуальному уровню достижений, характерного для тестов по итогам обучения).9. Результаты исследования обоснованности теста: тест находится в начале отработки и применялся на выборке из 68 обучающихся, экспертиза и статистическое обоснование не проводилось.Первый этап работы
