Проблемы адаптивного тестирования и адаптации тестов к национальным и личностным особенностям тестируемых

Проблемы адаптивного тестирования и адаптации тестов к национальным

и личностным особенностям тестируемых

Румянцева Н.М.

При формирования мирового образования (образование пере-стает быть внутренним делом отдельной страны) необходимо вырабо-тать единые стратегии в оценке качества образовательных услуг. Сис-тема оценивания знаний и умений, имеющаяся в каждой стране, уже не является статичной, замкнутой в себе самой. Однако реформирова-ние системы образования невозможно без реформирования системы оценивания, контроля качества образования.

Важное значение в настоящее время приобретает культура оценки и оценивания качества обучения. Оценивание - это процесс сбора и обработки действенной и надежной информации, которая позволяет участникам образовательного процесса принимать решения, необхо-димые для совершенствования работы и достижения лучших учебных результатов. Своеобразной базой данных для оценивания являются государст-венные стандарты, программы для преподавателя и для студента. Ме-ханизмами же контроля и оценки эффективности образовательного процесса становятся тесты.

Всем известно, что в настоящий момент в системе образования Рос-сии параллельно с традиционной системой оценки и контроля резуль-татов обучения сложилась новая парадигма - тестирование. Это вы-звано потребностью общества в получении независимой, объективной информации об учебных достижениях обучаемых.

Возросшие за последние десятилетия масштабы использования те-стов во многих странах мира привели к созданию компаний и служб, которые занимаются разработкой тестов, их распространением, орга-низацией массового тестирования, а также регулярным сбором ин-формации в целях мониторинга качества образования. Западные страны в настоящий момент значительно опережают российскую сис-тему тестирования по подготовке научных кадров, по уровню разви-тия теории тестовых методов, по технической и программно-вычис-лительной оснащенности процессов разработки, применения, обра-ботки и хранения тестовых заданий. Такая ситуация отставания противоречит тенденции достижения высокого качества отечествен-ного образования, хотя в последнее десятилетия наметились и пози-тивные изменения в этой области. К примеру, почти 10 лет функцио-нирует Российская государственная система тестирования по РКИ.

Стратегии и тактики совершенствования систем контроля. Уве-личение масштабов тестирования в образовании и разработка госу-дарственных образовательных стандартов порождают спектр проб-лем, условий и требований, которые нацелены на совершенствование систем контроля и оценки качества подготовки обучаемых, оценки са-мого процесса тестирования, повышения его эффективности путем адаптации в условиях немедленного реагирования на индивидуаль-ные особенности подготовки испытуемых.

Попытки привнести элементы адаптивности в процессы обучения и контроля насчитывают многолетнюю историю. В определенной сте-пени можно считать, что основные установочные идеи адаптивности берут свое начало в учении великого чешского педагога-мыслителя Яна Амоса Коменского. Разрабатывая новые формы и методы обуче-ния, ученый пришел к выводу о приоритете тех учебных заданий, которые отвечают природным возможностям детей, утверждая тем са-мым необходимость посильных заданий, стимулирующих успехи в обучении. В последующие десятилетия идеи Я.А.Коменского поддер-живались в разных формах обучения большим количеством педаго-гов, в числе которых были и русские: К.Д.Ушинский, Л.Н.Толстой и многие другие, которые видели возможность оптимизации обучения и контроля каждого из учеников во введении различных игровых форм обучения, в активизации самообучения и самоконтроля, в изу-чении психологических особенностей личности каждого обучаемо-го. Таким образом, уже в конце XIX - начале XX веков в педагогике прослеживается установка на учет индивидуальных особенностей обучаемых, на развитие их самостоятельного и творческого отно-шения к учению, предоставление им возможности проявления сво-их склонностей. Говоря современным языком, можно утверждать, что в указанный период были заложены первые фундаментальные идеи адаптивного обучения и контроля. Правда, получить должную реали-зацию в то время эти идеи не смогли.

Позднее, в 20-е годы XX века, когда в образовательной системе нашей страны наблюдался период критики формализма и схоласти-ки, оставшихся в наследство от дореволюционной школы России, идеи развития творческой самостоятельности обучаемых, самоконт-роля результатов учебной деятельности получили широкое распро-странение.

К числу первых советских педагогов, видевших перспективу разви-тия образовательного процесса не в отказе от контроля, не в искусст-венном преобразовании личности обучаемого, а в повышенном внима-нии к индивидуально-психологическим особенностям учащихся, мож-но отнести С.Т.Шацкого и П.П.Блонского. Они полагали, что важнее всего создать деловые отношения между учителем и учеником, кото-рые возникают при выполнении заданий трудных, но посильных для обучаемых. Задача педагога, следовательно, состояла в том, чтобы отобрать эти трудные, но посильные задания, которые способствуют установлению атмосферы сотрудничества в процессе обучения и контроля.

В наши дни она оформилась в виде основополагающих идей адап-тивного обучения и контроля, где адаптивность достигается путем от-бора оптимальных по трудности заданий для обучения и контроля ре-зультатов учебной деятельности учеников или студентов.

В этой связи возникает серьезная проблема методологического ха-рактера. Она связана с теоретическим обоснованием специальных ме-тодов для выделения оптимальных по трудности заданий при органи-зации контроля и обучения каждого ученика или студента. Решение проблемы предполагает поиски ответов на ряд вопросов, среди кото-рых главным является установление связи между уровнем подготов-ленности обучаемых и характеристиками заданий, выделяемых для эффективной организации контроля и обучения каждого ученика или студента.

Ситуация в области адаптивного тестирования. М.Б.Челышкова, известный ученый в области педагогических измерений и оценки зна-ний учащихся, провела анализ многочисленных работ отечественных и зарубежных исследователей в области тестирования и пришла к выво-ду о том, что в настоящий момент отсутствуют значимые результаты по установлению связи между уровнем подготовленности обучаемых и ха-рактеристиками знаний, выделяемых для эффективной организации адаптивного обучения. В своих исследованиях М.Б.Челышкова пишет о том, что если обратиться к практике, то также можно проследить от-рицательную тенденцию, которая заключается в доминирующей об-щей направленности традиционных процессов обучения и контроля на какого-то «среднего обучаемого», отсутствующего в реальной жиз-ни. Общеизвестно, что все обучаемые разные. Поэтому тенденция на «усредненность» приводит к тому, что у части более сильных учащих-ся не возникает стимулов для получения новых знаний и их развития. Другая часть обучаемых, у которых более низкий уровень подготовки, оказывается не в состоянии овладеть новыми знаниями даже с помо-щью преподавателя (Челышкова М.Б., 2001, с. 10-15).

Можно отметить, что в последние годы в практике образования складывается ситуация, под влиянием которой традиционное тести-рование, осуществляемое с помощью стандартизированных тестов, постепенно перерастает в современные, более эффективные формы адаптивного тестирования, которые основываются на отличных от традиционного теоретико-методологических основах и иных техно-логиях конструирования и предъявления тестов.

В нашей стране теоретические исследования по проблемам адаптив-ного тестирования представлены еще явно недостаточно. Назовем име-На Некоторых ученых, работающих в этом направлении: Абрамян Г.В.,Аванесов B.C., Нардюжев В.И., Челышкова М.Б., Шмелев А.Г. За рубе-жом с начала 90-х годов адаптивное тестирование получило широкое применение в сфере практики. Однако можно отметить, что в отечест-венных и зарубежных научных работах по данной проблематике еще слабо представлены вопросы классификации адаптивного тестирова-ния, его функции, теоретические вопросы адаптивного обучения и адаптивного тестового контроля.

Очевидно, что в настоящее время проблема адаптивных тестов чрезвычайно актуальна. У истоков адаптивного тестирования лежа-ло стремление к повышению эффективности тестовых измерений, что, как правило, связывалось с уменьшением числа заданий, вре-мени, стоимости тестирования и с повышением точности оценок, полученных испытуемыми по результатам выполнения теста. Исс-ледователи видели возможность повышения эффективности в адап-тации тестов, трудность которых учитывала диапазон подготовлен-ности тестируемых.

Мы в полной мере согласны с нашей американской коллегой Бетти Ливер (Ливер Б., 2001), которая считает, что адаптивным должно быть не только тестирование, но и сам процесс преподавания. В своем иссле-довании на эту тему она подчеркивает, что в процессе обучения надо постоянно думать о том, что есть учащиеся-синтетики, а есть аналити-ки; встречаются в группе импульсивные и рефлексирующие студенты; необходимо помнить о том, что индуктивных учащихся, например, уто-мляют объяснение преподавателя и расстраивает необходимость си-деть в течение длительного времени, слушая рассказ учителя и не имея возможности попробовать сделать это самим. Дедуктивные учащиеся живут правилами, любят слушать объяснения преподавателя. Не стоит ожидать, пишет Б.Ливер, от учащихся с доминированием правого полу-шария, что они будут контролировать правильность своей речи на ино-странном языке, так как они этого не делают и на родном языке. Виды деятельности и тесты, основанные на внутреннем контроле, будут вы-полняться такими учащимися очень плохо. Учащиеся с доминировани-ем левого полушария, напротив, слишком контролируют свою речь, и попытки вовлечь их в беседу, особенно на первых этапах изучения ино-странного языка, редко имеют успех.

Поэтому часто результаты стандартизированных классических те-стов дают неверное представление о том, что учащийся знает или что он умеет делать.

Учитывая учебные стили учащихся, преподаватели могут создать собственные адаптивные тесты, дающие гораздо больше информации о способностях и знаниях учащихся, чем тесты стандартизированные.

Так, тесты с открытыми вопросами, утверждает Б.Ливер, дают обучаемым синтетического типа возможность проявить свои творче-ские способности и способности к синтезу. Тесты на решение опреде-ленных задач позволяют учащимся-аналитикам применять свои спо-собности к анализу. Письменные тесты дают достоверные результаты как для учащихся визуального типа, так и для обучаемых кинетиче-ского типа, а визуальные тесты, безусловно, лучше применимы для учащихся визуального типа. Импульсивные студенты хорошо справ-ляются с традиционными тестами с ограниченным сроком выполне-ния; рефлексирующим студентам потребуются тесты, в которых не за-дан лимит времени. Для учащихся синтетического типа трудны тесты с возможностью множественного выбора вариантов ответа. Студен-ты-аналитики, считает Б.Ливер, выигрывают от тех видов деятельно-сти, которые позволяют им углубиться в детали, проанализировать, сделать вывод. Таким образом, из сказанного выше следует, что аме-риканские ученые активно используют данные психологии в обуче-нии и оценке знаний и умений учащихся.

Назовем факторы, формирующие, на наш взгляд, нынешнюю ситу-ацию в сфере адаптивного тестирования в России и способствующие актуализации этого направления:

в общем и высшем российском образовании происходит резкое расширение объема содержания образования: информатизация всех
уровней образования, увеличение веса творческого аспекта в обуче-нии на всех этапах образования;

очевиден и рост масштабов тестирования в образовательной си-стеме нашей страны, где за последние пять лет количество школьни-ков и студентов, прошедших через итоговое тестирование, возросло с 35 тысяч до 80 тысяч человек;

разработка нового поколения государственных стандартов, в ча-стности по отдельным дисциплинам (имеем в виду РКИ), которые, в
свою очередь, актуализировали проблему массовых измерений в от-ношении уровня и качества подготовки учащихся. Создание же государственных образовательных стандартов связывается, как нам кажется, с проблемой конкурентоспособности будущего специалиста, который должен обладать многоплановой, многоуровневой и многоаспектной компетенцией, в том числе в области иностранного языка и русского языка как иностранного.

Тестирование, проводившееся русистами-практиками в течение по-следних лет в Российском университете дружбы народов (ежегодно при переходе с одной образовательной ступени на другую тестируется свыше 200 человек) показало, что, следуя принципам российской мето-дики преподавания РКИ с ее личностно-ориентированным подходом к обучению и для повышения качества тестового контроля, для придания тестированию динамики необходимо учитывать индивидуальные осо-бенности как самих испытуемых, так и особенности их подготовки.

В этой связи одной из актуальных задач методики в последнее вре-мя стала задача репрезентативного охвата содержания контроля в те-стах по РКИ. Практика тестирования показывает, что требования, за-ложенные в государственных стандартах по русскому языку как ино-странному и в соответствующих им тестах нередко рассогласованы с реальными возможностями учащихся. Так, в Российском университе-те дружбы народов обучается большое количество студентов из стран Азии, Африки, Латинской Америки. Преподавателям-русистам хоро-шо известны особенности данных учащихся и связанные с этим труд-ности при обучении их русскому языку. Порой эти люди не умеют не только писать, но и читать на родном языке, плохо владеют умениями общения. Задача преподавателей русского языка на этапе предвузовской подготовки, как правило, перерастает из практической в образо-вательную. В силу этого достаточно сложно подготовить студентов из 160 стран мира, говорящих на 400 языках, к объективному и эффек-тивному контролю.

Безусловно, преподаватели-практики ищут пути повышения каче-ства подготовки учащихся, стараются предотвратить превращение обучения русскому языку в процесс подготовки к итоговому тестиро-ванию. С этой целью создаются серии адаптивных тестов, что позво-ляет учащимся привыкнуть к новым для большинства из них формам контроля, к новым заданиям открытой формы, в которых ставится за-дача для студента-иностранца по определенным параметрам органи-зовать свой ответ. Заметим, что иногда не всякий ответ носителя рус-ского языка соответствует в полной мере требованиям и параметрам, которые задаются в тестах для иностранных граждан.

Об учете в контроле национально-ориентированного содержа-ния обучения. Все более актуальной, на наш взгляд, становится проблема учета не стандартного, а национально-ориентированного со-держания образования и обучения русскому языку в зарубежных странах. В разных странах сложился разный опыт преподавания рус-ского языка, обусловленный особенностями образовательных систем зарубежных стран.

Наш анализ этой проблемы показал, что в так называемых восточ-ных методиках (используются в странах Азии: Китае, Японии, Вьет-наме и ряде других) обучение грамматике, лексике, чтению, письму превалирует над обучением устной речи. Допустим, что некоторые национальные «стереотипы» можно преодолеть за время интенсив-ной учебной нагрузки по языку на подготовительном факультете, учитывая также, что студент живет в языковой среде. А как быть со студентами, которые живут и обучаются у себя на родине, где прак-тика преподавания определяется образовательными нормами не страны изучаемого языка, а родной страны? В качестве примера при-ведем опыт тестирования, проведенного нами в Японии в универси-тете города Саппоро. Наши контакты, пусть очень короткие, показа-ли, что японцы - достаточно скромны, вежливы, тактичны, сдержан-ны. В их системе воспитания, которая складывалась веками, заложены такие традиции, как согласие с собеседником (обязатель-ное согласие), правило мягко высказывать собственную точку зре-ния, выслушивать мнение другого (японец старается выражать мне-ние коллектива). Очевидно, поэтому трудно далась студентам сдача теста с заданиями такого типа: «Возразите собеседнику», «Укорите собеседника», «Выразите угрозу». Менталитет японцев не позволяет давать речевому партнеру такие жесткие установки. Зарубежная пра-ктика тестирования показывает низкую эффективность таких зада-ний, как «Выразите восторг, восхищение чем-нибудь». В Китае, Япо-нии, ряде других стран, где не принято выражать «бурные» эмоции, Речь человека (особенно при посторонних, особенно при иностран-цах, особенно в присутствии преподавателя) очень сдержанна и так-тична. Добиться реализации заложенной в тесте интенции такого рода довольно нелегко.

Сложно также вовлечь, например, арабского или индийского студента в диалог об их отношении к холодному оружию (материалы ти-повых тестов), т.е. о том, нужно или не нужно применять его в особых, критических случаях. Этого просто может и не быть в житейском опыте учащихся. Более того, мы хорошо знаем, что во многих странах мира продажа оружия запрещена. Как в таком случае преподавателю-тестору достичь результатов в контроле навыков и умений испытуемого?

Безусловно, для тестирования устной речи нужно тщательно под-бирать темы, характерные для национального менталитета, а не про-тиворечащие ему.

Адаптивное отношение к тестовому контролю выражается и в учете возрастных особенностей учащихся. Трудно объективно оце-нить умения в устной речи у учащегося по следующему заданию: «Вас заинтересовала реклама или объявление в газете, рассказываю-щее о том, как воспитывают детей в московском детском саду, так как вы хотите устроить своего ребенка в определенный детский сад. Позвоните по указанному в объявлении телефону и организуйте свой диалог на заданную тему». Заметим, что, во-первых, не для всех ино-странных студентов ясно, что такое российский детский сад, во-вто-рых, на их родине устройство детей в детский сад предполагает часто совершенно иной набор вопросов, например, обязателен вопрос о стоимости этой услуги. Кроме того, встает вопрос - откуда студенту вообще знать о том, что спрашивают родители в таком случае. Наи-более находчивые испытуемые свое неумение организовать предпо-лагаемый диалог шутливо объясняли так: «Будь я отец, я бы не по те-лефону узнавал о том, где будет воспитываться мой сын или моя дочь, а поехал бы посмотреть на месте» (подобное «разрешение» во-проса было предложено тестируемыми из Японии и др.). К сожале-нию, в наших тестах встречаются такого рода «проблемные» для ис-пытуемого и преподавателя-тестора задания. Конечно, многие недо-четы заданий можно устранить, в частности, через ориентацию тестового материала не только на реалии России, но и на реалии тех стран, студенты (учащиеся) из которых проходят тестирование. Адаптация в данном случае подразумевает как основательную под-готовку учащихся, так и подготовку учебных и контрольных мате-риалов в плане соотнесения речевых и культурных традиций раз-ных стран. Тестирование, безусловно, должно быть адаптивным по своей национальной ориентации. Развитие же национально-ориен-тированных тестов и их внедрение в систему тестового контроля, на наш взгляд, призвано стать задачей недалекого будущего.

Таким образом, опыт тестирования по русскому языку как ино-странному учащихся разных национальностей, овладевающих языком как в России, в языковой среде, так и за рубежом, вне этой среды, убедительно подтверждает наш тезис о том, что тестирование по ино-странному языку непременно должно учитывать индивидуальные особенности учащихся, прежде всего их национальность, особенности менталитета, культурные и исторические традиции и т.д. В силу ука-занных причин тестовые материалы должны быть адаптивными.

Еще раз вернемся к разговору о совокупном объеме теста, как из-вестно, включающего 5 субтестов: по лексике и грамматике, по гово-рению, письму, чтению и аудированию. Мы подсчитали, что в неко-торых тестах число заданий, включая линейные, т.е. относящиеся к одному тексту или к одному из заданий (например, по говорению: 1) просмотрите фрагмент фильма; 2) опишите ситуацию; 3) дайте описание действующих лиц; 4) выразите собственную оценку про-исходящего и др.), объемно. Всегда ли эффективно достижение ка-чества проверки через увеличение количества заданий? Очевидно, что количество далеко не всегда измеряет качество. Поэтому говоря о проблеме адаптивного тестирования, мы имеем в виду, кроме про-чего и сказанного выше, проведение теоретико-практических иссле-дований по проблемам оптимизации процедуры тестирования. Под оптимизацией нами понимается такое построение уровневого кон-троля, когда меньшим числом заданий удается быстрее и точнее оценить уровень и качество подготовленности тестируемых. Дума-ется, что для решения этой проблемы потребуется еще немало уси-лий, а самое главное - тесное сотрудничество практиков-тесторов с теоретиками. У нас пока еще мало теоретиков новой для научного обоснования РКИ формы контроля. Возможно, руководство Голов-ного центра тестирования, РОПРЯЛ выступят с инициативой по-стоянных конференций, научных семинаров по вопросам теории лингводидактических тестов.

Подводя итог сказанному, позволим сформировать вывод-опреде-ление адаптивного тестирования. Итак, под адаптивным тестирова-нием нами понимается процесс подготовки к контролю в форме тес-товых методик через обучающие тесты градуированного (от простого к более сложному и уровневому) характера и собственно контроль, корректно учитывающий индивидуально-личностные, национально и культурно ориентированные особенности иностранных учащихся, ов-ладевающих русским языком в пределах и за пределами своей страны, в частности в среде изучаемого языка.