олученные в процессе обработки результатов экспертизы данные представляют собой обобщенные по заданным логическим и математическим правилам числовые величины, которым еще предстоит приобрести определенное смысловое содержание, т.е. стать показателями. Любой показатель несет на себе определенную смысловую нагрузку, а также указывает на направленность последующих выводов и рекомендаций.

Любая числовая величина может интерпретироваться с разных точек зрения и, следовательно, многозначна. Если организаторы наполняют числовые данные неким содержанием, соотносят их с изучаемой проблемой, с наиболее важными сторонами объекта и предмета исследования, то они превращаются в показатели. Интерпретация результатов фактически предопределяется на этапе формулирования цели и разработки процедуры опроса, когда выделяется контекст, в котором будет рассматриваться изучаемая проблема.

По форме экспертное заключение может свободно варьироваться. Что же касается содержания, оно должно включать, в качестве обязательных, следующие пункты:

установление факта непротиворечивости программы и деятельности школы законодательству РФ и правам ребенка;

обоснованную оценку и аргументированное выражение экспертной позиции по всем основным концептуальным аспектам инновационной программы и ее реализации;

ответы на вопросы, поставленные перед экспертами авторами эксперимента;

рекомендации по возможным направлениям дальнейшего движения и развития эксперимента с учетом его обеспечения (научного, кадрового, методического, организационного, материального);

выявление значимых результатов, определение важности данной инновации, ее общественной значимости для реализации федеральных, региональных, местных программ развития образования.

Заключение о целесообразности, размерах и направлениях дополнительного финансирования и иной поддержке инновационных проектов может осуществляться органами управления образованием на основании рассмотрения ими заключения экспертной комиссии и принятия соответствующих управленческих решений в случае согласия органов управления с экспертными рекомендациями.

После того как эксперты ознакомились с текстом окончательного решения и завизировали его, решение передается в органы управления образованием.

Глава 2. Программа деятельности эксперта при осуществлении аттестации образовательного учреждения

2.1 Порядок проведения аттестационной экспертизы

Для проведения аттестации образовательное учреждение представляет следующие документы:

а) заявление с приложением информационной карты (паспорта) образовательного учреждения;

б) копию устава образовательного учреждения;

в) копию лицензии на образовательную деятельность;

г) учебный план образовательного учреждения;

д) гарантийное письмо об оплате затрат, связанных с проведением аттестации;

е) данные о результатах итоговых аттестаций выпускников в течение 3 последних лет;

ж) материалы, отражающие специфику образовательной деятельности, представляются дополнительно по желанию образовательного учреждения.

Основные методы сбора информации и экспертизы - это наблюдение, исследовательское интервью, групповая дискуссия, различные игровые методы, системный анализ, а также методы экспертизы различных документов, в которых отражается будущее или настоящее образовательного и управленческого процессов: проектов, планов, программ и др. Заметим, что аналитическая работа начинает осуществляться экспертом уже на этапе сбора информации. Однако, для того, чтобы не путать описание деятельности с ее интерпретацией и не подменять интерпретацию описанием событий, процессов, явлений, характеристикой объекта, эксперту следует, как уже отмечалось выше, разделять эти два плана и, соответственно, задачи сбора и интерпретации полученной информации.

Наблюдение (прямая регистрация событий очевидцем) предназначено для описания феноменального плана, подчинено четко сформулированной цели и планируется по заранее обдуманной процедуре. Все данные наблюдения фиксируются в протоколе по определенной системе, а полученная информация должна поддаваться контролю на обоснованность.

Суть наблюдения состоит в том, что эксперт, находясь на занятиях, присутствуя на совещаниях, педагогических советах, обсуждениях педагогами своей работы и т.д., фиксирует наблюдаемые события: их ход, содержание и методы деятельности субъектов (например, то, какие задания дает учитель ученикам, что и каким образом объясняет, как подводит итоги занятия, что оценивает положительно и отрицательно и т.д.).

Затем, переходя из феноменального плана в план интерпретации деятельности, эксперт дает свою трактовку наблюдаемого (увиденного, услышанного, прохронометрированного) и обосновывает эту точку зрения, опираясь на знание предмета экспертизы.

Исследовательское интервью (проводимая по определенному плану беседа, предполагающая прямой контакт интервьюера с опрашиваемым) направлено на выявление профессиональных ценностей интервьюируемого, его целей, представлений о результатах выполняемой деятельности, а также, возможно, и внутренних, не до конца осознанных мотивах.

Интервью позволяет эксперту разобраться с идеальными представлениями субъекта о своей деятельности и ее целях.

Групповая дискуссия представляет собой организованное обсуждение под руководством ведущего тех или иных вопросов, связанных с осуществляемой инновационной деятельностью.

Этот метод может использоваться как в целях диагностики ситуации и социально-психологических особенностей участников дискуссии, так и в целях обучения участников дискуссии коммуникативным умениям, необходимым в групповой работе, умениям анализировать и оценивать свою профессиональную деятельность и т.п. Однако, используя этот метод, следует учитывать, что главной проблемой, снижающей эффективность групповой работы, является отсутствие у ее участников знания правил и владения техникой проведения совместного обсуждения.

Для диагностики (анализа) ситуации можно использовать метод фокус-групп как разновидность групповой дискуссии. Фокус-группа позволяет получить "субъективную" информацию от нескольких (до 10-12) человек одновременно, а также за счет столкновения нескольких точек зрения более глубоко и разносторонне увидеть обсуждаемые проблемы.

Игровые методы (имитационные игры) - это воспроизведение (моделирование) в игровой форме конкретных или воображаемых ситуаций и процессов, в которых участникам предлагается выполнение определенных игровых функций (ролей). Применяется как метод исследования ситуации. Например, может быть проигран процесс разработки программы проведения эксперимента, обсуждение его направлений, целей и задач. Это позволяет не только реально продвинуться в создании конкретного проекта, но и увидеть, как в такой сложной деятельности проявляются разные люди, какие позиции они занимают. Игровая ситуация также помогает ее участникам определить свое место в планируемых изменениях (инновации).

Существует несколько разновидностей подобных игр: деловые, ролевые, организационно - деятельностные и т.д. Игра позволяет не только исследовать, понять особенности сознания и деятельности ее участников, но и обучить их различным приемам и методам в процессе реализуемой, хотя и игровой, но вполне конкретной деятельности.

Метод системного анализа позволяет рассматривать объект анализа не только и не столько с точки зрения его внутренней структуры (свойств элементов, характера их связи), но и как самостоятельный элемент в структуре (системе) более высокого порядка, в то же время зависимый от качества этой объемлющей системы. Например, таким объектом является образование.

Анализ образовательных проектов и программ. Желательно, чтобы эксперт, действующий в рамках методической службы, не только проводил оценку готовых проектов и программ, но и принимал участие в их разработке. В этом случае оп сможет не только влиять на процесс проектирования изменений, но и более полно разобраться в их сути и понимании их назначения людьми. Кроме того, ему придется иметь дело и с текстовым материалом проектов, программ, планов. Именно поэтому ему необходимо хорошо знать их формальную структуру, владеть требованиями, предъявляемыми к форме их разработки.

Ошибки оценивания при проведении экспертизы и способы их предотвращения.

Всякая оценка, и в том числе экспертная, предполагает измерение того, что есть, и его сравнение с тем, что должно быть. Никакой метод измерения не может обеспечить абсолютной его точности, в результате чего и возникают ошибки.

Обеспечение объективной и точной оценки - важная задача, трудность решения которой связана с тем, что совершаемые ошибки часто даже не осознаются теми, кто их допускает. Поэтому каждому принимающему участие в экспертизе необходимо четко представлять типы возможных ошибок и способы их устранения.

Анализ опыта оценки показывает, что существуют многочисленные источники ошибок: и недостаточная компетентность оценивающих, и их субъективные установки, и неполная информация о программах, и несовершенство используемых методов, и многое другое.

Прежде всего, рассмотрим те ошибки, которые возникают вследствие неверного использования уже специально разработанных для проведения экспертизы критериев и оценочных шкал.

Специальными исследованиями выделено несколько типов наиболее распространенных ошибок при оценивании.

Первый достаточно распространенный тип ошибок связан с неполным использованием оценочной шкалы. В результате этого возникают такие ошибки как строгость, мягкость или центризм, т.е. наличие единой усредненной оценки.

Второй тип ошибок состоит в том, что сравнение реального положения дел с нормой осуществляется некорректно. В результате возникают такие ошибки, как эффект "ореола", недавности, контраста.

Эффект "ореола" - тенденция оценивать всех специалистов или их разработки на одинаковом уровне по всем характеристикам. Как правило, это связано с тем, что предмет оценки имеет ярко выраженные положительные или отрицательные качества, "заслоняющие" другие характеристики. Отрицательными последствиями этой ошибки являются необъективность, не выявление как сильных, так и слабых сторон экспертируемого объекта.

Эффект не давности (свежести) - оценка производится на основе недавних фактов, событий и результатов, связанных с другими видами деятельности оцениваемого. В результате этого при оценке эксперт пользуется не наиболее значимой информацией, а той, которая была извлечена на момент экспертизы из кратковременной памяти, как правило, это бывает последняя информация. Так, на оценку эксперта может повлиять недавнее посещение занятий, неприятное воспоминание о недавней встрече с оцениваемым и др. Негативным последствием этого эффекта служит необъективность экспертной оценки.

Эффект контраста - влияние на оценку результатов оценок тех специалистов или их разработок, которые были оценены ранее. Этот эффект появляется из-за сравнения качеств не со стандартом, а с ранее оцениваемыми объектами. В результате при оценивании используется "гибкий" стандарт: как правило, после высокой оценки следующая оценка занижается, и наоборот, после низкой следующая оценка несколько завышается.

Атрибуция - использование в качестве объяснения оценки не характеристик оцениваемой деятельности, а качеств личности оцениваемого. Причинами возникновения этой ошибки служит, с одной стороны, придание чрезмерного значения личностным характеристикам, с другой - отсутствие необходимой для объективной оценки информации о самом предмете оценки. Предупреждение атрибуционной ошибки обеспечивается за счет накопления информации о самой экспертируемой деятельности, а не только об ее субъекте.

Как добиться повышения качества экспертизы и снижения вероятности возникновения ошибок? Универсальным средством является выработка четких, всем известных, согласованных и принимаемых всеми критериев проведения оценки:

формулировка и доведение до каждого эксперта четких определений того, что закладывается в каждое значение оценочных уровней шкалы;

участие в оценке нескольких экспертов и сопоставление их оценок, что обеспечивает обоснованность и объективность оценок;

проведение оценки самими авторами по тем же критериям, что и эксперты, что повышает доверие к оценивающим, служит появлению положительного восприятия оценки и рекомендаций по ее совершенствованию:

знакомство разработчиков с критериями еще на этапе их создания, что повышает качество деятельности и формирует психологическую готовность к восприятию внешней оценки.

Если за время экспертизы произошли изменения в смыслах критериев оценки, то, естественно, об этом должны узнать эксперты и оцениваемые.

Таким образом, во избежание ошибок, необходимо разрабатывать надежную методику для оценивания и готовить экспертов к ее использованию при проведении экспертизы.

Иными словами, проанализировать действующие системы и выявить их недостатки в состоянии только широко образованный компетентный в области передовых педагогических систем специалист, владеющий методом их системного анализа.

Чтобы облегчить анализ причин недостатков в результатах функционирования образовательных систем, B. C. Лазарев рекомендует воспользоваться алгоритмом, который можно применить к любым видам образовательных систем.

Согласно алгоритму, первый вопрос, которым следует задаться при поиске причин выявленного недостатка в результатах функционирования системы: "Позволяет ли содержание основного процесса получить желаемый результат?". Если "да" или если недостатки содержания существенно не влияют на результаты, то далее следует перейти к анализу технологии, используемой при реализации процесса. Если же "нет", то нужно перечислить основные недостатки содержания, которые существенно отражаются на анализируемых неудовлетворительных результатах.

Второй вопрос: "Позволяет ли используемая технология и принципы получить желаемый результат?". Ответ на него должен даваться, исходя из предположения, что есть все, что нужно для максимально эффективной реализации используемой технологии осуществления основного процесса: и материально-техническая база, и квалификация кадров, и их мотивация и время, необходимое для решения проблемы и др. Оценивается, возможно ли, при идеальных условиях, используя данную технологию, достичь желаемого результата. Если "да", то осуществляется переход к третьему вопросу. Если "нет", то нужно составить перечень основных недостатков реализуемой технологии, существенно ограничивающих возможности получения желаемого результата.

Если недостатки содержания и технологии основного процесса настолько существенны, что при них в принципе результаты не могут быть положительными, то на этом анализ заканчивается. Если недостатки основного процесса связаны с его реализацией или являются не очень существенными, то следует перейти к третьему вопросу.

Третий вопрос: "Есть ли недостатки в том, как работники реализуют основной процесс (технологию), существенно влияющие на результаты?". Если технология существенно на результаты не влияет, что означает, что она в принципе не позволяет их получить даже в случае ее хорошей реализации, то, повторим, ресурсы анализировать не нужно. Если "да", то нужно понять, почему они возникают: то ли сотрудники не умеют делать что-то, что требуется по технологии, то ли не хотят это делать. Если "нет", то следует переход к анализу условий осуществления учебного процесса.

В том случае, если на предыдущий вопрос дан положительный ответ, следует перейти к четвертому вопросу: "Существенно ли недостатки в работе сотрудников системы образования связаны с их квалификацией?"

Иначе говоря, достаточно ли хорошо они владеют используемыми методами работы. Очевидно, что одни могут быть высоко квалифицированными, а другие менее. Ответ на данный вопрос должен быть обобщенным. Если недостатки квалификации какой-то части работников влияют на общие результаты, но не очень сильно, то это малозначимая проблема, ее можно проигнорировать. Коли же недостатки квалификации существенно негативным образом сказываются на результатах работы, то составляется перечень тex умений, которыми сотрудники не обладают. При отрицательном ответе на данный вопрос признается, что проблем с владением используемой технологии нет, и следует переход к оценке других условий.

Продолжая анализ причин недостатков в основном процессе, следует задать пятый вопрос: "Достаточно ли заинтересованы кадры в достижении высоких результатов функционирования анализируемой системы?". Если дается положительный ответ, то проблем с мотивацией нет. Если ответ отрицательный, то составляется перечень недостатков мотивационной среды, обусловливающих неудовлетворительную мотивация кадров на достижение высоких результатов. Фиксируются причины низкой мотивации.

После этого оценивается достаточности других ресурсов, например, времени. Задается шестой вопрос: "Сильно ли влияет на результаты работы системы нехватка времени?". Если ответ "да", то следует оценить, какова разница между тем, какое время требуется, и тем, какое отводится на работу реально. Если ответ "нет", то значимых проблем с объемом времени нет.

На следующем шаге поиска причин анализируемых результатов оценивается влияние на них уровня материально-технической обеспеченности основного процесса. Ставится седьмой вопрос: "Сильно ли влияют на анализируемый результат недостатки в обеспечении основного процесса материально-техническими средствами?" Если дается отрицательный ответ, то значимых проблем с материально-техническим обеспечением нет. Если ответ положительный, то нужно перечислить чего и в каком объеме не хватает, чтобы была возможность достигнуть более высоких результатов.

Если анализируются результаты образования, то нужно иметь в виду, что они зависят не только от того, что и как делают учителя, мо и от того, что и как делают учащиеся. Хотя действия педагогов и учащихся не независимы, однако то, что делают последние, во многом определяется ими самими, а не их наставниками. Поэтому, анализируя дефекты результатов обучения нужно задаться восьмым вопросом: "Все ли делают учащиеся, что от них требуется по технологии?". Если "да" или если недостатки в действиях учащихся существенно не влияют на результаты, анализ причин неудовлетворительности результатов обучения заканчивается, а если "нет" и это существенно сказывается на результатах, то анализ причин должен быть продолжен.

Здесь, как и в случае анализа действий учителей, нужно оценить, умеют ли учащиеся делать то, что от них требуется, и хотят ли это делать. При отрицательных ответах нужно составить перечень того, что не умеют, и определить причины, почему не хотят изучать содержание учебной программы.

Тот факт, что учащиеся не могут и (или) не хотят учиться, означает, что на предыдущих этапах обучения не были достигнуты соответствующие важные результаты. Поэтому сама констатация проблем, связанных с действиями учащихся, означает задание на поиск их причин в более ранних периодах обучения и воспитания.

Что и как делают учащиеся, может быть обусловлено не только и не столько тем, что они "не умеют" и (или)"не хотят", а тем, что у них нет необходимых условий, т.е. они "не могут". Поэтому, анализируя действия учащихся, нужно перейти к ответу на девятый вопрос: "Имеются ли у учащихся достаточные условия, чтобы делать то, что от них требуется?" Если ответ "да" или если недостаток условий не сильно сказывается на результатах, то на этом поиск причин завершается. Если ответ "нет", то нужно составить перечень того, чего не хватает учащимся, чтобы освоить на требуемом уровне содержание данной программы. Это может быть нехватка учебников, перегрузка, чрезмерно высокая наполняемость классов и др. После составления такого перечня процедура проблемного анализа завершается.

Чтобы двигаться по алгоритму, аналитики должны вначале определиться с тем, при каких условиях может достигаться желаемый результат. Иначе говоря, какой должна быть идеальная система: содержание, технология, ресурсы, управление. И каждый раз, оценивая используемые элементы системы, сравнивать их с идеальными, как с нормой.

Страницы: 1, 2, 3

Голосование

Как вы оцениваете работу нашего сайта? Отлично Хорошо Нормально Плохо Результаты