Идея применения портфолио в школе происходит из США, где она возникла в 80- е годы, а в конце 80-х - начале 90-х годов начался настоящий бунт. Применение портфолио в школах приняла лавинообразный характер. Число публикаций и книг, посвящённых портфолио в обучении за короткий срок резко возросло, достигло в 1995 году своего пика и стало в настоящее время практически невообразимым. Это состояние в образовательном процессе называется «портфолиоманией». Кроме США и Канады идея портфолио становится всё более популярной в Европе и Японии. Её называют одним из трёх трендов современного образования.
Проблема профильного обучения является одной из важнейших задач модернизации образования. Основная идея обновления старшей ступени общего образования состоит в том, что образование должно стать более индивидуализированным, дифференцированным, ориентированным на создание условий выбора для удовлетворения образовательных потребностей учащихся.
Вопрос о формах, средствах, способах контроля при оценке результатов обучения учащегося остро стоит в современной системе образования и является одним из актуальных направлений в эксперименте по обновлению структуры и содержания образования.
Легко войдя в школьную практику разных стран и принимая различные формы, отметки быстро приобрели социальную значимость, став инструментами давления на учащихся. Недостаток традиционной оценочной системы, основанных на отметках как стимуляторах учения, обнаружился уже в середине 19 века, когда возникла теория свободного воспитания, направленная против любого подавления личности ребёнка. Выдающимся представителем идей свободного воспитания в России был Л.Н.Толстой. В своих трудах он сформулировал несколько основных положений, реализованных в Яснополянской школе. « Для того, чтобы ученик учился хорошо, нужно, чтобы он учился охотно, чтобы его душевные силы были в наивыгоднейших условиях» [11,176]. В дальнейшем педагоги также сталкивались с вопросами усовершенствования оценочной сферы влияния отметок и их отрицательного воздействия на формирование личности школьника.. В некоторых странах Европы и России были осуществлены опыты по обучению без отметок. В ряде случаев отметки заменялись характерными. В связи с этим возникла огромная и неразрешимая, на первый взгляд, проблема оценивания, возникла необходимость изменить сам подход к оцениванию ученика, а это предполагает изменение философии оценки. В центре внимания должен быть ученик, его деятельность, устремления, что требует нового подхода - обучение учащегося самоорганизации своей деятельности, что в свою очередь порождает требования заменить учительские оценки содержательной самооценки учащихся. Вот почему в последнее время появился портфолио, ведь он являлся альтернативным способом оценки. Основной смысл портфолио « показать всё, на что ты способен» [15,76].
Таким образом, «портфолио - это форма непрерывной оценки в процессе непрерывного образования, который смещает акценты от житейских факторов традиционной оценки к гибким условиям оценки альтернативной… Учебное портфолио легко интерпретируется в профессиональные и служебные системы оценки, что даёт возможность раннего формирования профессионально значимых умений учащегося» [14,115].
2.2. Виды образовательных портфолио
Тема портфолио связана с существенными трудностями, так как в настоящее время разрабатываются различные виды портфолио, различаются между собой как по целям, которые они себе ставят, так и способы работы с ними.
По целям различаются портфолио, как способ оценивания учебных достижений и так называемое портфолио курсов, основной целью которого - позитивно влиять на сам процесс обучения.
В первом случае обычно говорят о «портфеле» или «папке достижений», в который помещается уже готовые, выбранные и специально оформленные («доведённые до ума») работы. Они подходят для того, чтобы отразить образовательную биографию и уровень достижений ученика.
В случае предметного портфолио - форма, которая доминирует в настоящее время в Европе - речь идёт о документации работ школьника в рамках определённого курса и служит по преимуществу именно как инструмент самого обучения, хотя оценивание этих шагов обучения также может иметь место. Из этих «предметных портфолио» могут, в качестве их завершения, возникнуть и папки достижений. Широкое распространение в Европе получило так называемое - языковое портфолио - проект, разрабатываемый под эгидой Совета Европы.
Портфолио отзывов, работ и документов также широко распространёно в Европе.
Языковое портфолио:
Именно оно является самой известной и распространённой в настоящее время в Европе формой курсового портфолио, целью которого является усилие процессов интеграции в европейских странах. В рамках проекта языкового портфолио подробно разрабатываются все этапы работы и формы оценки языковой компетентности, даны таблицы оценки и самооценки. Общая языковая компетентность подразделяется на устную и письменную коммуникацию, непонимание и активное применение иностранных слов. Выделяются уровни языковой компетентности и разрабатываются таблицы оценивания. При этом важно, что сама таблица языковых умений, на основе которой затем разрабатывается индивидуальные анкеты для каждого уровня, являются продуктом взаимной договорённости всех школ, которые участвуют в данной программе. Это делается для того, чтобы сертификат уровня достижений, выдаваемый впоследствии ученику в разных школах, был сравним и представлен для всей сети школ, участвующих в данной работе. Данная таблица является, таким образом, ни чем иным, как стандартом качества, принимаемым всеми участниками.
Затем на основе этой таблицы - стандарта, для каждой ступени и каждой составляющей языковой компетентности формулируется чёткое описание умения от первого лица, чем подчёркивается момент самооценки учащимся своих достижений. Например, можно привести примеры из первой ступени языковой компетентности, по одному предложению для каждой составляющей: слушание - я могу понимать, когда кто - то говорит со мной медленно и отчётливо; чтение - я могу понимать в тексты, данные о лицах, возраст, профессию, место жительства; участие в общении - я могу представить кого - либо и употреблять простые формы приветствия; связанная речь - я могу рассказать о себе, например, где я живу, учусь и так далее, речевые стратегии - я могу сказать, что я не понимаю; письмо - я могу заполнить анкету с данными о своей личности. Кроме этого в анкете предусматривается графа для того, чтобы ученик обозначил следующий шаг своего обучения, то, чем он предполагает овладеть на следующем этапе.
Таким образом, из этого краткого описания языкового портфолио отчётливо видно, что работа над портфолио позволяет ученику всё больше и больше становиться, выражаясь привычным нам языком, субъектом процесса учения, в который входят, наряду с результатом, и процессы оценивания, планирования и рефлексии своего образа жизни.
Теперь рассмотрим следующий вид портфолио - «портфолио курсов». Портфолио не есть самоцель. Формирование портфолио должно иметь смысл в контексте учения. Поэтому исходный пункт работы с портфолио - это постановка вопроса, открытой комплексной задачи, формулировка проблемы. Само портфолио служит свидетельством ступени достижения поставленной цели. Поэтому важно, чтобы цели работы, формулирующиеся в процессе договорённости между учеником и учителем, были открытыми и внятными. После этого эти цели могут быть связаны с индивидуальными интересами учащегося и зафиксированы в явном виде в письменной форме. Письменная фиксация учебных целей служит, с одной стороны, для ученика в качестве ориентира и помощи для систетематического движения к намеченной цели, с другой стороны - как основа для последующей самооценки и оценки со стороны прогресса в учении. После установления целей работы письменная фиксация - первый шаг в работе над портфолио. После того, как цель прояснена и письменно зафиксирована, начинается собственно фаза работы и собирания. Посредством постоянного собирания и изготовления документов процесс учения становится внятным для внешнего наблюдателя. При этом многообразие документов (свидетельств) является одним из существенных признаков качества портфолио.
Самая трудная задача - это представить, то есть сделать видимым свой собственный путь учения. Для этого необходим метарефлексивный анализ пройденного собственного учебного пути, точнее, способов работы, образа действий. Самое позднее, такай анализ необходим на фазе подготовки портфолио к презентации, то есть преданию портфолио такой формы, которая может быть представлена во вне. «Саморефлексия учащегося - это сердце всего портфолио - процесса» [12,76]. Таким образом, помимо рефлексии 1- го уровня по поводу проблемы, является учебной темой, темой метарефлексии становится сам процесс работы над ней; как я обдумывал тему, организовал свою работу, насколько успешна была моя стратегия учения и так далее. Здесь становится ясной разница между портфолио и простым собиранием работ, как это происходит в папке или в портфеле работ. Всё дело в этой метакогнитивной интерпретации: я рассматривал своё собственное учение, дабы выявить, как я учусь. Собирание портфолио в данном случае сохраняет следы индивидуального процесса учения. В завершающем рассмотрении (размышлении, интерпретации) над ним ученик может сделать выводы на будущее. Для того, чтобы ученики могли оценивать свою работу, помимо целей обучения должны быть разработаны ясные стандарты и критерии оценивания. В идеальном случае они устанавливаются вместе с учеником. Это важно, так как и в традиционной школе, по крайней мере, в Германии, коммуникация по поводу достижений и оценивания между учениками не происходит.
Из огромного разнообразия видов портфолио выделяются портфолио документов, также портфолио работ.
В «портфолио документов» ученик представляет сертификаты официально признанные на международном, федеральном, региональном, муниципальном уровне конкурсов, соревнований, олимпиад и тому подобное, документы об участии в грантах, об окончании музыкальных и художественных школ, сертификаты о прохождении тестирования, например, TOEFL и тому подобное.
«Портфолио работ» - это комплект различных, исследовательских, проектных и других работ выпускника. Портфолио работ может включать:
- проектные работы (тема проекта, описание работы, текста работы в печатном виде);
-исследовательские работы и рефераты (исследовательская работа, реферат, использованная литература);
-техническое творчество: модели, макеты, приборы (практическое описание конкретной работы);
-работа по искусству (даётся перечень работ, фиксируется участие в выставках, театре, оркестре, хоре);
-различные практики: языковая, социальная, трудовая, педагогическая (фиксируется вид практики, место её прохождения, продолжительность);
-занятия в учреждениях дополнительного образования, на различных учебных курсах;
- участие в научных конференциях, учебных семинарах и лагерях;
В данный раздел ученик помещает результаты различных творческих, проектных, исследовательских работ, а также описание основных форм и направлений его учебной и творческой активности: участие в научных конференциях, конкурсных, учебных лагерях, прохождение элективных курсов, различного вида практик, спортивных и художественных достижений.
Данный вид портфолио предполагает качественную оценку, например, по параметрам полноты, разнообразия и убедительности материалов, качества представленных работ, ориентирования на выбранный профиль обучения и другое. Материалы, представленные в данном разделе, дают широкое представление о динамике учебной и творческой активности ученика, направленности его интересов, характере его предпрофильной подготовки. В ряде случаев это может быть педагогически весьма значимо, поскольку есть много учеников, для которых «портфолио работ» дополнительная форма выражения успешности, «самостоятельности подростка в его образовательной карьере» [6,45].
В рабочую папку (портфолио) прилагается индивидуальный рабочий план предпрофильной подготовки, который составляется вместе с учеником
Не менее важен и следующий вид портфолио - «портфолио отзывов». Именно в нём ученикам предлагается представить отзывы на творческие работы, исследовательские и другие проекты, социальные практики, участие в конференциях и в самых разных сферах приложения сил. Важной составляющей данного раздела является самооценка ученика, его рефлексия собственной деятельности. Бывает, что ребёнок предоставляет неплохие результаты по каким - либо предметам, образовательным областям или конкурсам, олимпиадам, а выполняет при этом работу с большим нежеланием, о чём часто никто и не подозревает. В результате он может получить рекомендации, заниматься на профиле, где он будет успешен, но не будет испытывать морального удовлетворения. Помочь ребёнку найти себя, грамотно выстроить профориентацию будет возможно, используя этот раздел портфолио, где будет представлена Саморефлексия ребёнка на разнообразную выполняемую им деятельность, начиная с учебной и урочной и заканчивая хобби.
В данный раздел, прежде всего, включаются следующие документы:
- резюме;
-перечень предоставленных отзывов и рекомендаций.
Таким образом, данный вид портфолио учит ребёнка оценивать свою деятельность и самореализовываться в ней.
Виды образовательных портфолио разнообразны, педагоги и учащиеся вправе выбрать тот вид, который помогает организовать деятельность обучающихся. На наш взгляд, наиболее оптимальный вариант портфеля образовательных достижений обучающихся - это смешанный вид, в котором представлены его результаты обучения, активной социальной жизни и моменты самооценивания собственных результатов.
2.3. Портфолио как средство диагностики образованности
Одним из основных средств, направленных на реализацию самоопределения школьника, является развивающаяся психологическая диагностика.
Такая диагностика предполагает использование комплекса психологических методик, обеспечивающих, во - первых, возможность получения каждым учащимся информации о своих индивидуальных психологических качествах и степени их соответствия той или иной профессии (диагностические методические процедуры); и, во - вторых, возможность развития этих психологических качеств (развивающие методические процедуры в виде интеллектуального социально - психологического тренинга, психотехнических, сюжетно - ролевых игр.
« Изучение психологического облика личности, - писал С.Л. Рубинштейн,- включает в себя 3 основные вопроса. Первый вопрос, на который мы стремимся получить ответ, когда хотим узнать, что представляет собой тот или иной человек, гласит: чего хочет человек, что для него привлекательно, к чему он стремится? Это вопрос о его направленности, о его установках и тенденциях, потребностях, интересах и идеалах. Но вслед за вопросом о том, чего хочет человек естественно встаёт второй: а что он может? это вопрос о способностях, о дарованиях человека. Однако способности - это сперва только возможности; для того, чтобы знать, как реализует и использует их человек, нам нужно ещё знать, что он есть, что закрепилось в качестве стержневых способностей его личности. Это вопрос о характере человека» [8,87].
В методических рекомендациях по организации и осуществлению предпрофильной подготовки школьников, подготовленных сотрудниками центра социально - профессионального самоопределения молодёжи НОСО РАО С.Н.Чистяковой, Н.Ф.Радичевым, П.С. Лернером, В.П.Бондарёвым, раскрывается программа развивающей психологической диагностики, охватывающей 6 психологических сфер, характеризующие индивидуальные психологические ресурсы личности, и ориентирование на их диагностику:
-психологическая сфера (психические и поведенческие проявления свойств нервной системы);
-мотивационная сфера (присущие личности склонности, интересы, связанные с выбором профессии);
-характерологическая сфера (черты характера, проявляющиеся в системе ведущих отношений личности к деятельности, другим людям, самому себе, предметному миру);
-эмоционально - волевая сфера (типичные для личности эмоциональные состояния, а также возможности волевой регуляции деятельности);
- интеллектуальная сфера (сформированность интеллектуальных способностей с учётом показателей интеллектуальной продуктивности и показателей своеобразия интеллектуальной деятельности);
-социально - психологическая сфера (коммуникативные качества личности, проявляющиеся в условиях взаимодействия с людьми, социально - профессиональная адаптированность).
Комплект известных методик адаптирован на диагностику только 3 - х психологических сфер, характеризующих индивидуальные психологические ресурсы личности: социально - психологическую, интеллектуальную, мотивационную. Мы приводим их в качестве примера возможной работы в данной направленности. Так как предпрофильную подготовку учащихся сопровождают психологические школы, то мы надеемся, специалист сможет спланировать периодичность диагностики, значимость и необходимость тех или иных тестов в обеспечении необходимого психологического сопровождения учащегося в вопросах самоопределения.
Для овладения любой профессией у каждого человека есть качества, которые обеспечивают его возможность и готовность к трудовой деятельности. Это уровень и физической, и умственной работоспособности, уровень интеллектуальной активности, склонности и способности, отношение к учёбе и работе. Именно эти качества могут обеспечить успех в любой профессии. Но не всегда человек знает эти свои способности.
Известно, что проверка и отбор на те или иные виды труда в соответствии со способностями и качествами человека практиковалось ещё в незапамятные времена. Ещё в середине третьего тысячелетия до н.э в Др. Вавилоне проводились испытания выпускников школ, где готовились писцы, а в Др. Китае уже существовала система способностей лиц, желавших занять должности правительственных чиновников и другое. Сейчас во многих газетах и журналах публикуется огромное количество жестов. Именно с помощью психологического тестирования человек может определить свои личностные качества, интересы, то есть лучше узнать себя, что поможет человеку в выборе профессии, то есть профессиональную жизнь человека. Но на проведение тестирования обязательно требуется от человека искренности в его ответах.
Для правильного выбора профессии необходимо учитывать такие психологические составляющие личности, как направленность, особенности эмоционально волевой сферы, характер, темперамент, так как, давая характеристики разным людям, психологи обращают внимание на степень устойчивости их чувств, поведения, психической деятельности, различных темпераментов.
Согласно Meisels и Steel (1991), портфолио позволяет детям участвовать в оценке их собственной работы; смотреть вслед индивидуальному прогрессу ребёнка и обеспечивать базис для полного оценивания качества индивидуальной детской работы. Широкое использование может стимулировать изменения в методах преподавания и политике образования по отношению к обучению, отношения политики образования к обучению, которое полнее раскрывает диапазон детских потребностей, связанных с развитием.
Портфолио - целеустремлённое собрание работ учащегося, его развитие и достижение в одной или более областях учебного плана. Собрание должно включать следующее:
· Участие самих учащихся в разработке курса;
· Критерии отбора;
· Критерии оценки достоинств;
· Свидетельство (очевидность) самовосприятия учащегося.
Преподавателю рекомендуется представлять лучшие работы учащегося или лучшие попытки, а также отобранные учащимися образцы работ, связанных с оцениваемыми результатами, и документы, фиксирующие развитие. В качестве документов могут быть представлены наброски, рисунки, промежуточные расчёты и так далее.
В новой системе оценивания работы, связанной с контролем за развитие мастерства учащихся согласно учебному плану, портфолио могут:
· Ускорить процесс оценки, показывая диапазон навыков и умений учащихся;
· Поддерживать учебные цели;
· Фиксировать изменение и рост за определённый период времени;
· Поощрять результаты учащихся, преподавателей и родителей;
· Обеспечивать непрерывность процесса обучения от года к году;
Как только портфолио организован, преподаватель может оценить достижения ребёнка. Соответствующая оценка всегда сравнивает текущую работу ребёнка с более ранней. Эта оценка должна указать развитие ребёнка по отношению к имеющимся стандартам, которая соотносится с учебным планом преподавателя и соответствующими прогнозами развития. Портфолио, как предполагается, не используется для сравнения детей между собой. Они являются документацией, говорящей о конкретном индивидуальном развитии за определённый отрезок времени. Заключения преподавателя о достижениях ребёнка, его способностях, силах, слабостях и потребностях должны быть основаны на полном диапазоне развития этого ребёнка, основываясь на данных портфолио и знание преподавателем учебного плана и стадий развития.
Использование портфолио с целью оценивания детей обеспечивает преподавателей выстроенной системой планирования родительских собраний. Беря портфолио в качестве основы для разговора, преподаватель и родители могут рассматривать конкретные примеры работы ребёнка более успешно, чем абстрактно обсуждая его развитие.
Соответственная оценка детей должна включать непосредственно самих детей, родителей и преподавателей. Метод портфолио обеспечивает дифференцированный подход к принятию решений, который повлияет на отношение детей к работе и школе в целом. Это освобождает преподавателя от ограничений, связанных со стандартизацией исследований. Наконец, используя портфолио, преподаватель имеет возможность расширить работу в классе и с каждым ребёнком. Кроме того, использование портфолио позволяет сосредоточить своё внимание на ребёнке и развивать межличностные отношения с ним.
Портфолио предполагает идеальный вариант для контроля прямого опыта учащегося при оценке работ программы и измерения изучения значимых задач. Они могут фиксироваться как конечные результаты, так и продолжающееся развитие мышления учащихся при занятости в подобных мероприятиях.
Согласно Paulson, Paulson и Meyer (1991, стр. 63): «Портфолио предлагает путь оценки образовательного процесса, который отличается от традиционных методов. Оценка с помощью портфолио обеспечивает преподавателю и учащимся возможность наблюдать учащегося в более широком контексте: риск, развитие творческих решений и обучение, чтобы иметь суждения об их собственных действиях».
Чтобы вдумчиво оценивать учащихся, учителя должны иметь большое количество стратегий по этому процессу. Критерии для законченного портфолио могли бы оказаться следующие:
· Обдумывание (включая контроль учащимся собственного понимания, метакогнитивного восприятия и продуктивных навыков мышления);
· Рост и развитие в отношениях, являющихся ключевыми к учебному плану;
· Понимание и осознание ключевых процессов;
· Законченность, правильность и уместность методов и процессов, представленных в портфолио;
· Разнообразие подходов (например, использование многократных форматов, чтобы демонстрировать достижения по имеющимся стандартам выполнения работы).
Существует огромное множество защиты портфолио, такие как: письменные комментарии о проделанной работе, также наиболее популярной становится - презентация. Учащийся презентует содержание своего портфолио на родительской или ученической конференции, общешкольном родительском или классном собрании, совете старшеклассников и другое.
На презентации ученик должен выходить с кратким устным комментарием о проделанной работе, который должен отражать его собственные мысли в отношении всей совокупности представленных работ. Оценку выступления осуществляет школьный совет по портфолио, в который входят представители родительской общественности, органов самоуправления, педагоги, координатор по предпрофильной подготовке.
Критерии оценки презентации портфолио (по пятибалльной системе): самостоятельность, определение сроков создания портфолио, отражение собственной позиции ученика (самооценка) относительно представленных работ; процесс решения проблем; логика рассуждения и культура речи.
Таким образом, портфолио - это способ фиксирования, накопления и оценки индивидуальных достижений школьника в определённый период его обучения. Благодаря ему, ученик может проявить себя, показать свои знания, умения, навыки. Это собрание достижений учащихся, а именно способ для проявления себя в определённой области.
Заключение
Анализ литературы, посвященный применению портфолио в обучении, убедительно показывает, что в идее портфолио заключены большие возможности для модернизации школьного обучения, то есть для совершенствования процесса обучения в свете новых требований, предъявляемых в настоящее время в школе. Ценность портфолио состоит в том, что вокруг него и в связи с ним может быть выстроен такой учебный процесс, который позволяет развивать или формировать некоторые когнитивно - личностные качества (компетентности), которые выдвигаются миром образования и труда как необходимые каждому человеку для активного участия в жизни современного демократического информационного общества. Хотя утверждение, что школа XXI века - это «школа портфолио», то есть когда портфолио выступает, как некая панацея, которая должна перевернуть всё традиционное образование, - явно преувеличено, освоение методов портфолио в российской школе может стать одним из важнейших направлений модернизации, но только при условии обеспечения его надлежащим теорико - методологическим анализом и связанными с ним дидактико-методическими материалами.
Мы считаем, что выполнили ряд тех задач, которые поставили перед собой перед написанием данной исследовательской работы (реферата): знакомство с понятиями «портфолио» и «оценивание» в образовании, анализ психолого - педагогической литературы по данной теме, рассмотрели особенности применения портфолио в ОУ, также сформулировали выводы по данной теме.
Мы думаем, что добились цели, которую поставили перед собой, а именно рассмотрели портфолио достижений учащихся как альтернативный способ оценивания в условиях общеобразовательной школы.
Список литературы
1. Юдина И.Г. Портфолио.- Волгоград.: Учитель, 2007.-124 с.
2. Новикова Т.Г. Папка индивидуальных достижений - «портфолио»// Директор школы.-2004. - № 7.- с. 45 - 48.
3. Пейн С. Дж. Учебное портфолио - новая форма контроля и оценки достижений учащихся // Директор школы. - 2000.- № 1. - с.65-67.
4. Теория и практика организации предпрофильной подготовки /Под ред.Т.Г. Новиковой. - М.: АПКиПРО, 2003. - 320 с.
5. Сиротюк А.Л. Обучение детей с учётом психофизиологии: практическое руководство учителей и родителей. - М.:ТЦ «Сфера», 2000. - 176 с.
6. Подласый И.П. Педагогика.- М.: Просвещение, 1996. - 245 с.
7. Баранов С.П. Педагогика. - М.: Просвещение,1987. - 34 с.
8. Педагогика / под ред. П.И.Пидкасистого.- М.: Российское педагогическое агенство,1995. - 215 с.
9. Загвязинский В.И.Теория обучения. Современная интерпретация.- М.: ACADEMA,1999.- 54 с.
10. Харламов И.Ф.Педагогика.- М.: Юристь,1997.- 46 с.
11. Ксензова Л.Ю. Оценочная деятельность учителя. - М, 2000. - 67 с.
12. Модель «портфолио» выпускника основной школы МОС Крапивинского района Кемеровской области // Управление школой. -2004. - № 31. - с. 45- 47.
13. Портфолио достижений ученика - шаг в сторону реформирования оценочной системы в школе // Профильная школа.- № 5. - 2004. - с. 65 -67.
14. Новикова Т.Г. Нужен ли портфолио российскому школьнику? // Методист. - 2004. - № 5. - с. 56 - 59.
15. Загвоздкин В.К. Портфель индивидуальных учебных достижений - нечто большее, чем просто альтернативный способ оценки // Школьные технологии. - 2004. - № 3.- с. 32 - 36.
16. Гальскова Н.Д. Теория и практика обучения иностранным языкам (начальная школа, методическое пособие).- М.:АЙРИС ПРЕСС, 2004.-
Страницы: 1, 2
