Критерии оценивания и сравнения обучающих ресурсов [Criteria for evaluating and comparing electronic teaching resources]

XVIII April International Academic Conference on Economic and Social Development: Section X: Russian Language in a Multilingual World; 13 April 2017, National Research University Higher School of Economics, Moscow, Russia

В марте прошлого года кафедры русского языка финских университетов решили перенести упражнения по грамматике и лексике на общую электронную платформу и сделать их доступными всем преподавателям и учителям, независимо от того, где они работают. В связи с этим стал актуальным вопрос о критериях, по которым электронные обучающие ресурсы можно оценивать, сравнивать и соотносить с потребностями конкретных пользователей. В качестве платформы была выбрана электронная образовательная среда ViLLE, созданная сотрудниками Отделения информационных технологий Университета Турку, так как она отвечает почти всем признакам, которые ниже будут приписаны хорошим обучающим ресурсам.

Под электронными обучающими ресурсами я подразумеваю любые ресурсы, которые специально предназначены для обучения с использованием компьютеров, мобильных телефонов или планшетов. Эти ресурсы можно разделить на три категории: 1) самостоятельные обучающие программы, мобильные приложения и др. программные продукты, с помощью которых ученики могут самостоятельно заниматься, например, лексикой иностранного языка (напр., WordDive и Quizlet); 2) порталы типа Gramota.ru и PushkinOnline, предоставляющие различные материалы для обучения: словари, упражнения, учебные пособия, тексты с гиперссылками, аудио- и видеозаписи, услуги в виде проверки правописания и пунктуации, консультации, тестирования; 3) электронные образовательные среды, которые позволяют организовать и реализовать множество функций, связанных с обучением. Из этих трех категорий акцент нужно сделать именно на электронных образовательных средах. Есть хорошие компьютерные программы и приложения, есть и прекрасные порталы, но только электронные образовательные среды дают преподавателю возможность самому планировать и структурировать весь учебный процесс, управлять им, использовать старые материалы и создавать новые, автоматизировать определенные функции, комбинировать различные учебные события, общаться с учениками. Между образовательными средами есть большие различия, поэтому критериям, по которым делается выбор среды, следует уделять особое внимание.

При оценке учебных ресурсов нельзя не учитывать тот факт, что разработка и производство образовательных технологий стали стремительно развивающейся индустрией, где происходит конкурентная борьба крупных компаний, а также действующих в противовес им государственных организаций и гражданских проектов, которые исходят из концепции открытого доступа к электронным ресурсам. Ниже представлены наиболее популярные в США образовательные среды. Это Blackboard, Moodle, Canvas и DesireToLearn. В Финляндии, как и во многих других странах, широко пользуются и другими средами, здесь всего три примера Fronter (itsLearning Inc.), ViLLE (University of Turku) и DiDesk (Новосибирский гос. технический университет). Кроме того, крупные компании типа Google (edu.google.com) и Microsoft (education.microsoft.com) активно разрабатывают обучающие технологии.

Наиболее популярные в США электронные образовательные среды, 2016. (Trends and the Future of Learning Management Systems (LMSs) in Higher Education, University of Buffalo, Center for Educational Innovation):

Критерии оценивания образовательных сред можно разделить на две группы. Первая группа – это общие критерии, к которым относится многофункциональность, то есть набор функций, которые предоставляет среда, и совместимость разных образовательных сред в отношении кодировки и формата учебных материалов. Вторая группа критериев связана с потребностями преподавателей и учеников, а именно с администрированием образовательной среды, созданием заданий и курсов и управлением учебным процессом и его мониторингом.

Многофункциональность является, безусловно, одной из главных критериев оценивания образовательных сред: чем больше возможностей предоставляет система преподавателям, тем больше у них будет возможностей реализовать свои педагогические концепции и соответствующие методики. Однако у среднего пользователя использование возможностей, предоставленных, например, системой Moodle, ограничивается небольшим числом функций: это передача учебных материалов, прием выполненных студентами заданий в виде файлов, ссылки на интересные страницы, на электронные словари, справочники, базы данных, учебную и научную литературу. Кроме того, Moodle используется для коммуникации между преподавателем и учениками. Что же касается остальных функций, то мало кто ими пользуется. Например, лет пять тому назад я вместе со своей студенткой составил подробную, но все же простую, инструкцию с примерами и картинками, как переносить существующие упражнения по грамматике и лексике в Moodle и автоматизировать их проверку. Была даже презентация этой процедуры, но никто из коллег не стал этим заниматься. Таким образом, значение многофункциональности как критерия выбора образовательной среды снижается, если преподаватели не готовы использовать предоставленные им возможности.

Понятно, что в ситуации, когда одновременно существует несколько систем, предпринимаются попытки обеспечить совместимость образовательных сред в отношении кодировки и формата учебных материалов и других компонентов систем. Об этом говорит, например, Спецификация унифицированных вопросов и тестов (QTI Question and Test Interoperability specification), разработанная консорциумом IMS, и Образцовая модель объекта содержимого для совместного использования (SCORM, Sharable Content Object Reference Model), которая представляет собой ”сборник спецификаций и стандартов, разработанный для систем дистанционного обучения”. Такие инициативы можно только приветствовать, но я считаю, что в данный момент совместимость нельзя считать решающим критерием выбора электронной образовательной среды. Мы просто не знаем, какова будет судьба стандартов, чтó на самом деле станет стандартом и будет ли совместимость между первой, второй, третьей и т.д. версиями того или иного стандарта. Уже теперь в Интернете можно читать о проблемах несовместимости, даже при соблюдении QTI, например: ”Fronter is supposed to be compatible with IMS QTI tests but when I import such a test (prepared in a different test creation tool compatible with IMS QTI) Fronter does not display such a test accurately or sometimes doesn’t display it at all. <—> I do not want to rely completely on the Fronter’s test creation tool beacuse I may not be able to reuse them in other LMS.”

На мой взгляд, при выборе образовательной среды нужно в первую очередь учитывать те критерии, которые непосредственно связаны с потребностями преподавателей и учеников. Нужно узнать, во-первых, какие преимущества дает обучение в электронной среде и какие учебные события – то есть лекции, занятия, задания, тесты, самостоятельную или групповую работу, консультацию и т.д., – целесообразно устраивать в электронной среде. И, во-вторых, сколько времени и усилий нужно для обучения работе в электронной среде, для создания курса и его частей, для мониторинга учебного процесса. Кроме того, при выборе среды нужно узнать и о технических деталях, которые являются необходимой предпосылкой для выполнения нужных для пользователей функций. Как говорят англичане, дьявол кроется в деталях. Например, если среда не допускает употребления любых знаков Юникод, от нее следует отказаться в преподавании русского и многих других языков; если среда не допускает создания автоматически проверяемых заданий, ее не следует выбирать; если среда не позволяет определить для задания два или несколько правильных ответов, ее ни в коем случае не следует выбирать; если нет возможности сохранения заданий, если нет возможности обмениваться заданиями с коллегами или если одни и те же задания нельзя использовать как для упражнений, так и для экзаменов и тестов, от среды следует отказаться.

Критерии, связанные с потребностями преподавателей и учеников, можно объединить в три группы. Первая группа – это критерии, связанные с администрированием образовательной среды. Хорошая среда является бесплатной для преподавателей и учеников, и ее поддержка и администрирование обходятся недорого. Процедуры, обеспечивающие пользователям вход в среду просты: не требуется установки дополнительных программ, допускается использование любого браузера, получить имя пользователя и пароль легко (желательно, чтобы можно было использовать имеющиеся у пользователей имена и пороли учебного заведения). В хорошей системе преподаватель может работать без обращения к администратору. Например, для создания нового курса не нужно разрешения, а для приглашения учеников на курс достаточно сообщить адрес страницы и код курса (ср. Moodle: «Для создания нового учебного курса в Moodle необходимо обратиться к Администратору»).

Вторая группа критериев относится к заданиям. В хорошей среде есть большой выбор заданий, проверку и оценку которых можно автоматизировать. К ним относятся задания на заполнение пропусков (fill gap), задания с множественным выбором (multiple choice question), задания с вложенными ответами (embedded answers), задания на подбор соответствий (connect pairs), задания на расположение в определенном порядке (arrange in order), задания на короткие ответы (short answers). В хорошей системе преподавателю предоставляется поэтапная процедура создания и редактирования заданий и дается возможность в любое время проверять функционирование задания в тестовом режиме. Поддержка со стороны обслуживающего персонала вообще не нужна, есть хорошая инструкция использования системы, в том числе в виде коротких видеороликов. Одним и главных критериев оценки образовательных сред является возможность переноса старых упражнений и заданий в электронную среду. Для того, чтобы перенос получился быстро и легко, нужно, чтобы среда позволяла непосредственно копировать тексты и их фрагменты из документов в формате txt, doc, docx, rtf, pdf и др. и поддерживала любые знаки, соответствующие стандарту Юникод.

В хорошей образовательной среде у каждого преподавателя есть личный архив заданий, которые можно использовать как для упражнений, домашних заданий, самостоятельной работы учеников, так и для тестов. Но кроме того, в хорошей среде есть и коллективный архив заданий, куда по дефолту попадают все созданные преподавателями задания. Хороший коллективный архив напоминает YouTube тем, что каждый преподаватель имеет право искать и использовать существующие в нем материалы. Кроме того, он может оценивать их и отправлять автору сообщения, например, об ошибках, которые он обнаружил. Все преподаватели имеют право копировать задания, обрабатывать их и использовать их на своих курсах. Для коллективного архива нужна хорошая поисковая система, а для эффективной работы поисковой системы нужно, чтобы наименования заданий были дескриптивными и чтобы к заданиям можно было присоединять любое количество ключевых слов, или тегов. В хорошей образовательной среде можно автоматизировать и различные способы обратной связи – от представления правильных ответов и комментариев к ним до получения отзывов от учеников.

Третья группа критериев связана с управлением учебным процессом и его мониторингом. Хорошая среда дает возможности структурировать обучение, например, объединить различные учебные события в урок, занятие или целый курс, определить их последовательность и время, ограничить, например, время выполнения какого-нибудь задания или сдачи теста. Преподаватель может прибавить к любому учебному событию инструкцию и дополнительные материалы – тексты, фотографии, картинки, аудио- и видеозаписи. В хорошей среде преподавателю легко следить за работой учеников, он получает автоматически генерированные отчеты об их активности и успеваемости, о том, кто, когда, за какое время выполняет задание, у кого где бывают проблемы и т.д. (аналитика) При надобности преподаватель и ученики могут пользоваться различными способами взаимодействия – от получения и отправки сообщений и отзывов до чатов и видеоконференций.

Наконец, своего рода суперкритерием оценивания образовательных сред можно считать когнитивную нагрузку, или субъективное восприятие сложности системы относительно усилий и времени, которые нужны пользователю для ее усвоения и использования. В уменьшении когнитивной нагрузки важную роль играет удобный для пользователя интерфейс (user friendly interface). Это, во-первых, эргономически правильно выбранный лейаут, то есть тип, размер, цвет и расположение отдельных текстовых и графических элементов на дисплее. Во-вторых, это легкий доступ к нужным для пользователя функциям, настройкам и командам, а также легкий переход на нужные ему страницы. В-третьих, это помощь, которая всегда под рукой, например, в виде кнопок, помеченных вопросительным знаком. Для уменьшения когнитивной нагрузки также важно, чтобы усвоение разных функций проходило постепенно и начало с тех функций, которые преподаватель считает наиболее полезными для себя и своих учеников. В связи с этим я советую финским преподавателям сначала перенести в систему задания, проверку которых можно автоматизировать, а потом составить из этих заданий занятия для самостоятельной работы учеников. Такие занятия могут заменять обыкновенные домашние задания или служить материалом для повторения. Когда преподаватель и ученики привыкнут к работе в электронной среде, можно постепенно начинать использовать и другие ее функции.

Ахти Никунласси (ahti.nikunlassi@helsinki.fi)