Психометрика появилась более века назад и изначально измеряла уровень знаний человека через совокупность правильно выполненных заданий. В настоящее время спектр задач этой науки намного шире, начиная с персонализированного обучения и анализа пользователей в социальных сетях и заканчивая медицинской аналитикой. Сегодня флагманами в психометрике являются Нидерланды, Бельгия, Великобритания и США. Именно в этих странах уже более ста лет разрабатываются новые подходы и математические модели вычислительной науки о поведении.

В России психометрика как наука стала развиваться фактически в начале 2000-х, а в 2016 г. в Дирекции по онлайн-обучению НИУ ВШЭ был создан первый в стране центр, специализирующийся на психометрических исследованиях в онлайн-образовании.

Автор Дарья КРАВЧЕНКО, ведущий аналитик Центра психометрических исследований в онлайн-образовании НИУ ВШЭ

ЧТО ТАКОЕ ПСИХОМЕТРИКА И ЗАЧЕМ ОНА НУЖНА

Психометрика — это область науки о поведении (behavioral science), которая занимается измерениями и математическим моделированием латентных конструктов и процессов в образовании и психологии. Латентный — значит невидимый, ненаблюдаемый. Например, знания — латентный конструкт: невозможно пронаблюдать, сколько их в голове у человека. В этом случае моделируют ситуацию, в которой человек может проявить свои знания. Тесты, опросники, задачники существуют, для того чтобы на основе ответов — верных или неверных — и с помощью специально разработанного математического аппарата установить связь между наблюдениями и интересующими нас латентными переменными.

На сегодняшний день в психометрике чётко прослеживаются два направления: прикладное и вычислительное. Прикладная психометрика располагается на пересечении психологии, педагогики и базовой статистики: она занимается разработкой тестов, анкет, опросов и обработкой собранных с их помощью данных для измерения знаний, способностей и психологических особенностей человека. Вычислительная психометрика сравнительно новая область, комбинирующая методы компьютерных наук и теоретическую психометрику для более глубокого моделирования и объяснения поведения человека. Например, информация о том, сколько попыток решить задание сделал студент, какой вопрос задал на форуме, как часто пересматривал видеолекцию на онлайн-платформе, позволяет сделать более точные выводы о его знаниях. Но для того чтобы сформулировать такие выводы, требуются новые вычислительные методы, разработкой которых и занимается вычислительная психометрика.

Помимо психологии и образования психометрические методы применяются в социологии, поскольку в этой области активно используются измерения, а также в медицине и маркетинге. Мы в Высшей школе экономики используем психометрику в онлайн-образовании.

ПСИХОМЕТРИЧЕСКАЯ АНАЛИТИКА ОНЛАЙН-КУРСОВ В НИУ ВШЭ

Центр психометрических исследований в онлайн-образовании отвечает за качество измерений в онлайн-курсах НИУ ВШЭ. Мы консультируем авторов курсов о том, как правильно планировать разработку и составлять измерительные инструменты, рассказываем им о требованиях и даём базовые рекомендации. В процессе создания контента для курса участвуем в содержательной экспертизе измерительных инструментов. Нам поступает большое количество тестов, заданий с открытым ответом, задач, кейсов. Все эти материалы мы рассматриваем с точки зрения корректности формулировок, ответных опций, наличия или отсутствия подсказок в ответах или в вопросах, а также в целом анализируем композицию измерительного инструмента. Каждое задание оценивается с точки зрения его направленности на измерение педагогических целей: запоминания учебного материала, его понимания или применения. Хороший измерительный инструмент должен содержать в себе задания всех трёх видов. И если мы выявляем какие-то моменты, которые можно улучшить в измерительном инструменте, то даём обратную связь преподавателю: пишем о том, что можно было бы усовершенствовать. Например, считаем, что стоит добавить задания на применение материала, и приводим примеры, опираясь на которые педагоги могут разработать свои. Мы называем этот процесс содержательной экспертизой.

После того как курс прошёл годичный цикл, мы выгружаем данные с платформ, где размещаются курсы НИУ ВШЭ. Под данными мы понимаем цифровой след — это любая активность студента на платформе онлайн-обучения, например регистрация на курсе, просмотр видеолекций, решение проверочных заданий, работа на форуме курса. Все эти действия фиксируются и сохраняются платформой. Психометрический анализ данных проводится по нескольким блокам: трудность контента, просматриваемость видеолекций, измерительные инструменты и наличие прироста в подготовленности студентов. Далее формируем рекомендации для преподавателя, на основе которых он вносит доработки в курс. Скажем, в части оценочных инструментов мы нередко рекомендуем заменить проблемные задания.

ЭТАПЫ РАБОТЫ С СЕРВИСОМ ПСИХОМЕТРИЧЕСКОЙ АНАЛИТИКИ ОНЛАЙН-КУРСОВ НА РЕСУРСЕ ОДНОГО ОКНА

В 2017 г. НИУ ВШЭ получил грант Минобрнауки России на разработку и внедрение методики и инструментария психометрической аналитики онлайн-курсов в рамках приоритетного проекта «Современная цифровая образовательная среда в Российской Федерации». Основным результатом работы стал сервис психометрической аналитики онлайн-курсов, запущенный в конце 2018 г. и интегрированный в так называемый Ресурс одного окна (РОО, online.edu.ru) — платформу, на которой могут размещать свой контент правообладатели онлайн-курсов Российской Федерации: любые университеты, организации и коммерческие компании. Сервис доступен на этой платформе как дополнительная опция для правообладателей, которые могут воспользоваться ею в качестве инструмента, позволяющего анализировать данные.

Каждый правообладатель курсов на РОО может зайти в личный кабинет, в котором представлен целый ряд услуг, в том числе портфолио, оценка работодателями конкретного онлайн-курса и сервис психометрической аналитики. Выглядит он как обычное поле для прикрепления файла, куда правообладатель загружает данные и нажимает кнопку «Отправить». Если они корректны, то в течение нескольких минут появляется ссылка на отчёт — PDF-файл с аналитикой по курсу.

Важно пояснить, что для нормальной работы сервиса загружаемый контент должен соответствовать определённой структуре. Поскольку в основу работы сервиса положен конкретный алгоритм, для осуществления корректной аналитики правообладателю необходимо предварительно вычленить нужные данные. Это делается с помощью конвертера, который, как показала практика, разрабатывается правообладателями под конкретную платформу без особых проблем. Обычно на его подготовку у программистов университета уходит не более двух недель. Мы предоставляем полное описание структуры данных, в которой описаны переменные — параметры, необходимые для аналитики (ID слушателя курса, оценки по тестам, данные о том, как студент просматривает видеолекции, и др.). На эту структуру программист ориентируется при разработке. Такие конвертеры, например, уже созданы для Национальной платформы открытого образования, «Лекториума», для собственных онлайн-платформ Высшей школы экономики («Онлайн-образование в НИУ ВШЭ») и Томского государственного университета. Правообладатели курсов на этих платформах имеют возможность выгружать на РОО уже сконвертированные данные.

СТРУКТУРА АНАЛИТИЧЕСКОГО ОТЧЁТА

Аналитический отчёт включает в себя четыре блока.

ПЕРВЫЙ БЛОК — это анализ трудности, т.е. информация о том, насколько контент внутри курса (а чаще всего это видеоматериалы) был доступен для слушателей. Обычно онлайн-курс состоит из тем или из модулей, и правообладателю доступны данные о трудности по каждой отдельной теме: насколько она была сложной или, наоборот, лёгкой для освоения студентами.

Как разработчики сервиса мы считаем, что каждый правообладатель должен ориентироваться прежде всего на цели своего курса. Если курс носит ознакомительный характер, то, безусловно, он не должен быть очень трудным. Если же курс академический и его задача — обучить, а по итогам измерить образовательный результат (выдать сертификат, поставить оценку), то в этом случае необходимо обратиться к рекомендациям, которые мы даём.

ВТОРОЙ БЛОК посвящён анализу подготовленности студентов и содержит информацию о её приросте к концу курса. Важно, чтобы подготовленность студентов в ходе освоения курса повышалась. Отсутствию такого прогресса есть несколько объяснений. Например, может оказаться, что на курс записались хорошо подготовленные слушатели; в таком случае он не даёт для их прогресса значимого эффекта. Или же, наоборот, студентам в целом трудно обучаться на курсе: они не справляются со сложными заданиями и поэтому прироста знаний не происходит.

ТРЕТИЙ БЛОК — это данные, полученные в результате анализа взаимодействия слушателей с учебным контентом. Они представляют собой таблицу, в которой представлено число слушателей, просматривавших видеоматериалы курса. Если активность низкая, то необходимо работать с контентом. В данном случае мы рекомендуем использовать ссылки на материалы внутри курса, на внешние ресурсы или на контент на форумах.

ЧЕТВЁРТЫЙ БЛОК посвящён анализу измерительных инструментов в онлайн-курсе. Автор получает информацию о распределении всех заданий в курсе по трудности. Допустим, оказалось, что в курсе 80% заданий лёгкие: с ними подавляющее большинство студентов справляется с первой попытки. В этом случае преподаватель может принять решение добавить в курс более сложные задачи. В помощь ему предназначены специальные таблицы: с самыми трудными заданиями и с наиболее лёгкими. Если в курсе есть задание с открытым ответом (задание на взаимную оценку), то автору предоставляется диаграмма с информацией о том, присутствует ли эффект занижения/завышения баллов студентами, которые проверяют работы своих сокурсников. Если такой эффект наблюдается, то автор может обратиться к рекомендациям.

РЕКОМЕНДАЦИИ ПО УЛУЧШЕНИЮ КОНТЕНТА ОНЛАЙН-КУРСОВ

Все рекомендации в аналитических отчётах носят универсальный характер, однако в каждом конкретном случае они распределены по показателям. В случае если необходимо повысить качество усвоения, но у правообладателя нет возможности доработать видеоконтент, имеет смысл добавить ссылки на дополнительные материалы, подсказки, элементы интерактивного обучения (когда видео встраивается в виде заданий), разобрать кейсы, инициировать обсуждение на форуме. Словом, дополнить курс всем тем, что способно помочь студенту.

Если курс оказался слишком трудным, то можно его переработать: включить вопросы с открытыми ответами, добавить лёгкие задания или упростить формулировки, использовать формирующее оценивание — когда предлагаются пять-шесть задач, похожих на те, что будут в итоговом тесте: студент может подготовиться и изучить материалы. Если позволяет платформа, можно встроить в видеолекцию вопрос, а после неё предложить небольшое неоцениваемое задание, которое выявит проблемы студентов.

Важно, чтобы в пререквизитах, т.е. во вводной информации к курсу, были корректно описаны его цель и аудитория. Возможно, имеет смысл добавить вступительный тест, определяющий уровень слушателя, или задачу по физике либо по алгебре, т.е. то, что позволит студенту на самом старте понять, готов он приступить к обучению на этом курсе или нет.

Мы постарались сделать рекомендации наиболее универсальными, подходящими под большинство ситуаций, но тем не менее каждый курс — это индивидуальный живой организм со своими процессами и необходимо рассматривать все показатели в комплексе, чтобы выявлять проблемные места. Важно понимать, что аналитический отчёт — это прежде всего инструмент и, как и любым инструментом, им нужно уметь пользоваться. В помощь тем, кто хочет освоить функционал сервиса, мы разработали электронный справочник, в котором рассказано, как пользоваться отчётом, и содержится очень много полезной информации для разработчиков онлайн-курсов, в том числе примеры того, как можно интерпретировать показатели, а также кейсы университетов, участвовавших с нами в проекте. Всю эту информацию можно найти на сайте Центра психометрических исследований в онлайн-образовании НИУ ВШЭ.

КАК СОЗДАВАТЬ ОНЛАЙН-КУРС: ПРАКТИЧЕСКИЕ СОВЕТЫ ПСИХОМЕТРИКОВ

Разработка онлайн-курса — это очень сложный и многоуровневый процесс, которым должны заниматься специалисты. С точки зрения психометрики очень важно подходить к разработке курса заблаговременно, как и к подготовке контента в целом.

Прежде всего необходимо создать описание курса. Как психометрики мы можем порекомендовать включить в него пререквизиты — информацию, которая даёт студенту возможность перед началом обучения прочитать о том, для кого этот курс и что необходимо знать для его прохождения. Хорошо, если платформа позволяет встроить в неё входящий не очень сложный welcome-тест.

Что касается видеоконтента, то тут мы можем порекомендовать встраивать в видеолекции задания и вопросы на понимание. Это повышает качество работы студента. Советуем включать подобные задания через каждые три-четыре минуты видеолекции. Если же такой технической возможности нет, можно добавлять задания до видеолекции или после неё. Также имеет смысл предложить студенту поделиться своим мнением на тему лекции, поскольку, когда человек отвечает на такой вопрос, он думает о том, что изучил. Можно добавить дополнительный контент или ссылки на него. В таких материалах часто содержится расширенное объяснение, способное помочь разобраться в теме студентам, которым видеолекции было недостаточно.

Наверное, самый большой массив рекомендаций психометрика позволяет дать в отношении измерительных инструментов в онлайн-курсе. Здесь снова на первое место выходит планирование. Необходимо заранее разработать все тесты и задания, ознакомиться с возможностями платформы и выяснить, какие типы задач она поддерживает. Важно понимать, где задания будут использоваться: в итоговой проверке с целью измерения результата или в формирующем тесте, предназначенном для того, чтобы обучить, ознакомить, помочь, поддержать, выявить сильные и слабые стороны студента, направить его.

По нашему мнению, задания в тесте должны быть разными, как по целям: на понимание, запоминание и применение, так и по типам. Например, мы рекомендуем использовать меньше заданий с выбором одного верного ответа, объясняя, что предпочтительнее задавать вопросы с вводом ответа, поскольку это снижает вероятность списывания, ведь время на прохождение теста ограниченно. Если есть возможность, стоит включить задания на взаимную оценку, когда студент сам конструирует ответ и его проверяют сокурсники. Разработка таких заданий — кропотливый процесс, поскольку требует подготовки инструкции, ясного и чёткого формулирования задания и, наконец, установления критериев для тех, кто будет оценивать. Если критерии не содержат ответов, мы советуем показывать их студентам, выполняющим задание, ведь хотелось бы знать, как, по каким критериям их будут оценивать и на что нужно обратить внимание. Считается, что самая главная проблема взаимной оценки — субъективность (когда кто-то необоснованно завышает, занижает или усредняет баллы), однако не меньшую проблему представляет ситуация, когда неподготовленные студенты, которые не освоили материал, проверяют других. И если студент некомпетентен, а критерии сформулированы очень размыто, это не позволит корректно оценить работу. Основная задача — разработать чёткие, ясные и понятные критерии (пусть они даже будут при этом большими, широко описанными), которые позволят тому, кто проверяет работу, тоже чему-то обучиться, прочитав их. Так, если критерий снабжён примером качественного выполнения задания, то студент сможет, опираясь на него, поставить релевантный балл. В целом каждому элементу тестовых заданий мы можем дать определённые рекомендации.

Есть ряд ошибок, которых лучше избежать на стадии разработки тестовых заданий. Одна из основных — когда формулировка одного задания содержит подсказку к последующим. Встречается немало композиционных ошибок в ответных опциях, подсказок в самих ответах. Обычно сложно даются авторам задания на взаимную оценку: в них начинают возникать формулировки «Как вы думаете?», «Что вы думаете по поводу?», которые лучше исключать, если мы хотим измерить результат.

ПЕРСПЕКТИВЫ РАЗВИТИЯ СЕРВИСА ПСИХОМЕТРИЧЕСКОЙ АНАЛИТИКИ

Сервис стартовал в сентябре 2017 г. Встроенная в него метрика позволяет отслеживать, сколько организаций успели им воспользоваться, но пока ещё прошло слишком мало времени, для того чтобы собирать и анализировать подобную статистику. В период разработки и запуска сервиса было проанализировано 270 онлайн-курсов 15 ведущих российских университетов, в том числе СПбПУ, УрФУ, ТюмГУ, Самарского университета, ОмГТУ, МФТИ и др., т.е. география вузов была довольно широкой. Основываясь на рекомендациях из аналитического отчёта, коллеги из этих вузов модернизировали свои онлайн-курсы, чтобы повысить эффективность их освоения слушателями. У каждого университета были индивидуальные корректировки: кто-то работал с тестовой системой — усложнял, упрощал, делал более разнообразными задания или убирал их вовсе, кто-то дорабатывал видеоматериалы — добавлял ссылки, менял описания курса в пререквизитах, добавлял вводные тесты, инфографику, чтобы повысить вовлечённость студентов.

Безусловно, если представится возможность, сервис психометрической аналитики имеет смысл развивать и дальше: делать более развёрнутой аналитику, работать с платформами, чтобы корректировать технические моменты, связанные с правильным отображением курса. Можно встроить в сервис элементы выявления ситуаций, когда студенты списывают, отслеживать паттерны, добавлять возможности кластеризации студентов исходя из того, какие траектории прохождения курса они выбирают и как это вязано с выполнением ими тестовых заданий. Естественно, для осуществления этих целей потребуется больше данных и соответственно это будет уже другая структура и иной алгоритм работы.

Опубликовано в номере апрель 2019