Исследование: ChatGPT проиграл студентам в искусстве убеждения
Совместное английско-китайское исследование показало, что студенческие эссе превосходят тексты, сгенерированные ChatGPT, по количеству и разнообразию маркеров вовлечённости. Как сообщается в тг-канале Образование 4.0, работам генеративного ИИ, которые были признаны связными и содержательными, не хватало одного важного момента — индивидуальности.
Для анализа учёные отобрали из коллекции реальных студенческих эссе 145 работ, написанных второкурсниками британских университетов до 2005 года. Темы эссе были разнообразными: отношения Великобритании с ЕС, транспорт, бокс, компьютеры и жизнь, парламентская система, даже охота на лис. Для сравнения исследователи сгенерировали с помощью ChatGPT 4.0 145 текстов на те же темы. Промпты для нейросети повторяли задания, которые давались студентам, а также ChatGPT задали определённую роль, реалистичный контекст, правила и тон письменного задания.
Изучив эти наборы текстов, учёные выявили в них такие маркеры вовлечённости:
- упоминания читателя (например, использование местоимений «мы» и «вы»);
- вопросы (включая риторические);
- отсылки к общим знаниям;
- директивы (побуждения к действию или размышлению);
- личные отступления.
Чтобы выяснить, какие работы содержат больше таких элементов, исследователи посчитали количество маркеров вовлечённости на 1 тысячу слов в эссе студентов и ChatGPT.
В результате выяснилось, что студенты гораздо активнее используют риторические приёмы: в их эссе в среднем встречалось 16,99 маркера вовлечённости на 1000 слов, тогда как в текстах ChatGPT показатель составил всего 5,4.
Особенно заметной оказалась разница в использовании вопросов и личных отступлений — последние практически отсутствовали в сгенерированных ИИ работах. В то же время ChatGPT чаще ссылался на общие знания — это, по мнению исследователей, объясняется тем, что он обучался на огромных массивах текстовых данных.
Рубрика: Новости
Дата: 23-05-2025
Теги: ChatGPT