Генеративный ИИ два года спустя: разоблачения продолжаются

Инструменты и сервисы генеративного искусственного интеллекта (ИИ) активно развиваются, повышается качество результатов генерации. В то же время остаются нерешёнными системные проблемы: сконфабулированные ссылки, правдоподобность и наукообразность при искажении фактов и т.д.

Необходимы эффективные инструменты для качественной детекции и организации работы с ИИ при создании текстов научного и учебного содержания.


Юрий ЧЕХОВИЧ, заведующий лабораторией Института проблем управления имени В.А. Трапезникова РАН, руководитель компании «Думейт», к. ф.-м. н.

Павел БОТОВ, руководитель разработки компании «Думейт», к. ф.-м. н.

Андрей ГРАБОВОЙ, старший научный сотрудник Института проблем управления имени В.А. Трапезникова РАН, руководитель исследований компании «Думейт», к. ф.-м. н.

Андрей ИВАХНЕНКО, младший научный сотрудник Института проблем управления имени В.А. Трапезникова РАН, руководитель отдела внедрения и эксплуатации компании «Думейт», к. ф.-м. н.

Александр КИЛЬДЯКОВ, научный сотрудник Института проблем управления имени В.А. Трапезникова РАН, технический директор компании «Думейт»


ДВА ГОДА ПРОШЛО. ЧТО ИЗМЕНИЛОСЬ?

В 2024 г. журнал «Университетская КНИГА» опубликовал статью [1], в которой мы постарались в популярной форме рассказать о генеративных моделях ИИ. К этому моменту их применение уже стало массовым, однако значительная часть пользователей практически не разбиралась в принципах новых технологий, воспринимая их работу как нечто магическое. Нельзя сказать, чтобы для этого не было оснований. Новые технологии стремительно освоили задачи, решение которых многие сотни лет рассматривалось как подтверждение когнитивных возможностей человека.

В работе [1] мы рассматривали ИИ прежде всего как генератор правдоподобного текста и пытались разобраться, почему этот текст нельзя безусловно считать достоверным. Механизмы генерации, причины и опасности галлюцинаций, ограничения моделей и риски для науки и образования — эти вопросы и сейчас остаются актуальными.

Что изменилось к 2026 г.? Прежде всего, использование ИИ студентами и учёными из массового превратилось во всеобщее. Исследования в студенческой [2] и исследовательской [3] среде показывают, что генеративный ИИ применяют если не все, то очень многие. В учебно-научной среде постепенно осуществляется переход от экспериментов с чатами как генераторами текста к инфраструктурному использованию ИИ в качестве набора повседневных интеллектуальных инструментов. Сейчас ИИ довольно прочно встроен в несколько стадий исследовательской деятельности [4].

Масштабные исследования текстов научных публикаций на наличие в них признаков использования больших языковых моделей показывают, что уже в 2024 г. 13,5% аннотаций статей по биологии и медицине подвергались обработке ИИ. В некоторых выборках показатель достигал 40% [5]. Исследования российских научных публикаций демонстрируют аналогичные тенденции [6]¹.


¹ Наша работа над этой статьёй не стала исключением: несколько ИИ-сервисов использовались для поиска и структуризации информации, перевода с английского на русский, планирования и проведения эксперимента.


На этом фоне наблюдается отставание в уровне компетенций пользователей, а также в нормативах и практиках регулирования использования ИИ [7]. Наши исследования нормативной базы показывают, что не более 25% российских вузов предполагают использование новых технологий учёными и студентами. «Нормативка» трёх четвертей университетов написана и утверждена до эпохи нейросетей [8].

Купить на OZON