Не только наукометрия: возможности ИИ для оценки науки
Долгое время оценка эффективности науки выстраивалась на привычных наукометрических показателях, но сегодня этот подход вызывает вопросы. Цитирование статей, написанных нейросетью, не может служить показателем результативности исследования, а реальному сектору важнее оценка перспективности внедрения научной идеи в производство, нежели то, сколько ученых её обсудили. Возникают претензии к точности классификации периодических изданий по отраслям науки. Кроме того, появляются исследования на стыке областей знания или в таких сферах, у которых пока нет даже названий, не то что журналов. Все эти вызовы приводят к поиску новых подходов к оценке научной результативности.
Как отметил академик РАН Алексей ХОХЛОВ, традиционные наукометрические методы продолжают использоваться для оценки эффективности науки, но в современных условиях, особенно в связи с широким проникновением искусственного интеллекта (ИИ) в науку и, в частности, в написание статей, подходы должны меняться:
— Нельзя слепо следовать наукометрическому подходу. Нужно более внимательно анализировать то, что делает исследователь, подключать интерактивные формы оценки. Прежде чем выдавать крупный грант, необходимо встретиться с человеком, пообщаться с ним, фактически провести собеседование.
В научном мире распространено мнение: в ближайшем будущем наличие большого количества статей перестанет быть приоритетом и начнёт считаться недостатком.
Алексей Хохлов полагает, что всё зависит от того, за какое время выпущены эти публикации.
— Обычно если у человека много статей, то у него длинная карьера, он выступает на разных конференциях, его знает профессиональное сообщество. А вот когда кто-то за два года выходит в топ-1% мировых исследователей по цитированиям, это заставляет задуматься. Уже появляются метрики, которые пытаются вычислить таких неожиданных «выскочек» и оценить, что они из себя представляют, — подчеркнул академик.
Научный руководитель АО «Антиплагиат» Борис ТХОРИКОВ обозначил новые вызовы, с которыми сталкивается информационная сфера. Объём контента растёт, уже невозможно обрабатывать этот поток и сопоставлять данные с результатами прошлых лет вручную. Нейросети способны генерировать практически безграничный наукообразный контент достаточно легко и недорого. Кроме того, существует риск ошибочных интерпретаций: исследователь может принять вывод ИИ за проверенный результат.
— Любая единица научного контента, будь то статья или отчёт по НИОКР, является скомпрометированной: там может содержаться или умышленная ошибка, или случайная. Практическое использование научных результатов требует доступа не только к их описанию и индикаторам, но и к данным, на которых они основаны, — отметил эксперт.
Следующий шаг научной аналитики — переход от анализа текстов и показателей к анализу исследовательских данных, считает он. Необходимо работать с содержанием исследования, а не с его формальными проявлениями. Задача ИИ будет состоять в том, чтобы обобщить, систематизировать, распределить по межотраслевому признаку первичные исследовательские данные. Это даст новый практический эффект: бизнес получит не разрозненные сведения о том, что происходит в интересующей его сфере, а достоверные данные, которые могут быть интегрированы в технологические решения. Если первичные данные будут распределённо храниться в университетах, а нейросеть получит к ним доступ, то качество и результативность исследований станут выше.
Ещё одно перспективное направление, по мнению эксперта, — студенческие дипломы. Ежегодно защищаются тысячи ВКР, среди которых есть новые темы, локальные эмпирические массивы и оригинальные постановки задач на базе конкретных предприятий.
— Студенческие работы — большой массив материалов, который почти не подвергается аналитической обработке. Если согласиться с тезисом, что 10% патентов определяют 90% рынка, то в этом году 10% выпускников определят будущее науки на десятилетия вперёд. Чем раньше обнаружить этих «звёзд», помимо конкурсов ВКР, тем быстрее можно способствовать развитию перспективных направлений, — подчеркнул Борис Тхориков.
Между традиционной наукометрией и управленческими решениями в промышленности есть существенный разрыв, считает директор по работе с данными и аналитике компании «Инвенторус» Анатолий АНТИПОВ.
— Наукометрия хорошо описывает прошлое: кто и где публиковался, какого качества эти публикации. Но с таким подходом мы испытываем серьёзные трудности в предиктивной аналитике. Что делать дальше? Что конкретно можно внедрить, в какие сроки и с какими рисками? С кем необходимо кооперироваться, чтобы обеспечить реализацию того или иного научного проекта? Какие компетенции нужны для решения проблемы? Новый язык научной аналитики должен быть языком не заслуг, а возможностей. Необходимо говорить не о том, сколько артефактов науки в виде публикаций произведено сегодня, а о том, что из этого может быть успешно внедрено на производстве. Партнёров прежде всего интересует возможность интеграции конкретной научной идеи. Второй аспект — горизонт внедрения: в какой срок решение может быть внедрено. Безусловно, следует думать о доказательной базе. И всегда важен вопрос рисков по отношению к конкретной идее. Возможно, здесь поможет ИИ: он умеет выстраивать связи между объектами научного знания, — подчеркнул эксперт.
Что касается конкретных показателей, то ими могут стать метрики технологической реализуемости. Например, индекс промышленной релевантности позволяет оценить, насколько научный корпус связан с конкретной производственной задачей, материалом, режимом или классом оборудования. Индекс доказательной обеспеченности — показатель того, как гипотеза подтверждена публикациями, патентами, независимыми источниками и повторяемыми результатами. Расстояние до пилота — метрика, которая показывает, сколько шагов отделяет идею от инженерной проверки или опытного внедрения. Индекс кооперационной собираемости — можно ли собрать под решение контур из компетенций, партнёров, испытательной базы и заказчиков. Индекс потенциального эффекта — что внедрение может дать на практике: снижение брака, экономию ресурсов, сокращение цикла, импортозамещение и т.д. В каждом из этих направлений применим ИИ.
Как отметил эксперт, практика начинается не с «большой магии», а с усиления интеллектуальной рутины.
— Например, вполне конкретная задача: по неполному названию организации определить полное и присвоить ИНН. Человек тратит на объект 25–30 с, а ИИ ускоряет работу оператора в шесть-семь раз, обеспечивая корректный перебор вариантов.
Что касается научных данных, то с помощью ИИ их можно очистить и нормализовать, выделить небольшой релевантный корпус материалов, загрузить в генеративную модель, чтобы получить так называемый дополненный ответ на конкретный вопрос эксперта и выработать гипотезу. Это у нас получилось сделать на практике с одним крупным металлургическим комбинатом, проблема которого состояла в том, что после введения санкционных ограничений и смены оборудования там существенно вырос процент брака: до 15%. Эксперты предложили оптимизацию и снизили брак до 10%. А затем аналитическая платформа смогла обработать большой объём различных данных и выдвинуть около 15 различных гипотез, из которых пять эксперты опровергли, от пяти отказались по разным причинам, но две-три «выстрелили» и одна помогла существенно снизить брак.
Язык технологических перспектив и доказательности для предприятий — это возможность ускорить проверку инженерно релевантных гипотез, способ быстро выйти в рабочий режим, для инвесторов — окно возможностей, для регулятора — способ определить, где есть «технологический задел», есть ли потенциал масштабирования и каким будет эффект для всей отрасли, — подчеркнул в завершение эксперт.
Герберт Уэллс ещё 85 лет назад описал проблему современного мира фразой: «Огромное и всё возрастающее богатство знаний разбросано сегодня по всему миру. Этих знаний, вероятно, было бы достаточно для решения всего громадного количества трудностей наших дней, но они рассеяны и не организованы. Нам необходима очистка мышления в своеобразной мастерской ума, где можно получать, сортировать, суммировать, усваивать, разъяснять и сравнивать знания и идеи».
Как отметил эксперт, имеющиеся поисковые системы не позволяют ответить на два вопроса: как искать новое знание, когда вы ещё даже не знаете, как называется объект, и что делать с найденным:
— Мы ищем текстовые документы, чтобы сохранять и накапливать их. Накапливаем, чтобы анализировать и понимать. Понимаем, чтобы извлекать, обрабатывать и систематизировать знания. Систематизируем, чтобы передавать и применять. ИИ-технологии позволяют ставить и решать такие задачи. По всему миру появляются стартапы, которые вводят интеллектуальных агентов, способных обрабатывать научную информацию. Тем не менее вопросы остаются. Как зафиксировать долгосрочный тематический поисковый интерес? Можно ли структурировать собранное знание так, чтобы снизить барьер входа в него для начинающих исследователей, чтобы любой студент или стажёр, не отвлекая руководителей, быстро вник в то, что происходит в научной группе? Как выделять и обновлять знания? Как обеспечить ясность представления знаний: «посмотрел и всё понял»? Как включить «коллективный разум» при работе над проектом?
Решать такие задачи — миссия «Мастерской знаний», проекта, который разрабатывает Институт искусственного интеллекта МГУ под руководством Константина Воронцова. Это поисково-рекомендательный сервис, направленный на автоматизацию этапов научных исследований, связанных с поиском, анализом и обработкой больших объёмов текстовой научно-технической информации.
В числе функций «Мастерской знаний» создание тематических подборок, поиск тематически близких документов по подборке, мониторинг новых публикаций, выявление новых научных трендов, контекстные рекомендации в тексте документа из подборки, полуавтоматическая саммаризация подборки, систематизация и картирование идей (например, в виде ментальных карт), выдача рекомендаций о порядке чтения документов, совместное составление, обсуждение и использование подборок.
— В области научной информации сейчас более важны те сервисы, которые экстрактируют и классифицируют, чем те, что генерируют контент. Экстрактивные модели экономичнее, но делают свою работу лучше, чем генеративные. С этой идеей связан сервис полуавтоматического реферирования. Его цель — автоматизировать написание реферата по подборке, попутно помогая пользователю систематизировать свои знания в режиме нелинейного чтения. Суфлёры-экстракторы могут выделять проблемы и идеи, теории, методы, модели, эксперименты, датасеты, выводы и результаты, достоинства и недостатки. Но контроль, в отличие от больших моделей, за человеком, поэтому он остаётся автором сложного наукоёмкого проекта, — подчеркнул эксперт.
В целом миссия «Мастерской знаний» — устранять барьеры между человеком и знанием, активировать «коллективный разум» на всём жизненном цикле научного проекта, отметил в завершение Константин Воронцов.
В связи с уходом международных аналитических инструментов становится всё сложнее увидеть свою тематическую отрасль, организацию, исследовательское направление в системе международной науки. Наблюдается дефицит регулярной, сопоставимой и воспроизводимой аналитики научно-исследовательской деятельности университета (оценка приоритетов, перспектив, динамики и кооперации) в сравнении с мировыми и российскими массивами. Для того чтобы его ликвидировать, в 2025 г. в рамках проекта «Приоритет 2030» Московский государственный психолого-педагогический университет запустил проект «Развитие сервисов по обеспечению доступности результатов научных исследований на базе информационных и издательских ресурсов МГППУ».
— Основная задача — понять, как на самом деле устроено научное поле: не «сверху вниз», как это зафиксировано в рубрикаторах и классификаторах, а «на земле». Есть два магистральных пути. Первый — цитатные топики, как в SciVal или Scopus, т.е. попытка кластеризовать публикационное поле по цитатным связям. Подход эффективен, но для него нужны качественные данные по цитированиям; в России их нет, потому что открытый доступ — это далеко не вся наука. Кроме того, некоторые российские области исследований изолированы от мировых в части цитат, и картина получается смазанной.
Второй путь — анализ научных текстов. Традиционно он выполнялся по ключевым терминам; есть ряд техник, позволяющих проводить тематическое моделирование на такого рода материале. С возникновением больших языковых моделей появилась возможность создавать семантические векторы текстов и с помощью математических методов кластеризовать это векторное пространство. Мы пошли по этому пути.
Как отметил эксперт, в качестве базы данных использовали Scopus: массив публикаций по психологии глубиной в 10 лет, почти 1 млн записей. Из датасета были исключены неисследовательские публикации, а также статьи без аннотаций. С помощью нейросетей были созданы описания топиков и рассчитаны метрики для каждого из них. Всего был выделен 531 топик, в «ядро» попали 34% документов, а остальные были присоединены по семантическим признакам. При этом обнаружились побочные эффекты: необходимо было вручную делать исключения. Некоторые журналы, например «Мода и текстиль», явно не относились к психологии.
— Дело в том, что такие издания в Scopus одной из своих тематик назвали психологию, поэтому попали в выборку. Хорошая иллюстрация того, что когда мы отбираем публикации по журнальным классификациям, корпус текстов получается довольно «грязным», а это влияет на анализ, на выводы, на понимание ситуации. Были смежные дисциплины в политематических журналах, здесь тоже надо было отсеивать публикации не по профилю, — прокомментировал Денис Косяков.
В качестве метрик были предложены импакт — значимость топика и импульс — показатель того, насколько быстро развивается категория.
— Лучшие журналы, высокоцитируемые статьи дают больший импакт. А импульс зависит от трендов и изменений, и если в область попадают лучшие журналы, то она становится перспективнее и интереснее. Чем больше авторов вовлекается в научную область, тем быстрее идёт её развитие; то же самое можно сказать относительно динамики прироста стран в выборке. Например, в области психологии сейчас самым высоким импульсом обладают направления, связанные с ИИ.
Какое применение такой метод может найти в образовании? Преподавателям надо обновлять курсы, делать библиографические списки, учебные материалы. Они могут воспользоваться инструментом, чтобы подобрать актуальные темы. Студентам и их научным руководителям он поможет выбирать темы ВКР. Факультетам, институтам, центрам, т.е. структурным подразделениям университетов, — планировать исследовательскую и образовательную деятельность. Учёным — обосновывать актуальность тем исследований. Диссоветам и экспертам — оценить, насколько актуальны темы подаваемых на рассмотрение диссертаций, — отметил эксперт.
ИИ в науке стран БРИКС
Ирина КУКЛИНА, исполнительный директор Аналитического центра международных научно-технологических и образовательных программ МГУ имени М.В. Ломоносова
Как правило, ИИ в странах БРИКС используется в библиометрическом анализе, при анализе больших данных, построении моделей. ИИ интегрируется в крупные исследовательские проекты, некоторые страны применяют его при оценке потенциала коммерциализации научных результатов.
Уровень развития ИИ в государствах БРИКС разный, и это непосредственно влияет на то, что они могут предложить партнёрам. Например, в Китае утверждена Национальная стратегия по развитию в области ИИ до 2030 г. В 2023 г. Министерство науки и технологий КНР и Национальный фонд естественных наук Китая запустили проект «Искусственный интеллект для науки». Инициатива направлена на развитие поисковых и прогностических сервисов. В 2025 г. Китайская академия наук представила модель ScienceOne, включающая два сервиса: S1-Literature (анализ научной литературы, формирование обзоров, построение концепт-карт) и S1-ToolChain (координация более 300 научных инструментов). В декабре 2025 г. в Китае запущена национальная платформа для научных исследований на базе ИИ SCNet. Сервис принимает задачи, сформулированные на естественном языке, автоматически разбивает задачу на этапы, подбирает методы, распределяет вычислительные мощности, запускает моделирование, анализирует данные и формирует отчёты. Платформа поддерживает около 100 научных направлений, включая материаловедение, биотехнологии, фармацевтику, климатическое моделирование и промышленный ИИ.
Индия определила национальную политику в области ИИ в 2018 г. в рабочем документе «Национальная стратегия в области искусственного интеллекта AI for All».
В 2024 г. в стране была запущена программа India AI Mission с бюджетом 1,2 млрд долларов на пять лет. Она включает развитие вычислительной инфраструктуры и единой платформы для разработчиков, а также поддержку исследований и подготовку кадров. Индийский технологический институт Дели разработал автономную систему на основе ИИ Artificial Intelligence Lab Assistant.
В Бразилии принят Национальный план развития искусственного интеллекта на 2024–2028 гг. В его рамках большую роль играет оценка результативности научных исследований. В стране признают, что количеством статей и цитат измерить её сегодня нельзя. В Бразилии функционирует Институт искусственного интеллекта, который сотрудничает с Министерством науки, технологий и инноваций Бразилии в рамках Глобального партнёрства по искусственному интеллекту GPAI.
В ЮАР в 2022 г. Департамент коммуникаций и цифровых технологий учредил Институт искусственного интеллекта Южной Африки, а Департамент науки и инноваций создал Центр исследований искусственного интеллекта. В 2023-м была подготовлена дорожная карта по развитию и внедрению ИИ до 2027 г. В 2024-м опубликован официальный документ по национальной политике ЮАР в области ИИ. В том же году в ЮАР был открыт Институт Wits MIND. Он призван инкорпорировать инструменты ИИ в научные исследования и обеспечить связи науки с промышленностью.
Египет принял Национальную стратегию в области искусственного интеллекта на период 2025–2030 гг. В документе говорится о том, что технологии ИИ помогут ускорить процесс научных исследований, при этом число публикаций по ИИ должно вырасти вдвое: до 6 тыс. в год. Перед ИИ ставится задача повысить международную заметность учёных из Египта.
В ОАЭ в 2017 г. было учреждено Министерство искусственного интеллекта — государственный орган, ответственный за координацию политики в области ИИ. В рамках Национальной стратегии развития в области искусственного интеллекта до 2031 г. планируется интегрировать ИИ в девять секторов экономики, включая транспорт, здравоохранение, образование и др. Университетом искусственного интеллекта имени Мухаммеда бен Заеда и компанией разработана G42K2 Think — национальная платформа на основе ИИ. Она позиционируется как открытая модель для работы с логикой и рассуждениями.
Рубрика: Наука и образование
Год: 2026
Месяц: 4
Теги: ИИ в образовании и науке Наукометрия Алексей Хохлов Борис Тхориков Анатолий Антипов Константин Воронцов Денис Косяков Ирина Куклина БРИКС (BRICS)