После ухода из России международных баз данных Web of Science (WoS) и Scopus, на которые профессиональное сообщество ориентировалось при оценке результативности научной деятельности, была поставлена задача разработать систему, не привязанную к международным наукометрическим ресурсам. 20 октября 2022 г. был утверждён «Белый список» — перечень научных журналов, который будет использоваться для оценки результативности научных организаций (коллективов) по формальным критериям.

В список включены в основном издания, которые по состоянию на середину 2022 г. индексировались в WоS Core Collection, Scopus и Russian Science Citation Index (RSCI). Сейчас в него входит чуть менее 30 тыс. научных журналов, из которых 1122 — российские.

Список представлен на сайте https://journalrank.rcsi.science/ru/.

На заседании круглого стола «Научные журналы в построении системы оценки результативности научной деятельности» эксперты обсудили плюсы и минусы подобного подхода¹.

¹ Круглый стол состоялся в рамках 11-й Международной научно-практической конференции «Научное издание международного уровня — 2023: достижения, реалии, перспективы» в МСХА имени К.А. Тимирязева.

Как отметил начальник отдела Департамента науки и научно-технической политики Минобрнауки России Евгений НАУМОВ, такой способ, как белые списки, используют и зарубежные страны: восемь европейских государств, Австралия, Индия. По словам эксперта, подход не является панацеей, но может стать важным шагом к более осмысленной системе оценки деятельности учёного.

Цель белых списков — обеспечение представленности национальной науки при оценке результативности, учёт специфики научной области, нивелирование стимулов для мусорных публикаций и нейтрализация активности хищнических журналов. Данный инструмент позволяет на ранних стадиях пресекать потенциальные риски некорректного поведения авторов и издателей.

Эксперт сообщил, что межведомственная рабочая группа подготовила критерии оценки и пересмотра состава «Белого списка».

—Каждый научный журнал, который ведёт свою деятельность на высоком уровне, вполне может им соответствовать. Завершена работа по ранжированию журналов. Методика категорирования научных журналов в «Белом списке» основывается на показателях цитирования. Список разделён на четыре уровня. Это является предпосылкой для создания индекса научного цитирования внутри списка, —отметил Е. Наумов.

На двух верхних уровнях «Белого списка» расположилось более 550 российских научных журналов. Для сравнения: в первом квартиле WoS их было восемь, в Scopus —182.

—По большому счёту мы создаём кредит доверия российским научным изданиям и стимул для перенаправления потока рукописей. В целом это должно дать определённый синергетический эффект, а представленная система уровней позволяет пересмотреть требования, предписанные нормативными документами, и применить их к программам развития вузов и научных организаций, —считает эксперт.

Что касается развития российских научных журналов, то, по мнению выступающего, важно снять с организаций часть несвойственных издателям функций. Сейчас прорабатывается вопрос создания платформы научных журналов, на которой будет реализован ряд опций. Редколлегия должна готовить контент, а технические моменты могут взять на себя специализированные сервисы, полагает Е. Наумов.

Списки в целях оценки научной результативности используются и на уровне отдельных вузов. Кейс НИУ ВШЭ представил директор по академическому развитию, начальник Управления академической экспертизы университета Даниел КАРАБЕКЯН:

— До определённого момента мы учитывали все виды публикаций. Затем приняли решение не гнаться за количеством, а сконцентрироваться на качестве. В 2015 г. был запущен журнальный проект НИУ ВШЭ, тогда же в университете стали учитывать публикации в журналах, входящих либо в международные базы, либо в утверждённый дополнительный перечень, а также создали чёрный список изданий. Используемая большинством система квартилей как критерий качества нас не устроила, потому что квартиль — вещь нестабильная, и с 2021 г. мы от неё отказались. Это помогло в момент, когда наукометрические базы ушли из России: в НИУ ВШЭ ориентировались не на WoS и Scopus, а на свои списки.

В частности, в список A входит 7571 журнал. Перечень составлялся на основе первого-второго квартилей WoS, а также из изданий, добавленных по результатам внутренней и внешней экспертизы. Список зафиксирован на 2021–2023 гг.

Список B состоит из 185 журналов, входящих в стабильно высокие квартили Scopus или имеющих высокий экспертный рейтинг/индекс. Зафиксирован на 2022–2023 гг.

В список С включены 17 510 журналов, индексируемых международными базами данных (без ESCI²) на конец 2021 г. Пополнение осуществляется на основе экспертизы.

² Emerging Sources Citation Index (ESCI) — индекс цитирования, который с 2015 г. составлялся Thomson Reuters, а теперь — Clarivate.

Список D представлен 378 журналами, не входящими в международные базы данных. На 80% это издания, входящие в RSCI. Зафиксирован на 2022–2023 гг.

По словам эксперта, исследователям оплачиваются в основном публикации в списках А и В, а перечни C и D учитываются как некий наукометрический порог: можно набраться опыта публикационной деятельности, но не заработать деньги.

Списки — достаточно эффективный инструмент, считает эксперт. С их помощью можно «докрутить» систему оценки публикационной активности с учётом специфики организации.

Альтернативного подхода придерживаются в Физическом институте РАН (ФИАН). Опытом поделился учёный секретарь ФИАН Андрей КОЛОБОВ.

— ФИАН — это крупный институт, работающий по восьми направлениям физики. В своё время мы столкнулись с необходимостью оценки разноплановых научных исследований. Научные коллективы в различных направлениях представлены совершенно по-разному. Возникает вопрос: как производить оценку таких подразделений и отдельных исследователей с учётом того, что всего в организации более 1 тыс. сотрудников? — обозначил проблему эксперт.

Фактически в 2017–2018 гг. в институте перешли на наукометрию и для оценки, и для распределения финансовых средств. Как отметил выступающий, наукометрия не направлена на выявление лидеров — лучше всего она идентифицирует аутсайдеров. Её главная задача — выявить так называемую нулевую группу, тех, кто прекратил свою научную деятельность.

Основные принципы таковы:

·         переход от количества публикаций организаций к их качеству;

·         учёт качества публикаций на основании уровня журналов и значимости различных типов публикаций;

·         фракционный счёт.

— Фактически мы разделили баллы за статью между участниками с учётом их количества и числа аффилиаций. Так, в институте работает отделение ядерной физики, у которого достаточно много коллаборационных статей. Все эти работы — публикации высокого уровня, в среднем их число в верхнем квартиле Q1 достигало нескольких сотен в год. При этом две крупнейшие коллаборации в своём составе насчитывали 2,2 тыс. и почти 3 тыс. членов соответственно. Вопрос вклада наших исследователей вызывал у остального институтского сообщества вопросы, фракционная модельих частично сняла, — прокомментировал эксперт.

Что касается финансирования, то в ФИАН была практика распределения существенной его части между подразделениями согласно рейтингу, основанному на числе публикаций, их цитируемости, доле молодых сотрудников и объёме внебюджетных доходов. Ещё одна интересная мотивирующая практика — оплата труда научных сотрудников на основе наукометрических показателей. Все исследователи, которые превысили минимальный порог, делятся на четыре равные по числу группы. Каждая из них состоит из более чем 200 человек, в каждой группе одинаковые надбавки за публикационную активность, а её размер между группами пропорционален 1–2–3–4. Правила прозрачны для каждого сотрудника, они привыкли к такой системе и выстраивают свою публикационную деятельность в этой модели.

— При этом мы выступаем за то, что, если сотрудник хочет больше зарабатывать, он должен кроме фундаментальных исследований вкладываться в реальные разработки, в опытно-конструкторские работы, в грантовые исследования. Мы не пытаемся устроить гонку за статьями Q1, но стимулируем людей публиковаться. Считаем, что научный сотрудник должен демонстрировать свои результаты постоянно. Статья является не самоцелью, а минимальным рецензируемым результатом, который человек может представить, поэтому учёный должен публиковаться минимум раз в два года, — полагает эксперт.

Как отметил А. Колобов, монографии тоже учитываются в публикационной активности, причём некоторые — даже по главам. Но в общем объёме публикационной деятельности они занимают менее 1%.

— С монографиями всегда возникает вопрос объёма и значимости. Многие знают, что платно можно опубликовать почти любой текст. Если говорить о публикации статьи в научном издании, которое имеет приличный рейтинг, то там налажены рецензирование и отбор, что касается монографий — это неочевидно. Простой наукометрический подход к монографиям применять невозможно, поэтому приходится задействовать экспертную оценку на предмет значимости и новизны, — подчеркнул выступающий.

В рамках дискуссии участники круглого стола высказали свою точку зрения о новых подходах к оценке науки.

Иван СТЕРЛИГОВ, советник проректора НИУ ВШЭ:

— Мы обсуждаем национальный «Белый список», но пока до конца непонятно, кто его автор. Думаю, что Минобрнауки России должно более чётко доносить эту позицию. Основное, что можно выделить, — колоссальное расхождение подходов в России и в странах, более развитых в научном отношении. У нас продолжается формализация, а в мире — серьёзное движение в сторону экспертизы от оценки через публикации, индексы цитирования и Хирша. Есть масса соответствующих инициатив, самая масштабная разворачивается в Европе. Особенно это касается уровня грантов. В Российском научном фонде подход диаметрально противоположный: там занимаются подсчётом числа публикаций. Что касается оценки отдельных авторов, то за рубежом подчёркивается недопустимость оценки отдельных показателей. У нас подход совершенно другой.

Есть целый ряд примеров, когда науку оценивают через экспертные списки. Самый известный — скандинавская модель, в основе которой лежит аутсорсинг экспертной оценки, опора на мнение рецензента, его научный уровень и репутацию. У нас ни про Перечень ВАК, ни про «Белый список» этого сказать нельзя, да и цели такой не ставилось. Как мне кажется, основная задача — помочь всем участникам отчитаться перед вышестоящими органами. В этом смысле важнее формальные характеристики журналов, вхождение их в те или иные базы данных, которые воспринимаются как внешние белые списки. Очевидно, что в России формализация выгодна всем участникам процесса: не только чиновникам, но и самим учёным.

В имеющейся методике мы видим все проблемы наукометрии, начиная от её неприменимости для гуманитарных наук. Формализм оказывается более важным, чем экспертная оценка. Кроме того, можно отметить любопытный факт: список сначала разрабатывается, предлагается, а потом уже обсуждают, как он будет применяться. По сути, это просто замена квартилей WoS и Scopus в нормативных документах. Как именно «Белый список» будет применяться, на каком уровне, пока ещё абсолютно не ясно.

Настораживает отсутствие экспертизы. Единственный момент, немного в карикатурном ключе, когда она применялась, — при исключении журналов ЛГБТ-тематики, которые удосужились прочитать члены рабочей группы. По сути, за год и удалось только переименовать квартили WoS и Scopus в национальный список.

Имеет место существенное смещение целеполагания. Российские журналы почему-то ставятся выше отечественной науки при дизайне соответствующих инструментов. Да, качественные научные издания поддерживать важно, но это не является задачей построения инструментов оценки науки. Включение журналов в национальный список никак не продвинет их на мировом уровне.

Одна из целей списка — недопущение публикаций в мусорных журналах. Но достаточно упомянуть, что самый одиозный из таких журналов — Sustainability издательства MDPI, один из наиболее популярных в России, — остался в итоговом списке, как и масса других подобных изданий. Таким образом, эта задача тоже не решена. Налицо больше симуляция достижений, чем экспертная оценка российской науки.

Николай ФЕДОСЕЕНКОВ, директор издательства «Наука»:

— Вопрос достаточно дискуссионный и непростой. Считаю, что созданный список прежде всего динамичный. При последнем голосовании мы исключили ещё несколько десятков журналов по разным причинам: отсутствие активности, низкая активность. Это говорит о том, что подход работает. Конечно, всё надо делать регулярно, и только в этом случае мы добьёмся необходимого результата. Полагаю, что это правильное начинание, потому что публикационную активность всё равно необходимо оценивать.

Не считаю также, что размещение отечественных журналов в верхней части списка является губительным и не помогает этим изданиям. Если нет протекции по отношению к национальным авторам, то мы выдавливаем их в иностранные журналы. Безусловно, эффект окажется отложенным, но он будет.

Дмитрий ГЛАДЫРЕВ, директор Центра поддержки научной деятельности Института экономики и управления Уральского федерального университета:

— Было немало попыток проранжировать журналы на основании данных Российского индекса научного цитирования (РИНЦ), и практически никогда не принимали во внимание один момент: одинаково учитывались русско- и англоязычные издания. Понятно, что внутри РИНЦ у всех англоязычных российских изданий будут заниженные показатели: большинство авторов в России пишут на русском языке. Самое главное, что решение не должно быть топорным. Несмотря на то, что есть некачественные англоязычные журналы и очень качественные русскоязычные, в среднем уровень англоязычных изданий выше. Чаще всего такие журналы создавались под амбициозные цели, в частности для вхождения в международные базы данных.

Очень важно, как «Белый список» будет применяться. Сейчас все проблемы, которые мы наблюдаем: приписное соавторство, публикации в мусорных журналах, возникают из-за несоответствия текущего уровня факультетов и школ требованиям, которые перед ними ставятся. Очевидно, что критерии должны быть немного выше текущего уровня, но не более чем на одну ступень. Когда какой-либо факультет не публикуется в международных журналах или в изданиях из ядра РИНЦ, а от него требуют Q1 или Q2 в WoS, это не работает. Понятно, что идеального результата добиться невозможно, но надо создавать стимулы для организаций, чтобы они всегда стремились подняться на ступень выше. Для этого необходимы госпрограммы, конкурсы и гранты, ориентированные на разные группы вузов.

Антон СМИРНОВ, заместитель начальника Центра информационно-библиотечного обеспечения учебно-научной деятельности НИЯУ МИФИ:

— По моим ощущениям, большая часть научного и издательского сообщества осознанно выбирает позицию не следить за обновлениями «Белого списка» и спорами вокруг него. Причины этого — заметная поспешность в работе над списком и появление параллельных списков от других институций, приумножившее коллективное непонимание того, как и в каких случаях эти списки будут использоваться. Высока вероятность, что итоговая версия списка станет вторить условному ядру РИНЦ (WoS, Scopus, RSCI), а ранжирование в той или иной мере воссоздаст квартили. Для журналов это означает, что их позиционирование не сильно изменится с приходом «Белого списка».

В условиях смены ориентиров хорошо проявляют себя те журналы, редакции которых не строили свою работу вокруг метрик, но выполняли самую главную задачу — организовывали продуктивный разговор между автором и рецензентами. Если результат этого разговора — научная статья — был распространён посредством работы с метаданными и базами данных среди широкого круга читателей, то журнал получал достаточно цитирований для уверенного положения в любом рейтинге.

Андрей ГУСЬКОВ, заведующий Лабораторией наукометрии и научных коммуникаций Российского института экономики, политики и права в научно-технической сфере:

— Считаю, что в национальной системе оценки научной результативности слишком много наукометрии и слишком мало экспертизы. Наукометрия vs экспертиза — борьба научной бюрократии и научной аристократии, для которых это основные инструменты управления наукой. И тот и другой обладают своими достоинствами и недостатками. Если между ними нет баланса, получаются перекосы: экспертиза оказывается слишком субъективной или оценка — чересчур формальной, со всеми вытекающими проблемами.

Мы провели исследование по эволюции системы оценки научной результативности в Китае³.

³ Лакизо И.Г. Эволюция оценки научной результативности в Китае / И.Г. Лакизо, А.Е. Гуськов // Вестн. РАН. — 2023. — Т. 93., № 4. — С. 329–341.

Она интересным образом перекликается с тем, что происходит в России. Там тоже некоторое время наблюдался период «поклонения WoS», когда все решения принимались на основе показателей: приём на работу, выплата премий и т.д. И хотя за это время Китай стал первым в мире по количеству публикаций, сейчас там кардинально пересматривают систему оценки, увидев ряд негативных эффектов. О них следует сказать пару слов.

Во-первых, искажается первоначальная миссия организации. Если необходим определённый количественный результат, то организации вынуждены заниматься примерно одним и тем же, одинаковым образом вести исследования, они теряют свою уникальность и самобытность. Деградирует кадровая политика: учитывается то, насколько хорошо преподаватель пишет статьи, и не берётся в расчёт то, как он учит студентов. В результате страдает и подготовка молодых кадров. Наблюдается отказ от исследования непопулярных вопросов. Предпочтение популярных и игнорирование менее изученных тематик приводит к сокращению инноваций в академической системе. Темы, актуальные в национальном контексте (исследования, которые стимулируют новые технологии, новые продукты или развитие социально-гуманитарных вопросов в контексте Китая), могут не относиться к передовой области в международной повестке, поэтому им трудно попасть в высокорейтинговые журналы, а учёным — получить вознаграждение от системы.

Во-вторых, отмечено негативное влияние оценки на качество исследований: публикационное давление приводит к многократному повторению низкоуровневых исследований, формирует эффект «академического пузыря», лишает учёных энтузиазма при проведении исследований, делает равнодушными к качеству работ —количество оригинальных статей от колледжей и университетов снижается. Фиксируется всё больше нарушений публикационной этики: доля ретрагированных статей в Китае растёт очень быстро. Процветают фабрики статей.

И наконец, последней каплей, переполнившей чашу терпения китайцев, стала публикация важной статьи в журнале Lancet после начала эпидемии ковида, 29 января 2020 г., о том, как распространяется это заболевание. Из текста было понятно, что ещё в декабре 2019 г. её китайские авторы знали о деталях передачи вируса от человека к человеку и о случаях заражения медицинского персонала, но не раскрывали всех данных до выхода публикации. И хотя статья вышла всего через две-три недели после подачи в журнал, исследователей обвинили в том, что для них академическая публикация оказалась более приоритетной, чем борьба с национальной угрозой, приводящей к ежедневным смертям соотечественников. За этим последовали решения министерства об изменениях в системе оценки. Один из пунктов —отказ от количественных показателей и фокус на экспертную оценку того, какой вклад те или иные исследования вносят в национальную экономику, культуру, социальную среду.

На этот опыт как минимум следует обратить внимание.

Материал опубликован в номере октябрь 2023