Вестник РАН, 2021, T. 91, № 3, стр. 253-256

Оценка результативности научных исследований невозможна без разработки соответствующих критериев. В качестве одного из них Министерством науки и высшего образования Российской Федерации предложен “комплексный балл публикационной результативности” (КБПР) (№ МН-8/6-СК от 14.01.2020). На наш взгляд, этот критерий не выполняет своего предназначения.

В значительной мере это обусловлено тем, что в основу расчёта КБПР положена зависимость качества статьи от категории журнала. Причём 7 из 9 категорий, начиная от публикации в журналах из RSCI на платформе Web of Science, не индексируемых в Core Collection Web of Science и Scopus (0.75 балла), до журналов высшего квартиля (Q1), индексируемых в Web of Science Core Collection (19.7 балла), рассчитываются на основе англоязычных баз данных. За публикацию в отечественном журнале из списка ВАК, не входящем в более “престижные” зарубежные базы данных, присваивается минимальная оценка – 0.5 балла. А монография, зарегистрированная в Российской книжной палате, приравнивается к статье в журнале без квартиля, но индексируемом в Web of Science Core Collection (1 балл). При непредвзятом взгляде на это ранжирование создаётся впечатление, что Минобрнауки России лоббирует интересы американской компании Clarivate Analytics.

Поскольку оценка результативности отечественной науки по публикациям в журналах, индексируемых в зарубежных базах данных, отражает действительность по принципу “кривого зеркала” [1], такой способ оценки вызывает справедливую критику многих представителей отечественного научного сообщества. Перечислим основные возражения против подобного подхода [1–11]:

• необоснованное занижение рейтинга статей в отечественных журналах и сборниках и в целом русскоязычных статей по сравнению с англоязычными;

• необоснованное занижение рейтинга монографий, патентов и изобретений, а также учебников в сравнении со статьями;

• невозможность адекватной оценки сотрудников, работающих в закрытых научных организациях, а также над патентами и изобретениями;

• невысокая объективность оценки научной результативности исключительно по числу публикаций в рейтинговых журналах;

• отсутствие стимулов для внедрения научных разработок в производство;

• постепенная ликвидация отечественных журналов и научных издательств, рейтинг которых искусственно занижен;

• закрепление высокого статуса ведущих англоязычных журналов порочной системой оценки качества публикаций по “рейтинговости” журналов;

• косвенная стимуляция сотрудников и организаций к написанию большого количества статей в ущерб их качеству при очевидной недооценке тех, кто работает по принципу “лучше меньше, да лучше”;

• коммерциализация и криминализация научно-издательской сферы.

Полностью соглашаясь с этими очевидными недостатками и следствиями из них, нельзя не отметить, что исправить эту ситуацию, приравняв российские журналы к англоязычным журналам квартиля Q1, как это предлагают председатель профсоюза РАН [11] и другие коллеги, совершенно недостаточно. Для того чтобы уйти из категории “бедных родственников” на платформах Web of Sciences и Scopus и приблизить оценки публикационной активности к оценкам реальной результативности отечественной науки, необходимо разработать собственные, причём более адекватные критерии. Нас должно интересовать ускоренное развитие российской науки, а не то, как нас рейтингуют наши зарубежные “партнёры”.

Кстати сказать, именно такой стратегии придерживаются исследователи из КНР, которые ещё в 1989 г. сформировали собственную базу данных научных публикаций [12]. В этой связи создание Российского индекса научного цитирования, несомненно, полезно. Но важно, чтобы национальная база не была основана на тех же недостаточно эффективных подходах, что и навязываемые нам платформы Web of Science и Scopus. Как точно заметили Ю.С. Попков и Г.С. Осипов [13], индекс цитирования является “индексом индивидуальной известности”, которая может объясняться различными причинами. Возникает вопрос, на каких принципах должна быть основана оценка публикаций, чтобы она была лишена недостатков, свойственных современным индексам цитирования.

С нашей точки зрения, к числу таких принципов относятся:

• оценка научной значимости публикации вне зависимости от рейтингов журналов и издательств, а также от вида публикации (патент на изобретение, статья в журнале или сборнике материалов конференции, глава в коллективной монографии, репринт в издательстве института);

• комплексный характер оценки, включающий баллы за (а) научную, (б) потенциальную практическую/прикладную и (в) образовательную ценность публикации;

• полный ежегодный охват всех без исключения публикаций российских исследователей;

• снижение субъективности оценок участием в экспертизе случайных релевантных выборок рецензентов с привлечением к этой работе всех остепенённых членов отечественного научного сообщества.

До изобретения Интернета реализовать эти принципы было бы очень сложно, но в современном мире это вполне возможно. Исходя из того, что каждый остепенённый сотрудник публикует в год в среднем около трёх полноценных статей, число публикаций примерно в 3 раза больше, чем число остепенённых сотрудников. Если к оценке каждой статьи для репрезентативности и статистической устойчивости оценок привлекать по пять рецензентов, то средняя нагрузка на одного остепенённого сотрудника составит 15 публикаций в год, или около 1–2 публикаций в месяц. Процедура рецензирования должна быть предельно упрощена до проставления баллов в каждой из трёх областей оценки. Если условный максимальный вес статей, монографий (книг, учебников) и патентов (изобретений) соотнести как 1:2:4 соответственно, то балльная оценка статей может варьироваться от 1 до 5, монографий – от 1 до 20, патентов и изобретений – от 1 до 40 баллов.

Предположим, статья исследователя Х при рецензировании получила следующие оценки от пяти экспертов: за научную значимость – 1; 2; 3; 3; 3 балла (среднее 2.4); за прикладную – 1; 1; 1; 1; 2 (1.2); за образовательную – 1; 1; 1; 1; 1 (1.0). Итоговая оценка статьи составит 2.4+1.2+1.0=4.6 балла. В заключение рецензии можно предусмотреть краткий комментарий. Целесообразно разработать специальные методические рекомендации, в которых будут детализированы принципы оценки потенциальной значимости публикаций, в том числе для каждой из областей науки приведены примеры отечественных статей, книг и патентов с минимальными, средними и максимальными оценками. Основы экспертной оценки публикаций должны преподаваться в аспирантуре.

При таком подходе, а также при внесении рецензирования в список обязанностей каждого остепенённого сотрудника поголовная оценка публикаций с участием всего научного сообщества вполне реализуема на государственном уровне. Это залог независимости и репрезентативности оценок. Напротив, создание экспертного совета с этой целью породит субъективность и лоббирование. Разумеется, при выборе рецензентов необходимо исходить из соответствия темы публикации научной специализации рецензента.

Все базы данных по научной специализации научных сотрудников находятся в ВАКе и Минобрнауки России. Эти организации вполне могут выполнить задачу подбора рецензентов, тем более с учётом реформы диссертационных советов, которая уменьшит объём обязанностей ВАКа. В конце каждого года ВАК может выпускать и рассылать по всем научным организациям бюллетень рейтинговых оценок публикаций. На основании данных этого бюллетеня будут рассчитываться рейтинги отдельных сотрудников, организаций, журналов и издательств. Важным дополнительным критерием результативности организаций может стать средняя стоимость одного балла, получаемая путём деления общего объёма финансирования на число баллов всех публикаций той или иной организации.

Такой подход автоматически устранит монополию журналов и издательств и породит здоровую конкуренцию между ними. Кроме того, это позволит ликвидировать проблему очередей в центральных отечественных журналах, так как публиковаться можно будет в любом журнале или сборнике (издательстве), лишь бы статьи (книги) были написаны на высоком научном уровне и соответствующим образом оформлены. Журналы и издательства будут привлекать авторов не автоматически наследуемыми рейтингами, а высоким уровнем оформления, качественной редактурой и скоростью издания научной работы.

Возможность получения высоких баллов за небольшое число высоко оцениваемых публикаций (например, за патент) вместо многочисленных, но слабых статей, создаст предпосылки для работы в науке по крайне полезному принципу “лучше меньше, да лучше”. Это освободит время для отслеживания научной литературы, количество которой лавинообразно растёт, снизит нагрузку на рецензирование публикаций в журналах и на печатный станок, сократит потребление бумаги.

С целью уменьшения нагрузки на экспертов можно рекомендовать Минобрнауки отказаться от написания институтами и вузами объёмных отчётов по госзаданиям (базовым проектам), которые ныне подвергаются тотальному рецензированию. Вместо этого целесообразно ввести отчётность публикациями с обязательным указанием целей и задач базовых проектов, выводов по каждой из поставленных задач. Не секрет, что публикации в журналах и книгах в большой степени дублируют написанное в отчётах, что приводит к неоправданным временн${\text{ы}}{\kern 1pt} \prime $м затратам. Целесообразно это время потратить на написание статей и книг, а также на рецензирование по рассматриваемой схеме.

Предложенный подход к рецензированию и рейтингованию публикаций может быть опробован в рамках дополнительного госзадания на базе, например, институтов Новосибирского научного центра СО РАН (совместно с Минобрнауки России, ВАКом и Научной электронной библиотекой eLIBRARY.RU), при условии разработки соответствующих методических рекомендаций и программного продукта, адаптированного к имеющимся базам данных и автоматизирующего этапы расчётов.