В России национальная система оценки научной деятельности в последние десять лет стала своего рода полем сломанных копий, и судя по всему в ближайшее время очередь желающих вступить в бой на этом ристалище будет только расти. Прежде чем бросаться в очередную полемическую атаку в споре о принципах оценки научной результативности, мы предлагаем внимательно изучить опыт наших соседей. Он может рассказать много нового о подводных камнях в противостоянии учёных и администраторов от науки за её эффективность.
С момента начала программы экономических реформ и открытости в 1978 г. Китайская Народная Республика добилась значительного прогресса в сфере исследований и разработок. За 40 лет страна с невысоким научным уровнем, где из-за отсутствия сильных университетов считалось престижным получить образование в СССР, догнала США и стала одним из мировых лидеров. Такой феноменальный рост тесно связан не только с экономическим развитием страны, но и с изменениями в национальной системе управления наукой [1].
Одним из ключевых элементов этой системы, которому уделяется особое внимание, является национальная система оценки научной результативности. Это своего рода комплекс инструментов управления, в который входят: нормативные документы, регулирующие различные аспекты оценочной деятельности; подразделения, специализирующиеся на оценке; экспертное сообщество, национальные индексы цитирования, исследовательские проекты, журналы и монографии, посвящённые оценке научной результативности [2]. Эта система складывалась постепенно, в соответствии с общим принципом проведения реформ, учитывающим китайскую специфику – “нащупывая камни, перебираться через реку”11, когда нужно совершить некое прорывное действие в процессе реформ, но полной уверенности в нём нет.
К настоящему времени накоплен и задокументирован уникальный опыт планомерного реформирования национальной системы оценки научной результативности в Китае, описаны эффекты, к которым приводят её изменения [1, 3–7]. Российская и китайская системы управления наукой корнями уходят в советскую систему и, вероятно, всё ещё имеют схожие контуры исследовательских, образовательных и административных процессов. Поэтому в нашей стране повышенное внимание уделяется следующим вопросам развития сферы исследований и разработок в КНР: опыт оценочной деятельности [8], создание наукометрических баз данных [9], показатели развития науки [10], управление наукой [11–15].
Цель настоящего обзора – описать систему оценки научной результативности в КНР, сформировать целостное представление о тенденциях и сложившихся практиках в этой области, проанализировать причины их изменения и вероятные последствия. Понимание и осмысление опыта одной из ведущих научных держав позволит использовать его при корректировке национальной политики научно-технологического развития в других странах, включая и Россию.
Китайская наука развивается в условиях иерархически организованного управления и экономической открытости страны [13]. Правительство закрепило за Министерством науки и технологий функции, связанные с реализацией научно-технологической политики [16, ст. 3], а за Министерством образования – руководство исследовательской деятельностью в вузах и курирование системы присуждения учёных степеней [17]22.
В КНР более 3000 научно-исследовательских и опытно-конструкторских учреждений, из которых 731 находится в центральном подчинении, а 2378 – в подчинении региональных властей [18]. Самым крупным ведомством, которое занимается научно-исследовательской деятельностью, является Китайская академия наук (Chinese Academy of Sciences, CAS) – государственное учреждение, подчиняющееся Госсовету КНР (через Государственный фонд естественных наук Китая), главный консультативный орган по вопросам науки и технологий [19]. Академия объединяет 116 научно-исследовательских учреждений, 3 университета и 11 вспомогательных организаций.
Кроме того, в различных министерствах функционируют отраслевые академии: Академия общественных наук (31 НИУ и 45 исследовательских центров)33, Академия лесного хозяйства (18 НИУ)44, Академия геологических наук (8 НИУ)55, Академия водных ресурсов и гидроэнергетики (3 НИУ)66, Академия сельскохозяйственных наук (45 НИУ), Академия медицинских наук (19 НИУ), Академия железнодорожных наук (13 НИУ)77, Академия военных наук (8 НИУ)88, Академия военно-медицинских исследований (11 НИУ)99. Важная составляющая научной инфраструктуры КНР – учебные заведения, в том числе более 3000 колледжей и университетов, причём особую роль играют участники проекта “Двойной первый класс”, цель которого – “продвижение первоклассных университетов и первоклассных дисциплин мирового уровня” [20, 21 ] .
В последнее десятилетие все показатели, характеризующие развитие научно-технической сферы в Китае, показывают тенденцию к росту (табл. 1) [22]. Значительную роль в этом процессе играет оценка научной результативности, которая в КНР, как и во многих других странах, рассматривается в качестве важного компонента системы управления наукой. На протяжении последних десятилетий регулярно проводятся исследования, посвящённые истории, теории и методике оценки. Иногда её начало относят к 1978 г. [1, 23] или более ранним годам [24]. Периодизация, предложенная Лю Син, Жао Женью, Ли Цзян [1], несмотря на некоторую неоднозначность определения хронологических границ этапов, достаточно точно отражает логику развития оценочной деятельности в Китае (табл. 2).
Показатели | 2012 | 2021 |
---|---|---|
Расходы на исследования и опытно-конструкторские разработки (НИОКР), трлн юаней | 1.03 | 2.79 |
Интенсивность расходов на НИОКР, % | 1.91 | 2.44 |
Финансирование фундаментальных исследований относительно общих расходов на НИОКР, % | 4.84 | 6.09 |
Численность научно-исследовательского персонала на 10 000 занятых, человеко-лет | 42.6 | 75.3 |
Количество патентных заявок по процедуре РСТ10 | 19 000 | 69 500 |
Количество высокоцитируемых статей, единиц | 7920 | 42 920 |
Количество высокотехнологичных предприятий, тыс. | 4.9 | 33 |
Количество технологических бизнес-инкубаторов, единиц | 1239 | 6227 |
Количество компаний в стадии инкубации | 70 000 | 244 000 |
Сумма технологических контрактов, трлн юаней | 0.64 | 3.73 |
Операционная прибыль национальных зон высоких технологий, трлн юаней | 16.6 | 48 |
Позиция Китая в рейтинге Global Innovation Index11 | 34 | 12 |
Хронологические границы | Причины смены оценочной политики | Основные особенности периода | Ключевые задачи оценки |
---|---|---|---|
1978–2002 | Проблема гуаньси12 | Переход от экспертной к количественной оценке. Развитие международного сотрудничества | Распределение финансирования и наград. Рейтинги учреждений |
2003–2010 | Потребность в развитии рынка труда | Стандартизация и формализация оценок | Прозрачные процедуры назначения на должности |
2010–2018 | Борьба с негативными эффектами формальных оценок | Попытка отхода от формализации. Инерция | Повышение индекса цитирования. Увеличение числа высокорейтинговых публикаций |
2018 по настоящее время | Изменение государственной политики: распространение китайских ценностей; переход количества в качество | Отказ от “поклонения SCI13” и формальных кадровых политик (“четыре только”14) | Воспитательно-нравственное воздействие. Стимулирование издательской индустрии |
12 Гуанси – китайский термин, характеризующий межличностные отношения. В зависимости от контекста может переводиться как “социальный капитал”, “связи”, “кумовство”.
13 Термин “поклонение SCI” (SCI worship) раскрыт в работах [7, 26] как период, начавшийся в конце 1990-х годов, когда “соответствующие количественные показатели были основными критериями оценки для распределения финансирования, карьерного роста и рейтинга учреждения. Особое внимание уделялось количеству статей, опубликованных в журналах, включённых в Индекс научного цитирования (SCI) и Индекс цитирования социальных наук (SSCI)” базы данных Web of Science. Завершение этого периода относят к 2020 г., когда университетам и научным учреждениям было запрещено “устанавливать количественные цели и предлагать финансовые стимулы для исследователей, опираясь на показатели, связанные с SCI” [26].
14 Термин “четыре только” в 2018 г. был употреблён Правительством Китая в “Инструкции по продвижению реформы системы оценки [кадрового резерва] талантов по классификации” и обозначает формализованный подход к оценке персонала, при котором имеет значение только формальное соответствие научного сотрудника должностным требованиям по четырём показателям: статьи, звания, дипломы и награды.
К концу 1970-х годов вследствие многолетней череды неблагоприятных внешне- и внутриполитических событий наука в КНР была практически разрушена. «В 1966 году с началом культурной революции роль КАН в управлении наукой значительно ослабла. Культурная революция стремилась устранить “буржуазное” влияние во всех областях государственного управления. Многие университеты и академические институты были закрыты, финансирование научных исследований было существенно сокращено» [13]. “В 60‒70-е годы внутренние неурядицы и полуизоляция страны негативно сказались на подготовке кадров. Исключением были лишь ВПК, нефтяная и некоторые другие отрасли. Кардинальный поворот в сфере образования и науки начался лишь в конце 1970-х годов – в ходе инициированных Дэн Сяопином реформ” [25].
В 1978 г. впервые проводилась масштабная Национальная научная конференция, на которой было принято решение возродить национальную систему учёных званий и наград. Первые оценки претендентов выполнялись экспертными и административными методами, в связи с чем остро стояла проблема “гуаньси” (см. сноску 12). В 1980-х годах после перехода к конкурентному распределению финансирования и появления доступа к международным библиографическим базам данных начался переход к количественным оценкам научной результативности [1]. В 1993 г. Китайская академия наук составила первый рейтинг подведомственных НИУ, который в тот момент не повлёк за собой бюджетных и административных последствий, однако создал нефинансовую мотивацию для руководства организаций бороться за более высокие места. Таким образом оценка оказала стимулирующие воздействие сама по себе, без связи с другими элементами управления [4].
В начале 2000-х годов усиливаются формализация и стандартизация оценочной деятельности. Правовой статус оценки закрепляется в законе “О научно-технической деятельности” [1]. При внедрении национальной системы сертификатов о профессиональной квалификации были введены количественные подходы к оценке отдельных учёных, после чего процедуры назначения на должность стали более прозрачными и сформировались “поклонение SCI” (см. сноску 13 [7, 26]) и практика “четыре только” (см. сноску 14). На начальном этапе новая кадровая политика привела к омоложению профессорско-преподавательского состава и повышению его квалификации [27]. Однако тогда же появились первые сообщения о негативных эффектах, связанных с применением количественных оценок. Они редко опирались на конкретные факты, зачастую представляли собой размышления и прогнозы в рамках западных концепций, критикующих неолиберальные подходы к управлению наукой. В них указывалось на негативное влияние неадекватных оценочных практик на качество научных исследований [28], недобросовестное поведение учёных [29], рост академической коррупции [30]. Результаты первых исследований показали, что эффекты оценки многогранны, глубинные интервью позволили описать парадокс расширения и сокращения исследовательской автономии: «Чем больше автономии предоставляет национальное правительство, тем более высокие требования оно предъявляет. Оно требует, чтобы наш университет был университетом “мирового класса”, и давление возрастает», “Министерство образования дало нам несколько сотен миллионов (юаней), но всегда оценивает нас, так как же мы можем быть свободными?” [31].
В последующие годы количество сообщений о негативных эффектах количественных оценок постоянно увеличивается [4, 5, 26, 30, 32–37]. Активизируется правительственная деятельность по принятию мер, способствующих преодолению формализма и переориентации с оценки количества на оценку качества научных результатов, чаще начинают учитываться показатели цитирования [38]. При этом принципиальных изменений в реализации подходов к оценке на уровне отдельных учреждений замечено не было: декларативные нормативные документы государственного уровня часто не отражались в локальных нормативных актах НИУ и университетов, где уже сложилась удобная для администраторов науки система оценки. Этот период можно назвать периодом инерции в применении количественных подходов.
Переломным моментом можно считать 2018 г., когда правительство перешло к решительным действиям: было запрещено использовать в оценке персонала формальные подходы, известные как “четыре только”. В последующие годы были изданы постановления, предписывавшие минимизировать использование данных SCI для оценки научной результативности. Это дало повод говорить о серьёзной реформе китайской науки [6]. Изменилось само отношение к оценке: она уже рассматривается не просто как источник данных для управления наукой, а как самостоятельный и очень действенный стимул. На систему оценки были возложены задачи воспитательно-нравственного воздействия на учёных и стимулирования издательской индустрии. Подробно этот период будет рассмотрен ниже.
Анализ программных документов (policy papers), относящихся к оценке научной деятельности в Китае, позволил Сун Цзяоцзяо, Сю Фань и Мэн Вей [23] выделить тенденции развития и константы китайской оценочной политики. К тенденциям отнесены диверсификация подходов к оценке в различных отраслях, ориентация на охват всех элементов научно-технической деятельности (организации, персонал, проекты) и детализация политик (от первоначальных методов оценки, способов и применения результатов оценки до каждого звена цепи оценочной деятельности, включая методы оценки, способы, процедуры, индикаторы, использование результатов оценки, “слепую” оценку и конструктивные положения). Бросается в глаза, что на протяжении всего периода сохраняется недостаток практического содержания на фоне избытка руководящих и нормативных документов, а также фрагментация оценочной политики – в большинстве случаев каждое учреждение по-прежнему принимает и реализует собственные правила.
В период действия количественных подходов в оценке научной деятельности отмечались как положительные, так и отрицательные эффекты подобной практики. К положительным эффектам относится повышение публикационной активности научных работников. По этому показателю Китай вышел в число стран-лидеров [39]. Кроме того, отмечается внедрение в практику оценки объективного и поддающегося количественному измерению набора критериев и изменение кадровой структуры под влиянием политики кадрового отбора [4]. Оценка, опирающаяся на показатели SCI, долгое время считалась более справедливой, прозрачной и точной, чем другие методы. Она давала карьерный шанс начинающим учёным, не имеющим связей и репутации в научном мире [32].
В то же время в китайской научной литературе сообщается о широком спектре нежелательных эффектов количественной оценки, однако эти выводы далеко не всегда опираются на доказательную базу. Изучение материалов, подкреплённых результатами исследований или описанием фактов, позволяет выделить набор отрицательных последствий применения количественных оценок в КНР.
Искажение первоначальной миссии организаций. В Китайской академии наук высказывались обоснованные опасения относительно гомогенизации научных организаций – усреднения исследовательских миссий, потери исходной научной ориентации и утраты уникальных компетенций под влиянием единых оценочных показателей [4]. Кроме того, в университетах приоритет всё чаще стал отдаваться исследовательским функциям в ущерб образовательным [34, 40].
Деградация кадровой политики. Сложились предпосылки ухода из университетов сотрудников с низкой публикационной активностью [34]. Например, из-за того, что ни один журнал в области фольклористики не включён в список изданий первого уровня, соответствующие академические предметы могут исчезнуть из образовательных программ, а преподаватели этих предметов потеряют работу [34]. В штат университетов стали принимать исследователей, которые не располагали опытом преподавания, считали главной своей задачей научную работу, игнорировали тенденцию снижения уровня подготовки кадров [40]. Назначение на должности по количественным показателям без учёта личностных и профессиональных характеристик претендента ухудшало климат в исследовательских подразделениях и нередко становилось препятствием для реализации научно-технической деятельности [36].
Изменение публикационных и авторских практик [35]. Наблюдалась экспансия китайских исследователей в зарубежные журналы открытого доступа: 91% публикаций в “The International Journal of Clinical and Experimental Medicine”, а также 65% статей, опубликованных в “IEEE Access”, представлены авторами из КНР [33]. При этом сокращался поток статей в национальные журналы и публикуемых на китайском языке, снижалось их признание [5]. Так, университеты, входящие в проект “Двойной первый класс”, к которым предъявляли жёсткие оценочные требования в части научной результативности, в период действия проекта увеличивали количество статей в международных журналах в среднем на 12% в год, в то время как количество статей в отечественных журналах сокращалось на 3% в год [41].
Ограничение академической свободы. Инициатива по созданию университетов “двойного первого класса” сузила возможности учёных решать, что изучать и где публиковать результаты [34]. Наблюдается отказ от исследования малоизученных, не имеющих международного признания научных проблем [5, 26, 32, 36]. Предпочтение популярных и избегание слабоизученных тематик приводит к сокращению инноваций в академической системе [26]. Темы, актуальные в национальном контексте (исследования, которые стимулируют новые технологии, новые продукты или развитие ориентированных на внутреннюю проблематику социально-гуманитарных дисциплин), могут не относиться к передовой области в контексте SCI, поэтому соответствующие исследования редко попадают в высокорейтинговые журналы, а учёные, которые ими занимаются, не получают должного вознаграждения [32].
Негативное влияние на качество исследований. Публикационное давление, неразрывно связанное с количественной оценкой, приводит к многократному повторению исследований невысокого уровня, формирует эффект “академического пузыря” [24], лишает учёных энтузиазма, делает их равнодушными к качеству работ, количество оригинальных статей сотрудников колледжей и университетов сокращается [37, 42]. Исследователи отдают предпочтение не рассчитанным на длительную перспективу проектам, что “приводит к низкому уровню научных результатов и малому числу влиятельных достижений в исследованиях высокого уровня” [42]. Об относительно невысоком качестве китайских научных работ говорит тот факт, что рост их цитируемости отстаёт от роста публикационной активности [43].
Особого внимания заслуживают нарушения научной этики, о чём свидетельствует большое число отзывов публикаций. На рисунке 1 показано, что в мировом потоке доля ретракций публикаций китайских авторов выше, чем доля самих китайских публикаций [6]. И это не случайное явление, поскольку есть свидетельства того, что именно в период поклонения индексам цитирования получили развитие недобросовестные публикационные практики. Так, в 2017 г. издание “Tumor Biology” (Springer) отозвало 107 статей, написанных китайскими авторами, потому что они предоставили выдуманную контактную информацию потенциальных рецензентов, а процессами рецензирования манипулировали сторонние агентства. “Лёгкой” формой нарушения научной этики можно считать избыточную концентрацию работ авторов из Китая в некоторых журналах, что объясняется тесно связанными сетями редакторов, рецензентов и авторов и приводит к поверхностному рецензированию, лёгкому принятию статей и преднамеренному самоцитированию для повышения импакт-факторов [32]. В более тяжёлых случаях упоминаются “фабрики статей” (paper mill) – организованные и отлаженные процессы потоковой публикации статей с предумышленными нарушениями научной этики, включая фальсификацию результатов, отсутствие рецензирования, ложное авторство и т.п. Отмечается, что особенно плачевно обстоят дела в области клинической медицины [26], где в ходе одного из расследований почти 500 работ были отнесены к одной конкретной “фабрике статей” на основании одинаковой модели фальсификации медицинских изображений. Команда, проводившая расследование, получила письмо от одного из клиентов “фабрики статей”, которое ярко характеризует ситуацию: “Бесчисленное количество молодых врачей, презирают подделку научных работ. Но система в Китае именно такая, с ней невозможно бороться. Без статей не получить повышения; без повышения вряд ли прокормишь семью. Я также хочу иметь некоторое время для научных исследований, но это невозможно. Днём у меня амбулаторные операции; после работы я должен заботиться о своих детях. После 10 вечера у меня остаётся совсем немного времени на себя, но этого далеко не достаточно, потому что научные исследования требуют времени… Тысячи других людей делают то же самое. Пока система остаётся прежней и правила игры остаются прежними, подобные случаи фальсификации наверняка будут продолжаться. На этот раз вы разоблачили нас, что, возможно, будет стоить нам нашей работы. Ради китайских врачей в целом, особенно для нас, молодых врачей, будьте тактичны. У нас действительно нет выбора” [44].
Количество и доля китайских публикаций и ретракций, проиндексированных Web of Science (2000–2020) [6]
Сразу после объявления о начале эпидемии COVID-19 общественный гнев вызвала статья “Early Transmission Dynamics in Wuhan, China, of Novel Coronavirus-Infected Pneumonia” [45], опубликованная 29 января 2020 г. в журнале “The New England Medicine”, который издаётся Массачусетским медицинским сообществом. Из статьи следовало, что ещё в декабре исследователи знали о случаях передачи вируса от человека к человеку и о случаях заражения медицинского персонала, но не раскрывали всех данных до выхода публикации. Причина такого поведения – система оценки научной результативности в стране, когда академическая публикация оказывается более приоритетной, чем борьба с национальной угрозой [46].
К настоящему времени национальный политический курс изменился. В числе главных задач КНР признаются повышение независимости и укрепление собственного потенциала в области науки и техники [47]. В 14-м пятилетнем плане национального развития указывается на необходимость “создать и улучшить систему оценки и механизм стимулирования, соответствующие научным законам, внедрить долгосрочную оценку фундаментальных исследований и создать хорошую среду для научных исследований, способствующую проведению фундаментальных исследований… Улучшить оценку талантов и механизм стимулирования, усовершенствовать систему оценки научно-технических талантов, ориентированную на инновационные способности, качество, эффективность и вклад, и создать механизм распределения доходов, который полностью отражает ценность таких элементов инноваций, как знания и технологии” [48].
Таким образом, переход к новой политике оценки научной результативности в Китае осуществлялся на основе достижения целей предыдущего этапа развития науки, накопления негативных эффектов сложившихся процедур оценки и коррекции политического курса.
На новом этапе одним из основных принципов оценки научной деятельности стало её воспитательно-нравственное воздействие [49], которое тесно связано с укреплением научной этики.
Первые шаги по переходу к современной оценочной практике были сделаны в 2018 г., когда Правительство КНР провозгласило политику отказа от “четырёх только” при оценке учёных [1]. Реагируя на общественную критику поведения учёных при распространении COVID-19 [46], 18 февраля 2020 г. Министерство образования и Министерство науки и технологий опубликовали совместные рекомендации, призывающие университеты пересмотреть сложившуюся систему оценки и радикально снизить влияние в ней показателей SCI [50 ] . Несколькими днями позже вышло уведомление Министерства науки и технологий, в котором при проведении оценки предлагалось сосредоточиться на качестве, вкладе и влиянии выдающихся научных достижений. Для этого в фундаментальных исследованиях следует опираться на репрезентативные публикации, а в прикладных – на оценку технологий, процессов, продуктов, материалов, оборудования, экспериментальных устройств/систем, новых способов диагностики и лечения [51]. В середине 2020 г. было выпущено следующее уведомление, в котором приоритетной задачей объявлялось обеспечение честности и добросовестности исследований, а первоочердная ответственность [1] за соблюдение научной этики возлагалась на научные институты и университеты [52 ] .
В 2021 г. утверждается “Руководство Главного управления Госсовета КНР по совершенствованию механизма оценки достижений науки и техники” [53], в котором декларативно предлагается:
• всесторонне и точно оценивать научную, технологическую, экономическую, социальную и культурную ценность научных и технических достижений;
• ориентироваться на оценку инновационности, качества, производительности и вклада;
• научно определить критерии оценки и внедрять многоуровневую дифференцированную систему оценивания;
• повышать уровень стандартизации и нормализации оценки достижений;
• развивать рыночную оценку научно-технических достижений;
• совершенствовать систему вознаграждения за научно-технические достижения;
• усилить исследования теорий и методов оценки научно-технических достижений, использовать большие данные, искусственный интеллект и другие технические инструменты оценки;
• провести целевые пилотные реформы процедур оценки на разных уровнях;
• создавать хорошую атмосферу: продолжать реализовывать требования реформы “децентрализации управления и обслуживания”, укреплять академическую дисциплину, выступать против “оценки ради оценки” и слепого следования тенденциям, злоупотребления её результатами и чрезмерной увязки оценки с материальными интересами.
С 2022 г. научные учреждения обязаны внедрять требования научной и технической этики в научно-техническую деятельность, расследовать и принимать меры в связи с нарушениями законов и норм этики в области науки и техники, обеспечивать углублённое образование и пропаганду научной и технической этики [54], ежегодно отчитываться о состоянии научной этики в учреждении через национальную информационную систему управления качеством (в оригинале – “добросовестностью”) научных исследований [55 ] . В ходе ежегодной оценки и присуждения наград, проводимых Фондом естественных наук, следует принимать во внимание стиль работы и академическую честность научно-исследовательского персонала, а также добросовестность научных исследований [52 ] .
Стимулирование научной издательской индустрии Китая посредством изменения оценочных требований включает несколько групп мер [6], обеспечивающих :
• приоритет национального распространения научной информации;
• ограничение публикаций в открытом доступе;
• отказ от использования данных SCI в оценке.
Приоритизация национального уровня распространения научной информации осуществляется путём определения минимальной доли статей, которые должны быть опубликованы в китайских журналах. В отчётах по государственным научным проектам исследователи могут перечислить не более пяти репрезентативных статей, из которых не менее одной трети должны быть опубликованы в национальной периодике. Публикации в топовых изданиях (“Science”, “Nature”, “Cell”) по-прежнему поощряются, но не более чем в “белом” списке из 285 высококачественных китайских научных журналов [26]. При оценке эффективности и предметной оценке в области философии и социальных наук в проекте “Двойной первый класс” подчёркивается необходимость поддерживать публикацию большего количества достижений во влиятельных отечественных журналах, а также поощрять публикацию статей высокого уровня в иностранных журналах [56].
Министерство науки рекомендует выделять три уровня источников, в которых могут быть опубликованы качественные статьи (списки источников составляет каждое учреждение по принципу “лучше меньше да лучше”) [51]:
• отечественные научные журналы с международным влиянием (список определяется с учётом журналов из Китайского плана действий по совершенствованию научных и технических журналов [57]);
• ведущие международные или важные научные журналы, признанные отраслью;
• ведущие научные конференции в стране и за рубежом.
Ограничения для публикации в открытом доступе заключаются в запрете использовать финансирование исследований для оплаты APC (article processing charges), за исключением высококачественных публикаций, а также в составлении чёрного списка хищнических журналов [6, 26].
Механизм отказа от SCI предусматривает [50 ] :
• отказ от использования показателей, которые основаны на данных SCI при оценке академического уровня или инновационности, при трудоустройстве, присвоении учёной степени, премировании, составлении рейтингов;
• использование альтернативных методов, не нуждающихся в количественных данных (экспертные вместо количественных), например, для оценки фактического вклада в решение ключевых технических проблем или эффектов от промышленного применения новых технологий, новых продуктов либо новых процессов.
Одним из первых изменило методику оценки Министерство образования КНР, которое каждые четыре года проводит крупное мероприятие по оценке подведомственных университетов – Раунд оценки академических дисциплин. В 2020 г. наступил срок проведения пятого раунда [40, 49]. Этот раунд было рекомендовано проводить методом “репрезентативной оценки”, основанным на сочетании количественного и экспертного подходов, когда в процедуру оценки попадают не все статьи, а наиболее представительная их выборка. При этом в фокусе оценки оказываются такие показатели, как наличие прорывных достижений, оригинальность и инновационность результата, а не показатели количества опубликованных статей, монографий, патентных заявок и пр. Результаты оценки формируются с использованием статистических методов обработки количественных и качественных показателей, а также по весу показателей, определяемому экспертами.
Другим примером отказа от SCI является новая процедура подачи заявок на гранты в Национальный фонд естественных наук, при которой исследователи могут указать не более пяти своих репрезентативных статей без какого-либо упоминания показателей цитирования [26].
Возврат к экспертному подходу для оценки сопровождался совершенствованием его методики. Рекомендации по проведению пятого раунда включают ряд требований, которые призваны способствовать снижению субъективизма экспертов:
• соблюдение принципа коллегиальности;
• обеспечение строгости и научности процесса оценки;
• разработка стандартов и методических рекомендаций;
• создание системы подбора экспертов (механизмы случайного отбора, контроль обязательств, отклонение экспертов, их репутация, отчётность);
• участие внешних экспертов в оценке достижений, присвоении профессиональных званий и проверке академических проступков;
• разумная рабочая нагрузка экспертов при организации рецензирования;
• улучшение статистических методов обработки результатов оценки.
Несмотря на наличие политической воли, в Китае перспективы отказа от количественных оценок научного труда воспринимаются неоднозначно. С одной стороны, существует успешный опыт Китайской академии наук, который подтверждает возможность перехода от доминирования количественных показателей к экспертной оценке, когда количественные показатели используются в качестве вспомогательных. Переход должен быть постепенным и начать его должны основные акторы – Академия наук и ведущие университеты, создав для этого надлежащие условия [58]. С другой стороны, присутствует противоположная точка зрения, согласно которой ни одно из министерств не сформировало механизм отказа от количественных оценок [6]. Сформулированы только общие принципы, которые должны быть воплощены в жизнь научными учреждениями и университетами. Однако пример Пекинского университета показывает, что реализация оценочной политики в университете не всегда соответствует национальной политике. “Например, национальная политика требует делать акцент на качественном методе оценки, но университеты часто больше полагаются на количественный метод для удобства администрирования. Кроме того, цель оценки, предложенная в национальной политике, состоит в том, чтобы создать среду, способствующую развитию профессорско-преподавательского состава, в то время как на практике цель оценки профессорско-преподавательского состава состоит в том, чтобы предоставить менеджерам доказательства того, может ли преподаватель быть повышен в должности” [59].
Помимо этого отмечается, что опыт Китайской академии наук сложно транслировать на университеты. Академия является уникальным для страны ведомством, а между университетами ведётся конкурентная борьба за места в рейтинге [58]. Ещё один повод для скептицизма связан с убеждением, что причиной негативных эффектов, с которыми призвана бороться новая оценочная политика, являются не сами количественные показатели, а административные цели оценки, которые ориентированы на позиции в рейтингах, а не на реальное продвижение знаний [58].
В случае успеха реформы её последствия могут иметь не только национальный, но и глобальный характер. Так, вполне вероятен конфликт между растущей силой китайской науки и традиционными силами в мировой науке [6]. Итогом могут стать ослабление западоцентризма в мировой науке и усиление китайского академического дискурса. Вполне вероятно также ограничение международного сотрудничества, которое в последние десятилетия финансировалось в основном китайской стороной [1, 6]. Рост числа публикаций в национальных журналах приведёт к сокращению их количества в зарубежных. Особенно это коснётся низкорейтинговых изданий, взимающих плату за публикацию статей [6]. Ожидается также сокращение мирового объёма публикаций в открытом доступе [6], поскольку почти 30% контента журналов открытого доступа SCI формируют исследователи, связанные с китайскими учреждениями [26].
На национальном уровне повышаются риски академической коррупции, связанные с применением экспертных оценок [1, 60]. Положительное влияние экспертной оценки на развитие китайских журналов может иметь лишь краткосрочный эффект, вместе с тем сложившаяся ситуация будет благоприятной для издателей, прикладывающих усилия к развитию национальных журналов [61].
На уровне отдельных учреждений ожидается развитие новых практик, которые позволят заменить прямую плату за статьи опосредованным вознаграждением, в то время как сложившиеся принципы оценки научной результативности фактически сохранятся [60]. Кроме того, снижение значения публикаций в международных журналах для оценки научной деятельности может привести к утрате учёными-репатриантами привилегированного положения в китайских университетах [62].
Развитие системы оценки научной результативности – это поиск баланса между субъективностью и дороговизной экспертной оценки, с одной стороны, и формализмом и ограниченностью наукометрического подхода – с другой. Каждая страна вынуждена искать свой оптимум, наиболее соответствующий истории развития национальной науки и её текущему состоянию, ментальности исследователей и, самое главное, целям национального развития.
В Китае чрезмерный крен в сторону первого полюса (экспертная оценка) усиливал проблему “гуаньси”, когда “академическая аристократия” использовала систему оценки (или её отсутствие) для продвижения личных интересов или интересов своего клана. Масштабное внедрение наукометрического подхода к оценке и 20-летний период “поклонения SCI” сформировали систему научной бюрократии, в которой формальные показатели доминируют над содержательными, а факт публикации результатов исследования в престижном журнале оказывается более важен, чем реальный эффект от новых открытий. Следствием избыточного применения наукометрии стали нарушения научной этики, снижение качества исследований и деградация научной среды.
После осознания этих проблем с 2010 г. предпринимаются попытки реформировать сложившуюся систему оценки научной результативности, однако отказа от использования количественных показателей до недавнего времени не происходило. Вероятно, это объясняется тем, что соответствующие нормативные документы носили преимущественно декларативно-рекомендательный характер и не содержали достаточно чётких методических решений. При этом администраторы от науки на местах в отсутствие однозначных ограничений сверху предпочитали идти по пути наименьшего сопротивления, сохраняя удобные для них формальные подходы.
С 2018 г. Правительством КНР осуществляются более решительные реформы национальной системы оценки научной деятельности. Основные изменения состоят в отказе от прямого использования данных SCI в пользу сочетания экспертной оценки репрезентативных достижений и количественной оценки достижений высокого уровня [49], в повышении приоритета распространения научной информации на национальном уровне и в ограничении публикаций (невысокого качества) в открытом доступе. Учитывая лидирующие позиции Китая в экономике и научной сфере, на глобальном уровне такие новации могут привести к ослаблению западоцентризма в мировой науке и усилению китайского академического дискурса, сокращению международного сотрудничества, количества публикаций в открытом доступе и другим эффектам.
Таким образом, современные подходы к оценке являются результатом маневрирования между проблемой “гуаньси” в случае господства мнения эксперта и выхолащиванием целей научной деятельности в случае доминирования наукометрических показателей. Эволюция оценки научной результативности движется в направлении подходов, объединяющих количественные и качественные методы.
Важно подчеркнуть, что настоящий обзор основан на анализе функционирования государственного сектора науки и высшего образования, в то время как коммерческий сектор остался за скобками, прежде всего в силу отсутствия доступной информации. Тому есть вполне понятные причины. Требования к оценке научной деятельности в государственных организациях не распространяются на бизнес-сектор. Поэтому каждая компания вольна вводить свою систему или не вводить её вовсе. Недостаток системности значительно затруднит анализ, если бы даже он был возможен. Но он невозможен, поскольку бизнес-компании почти никогда не раскрывают свои внутренние документы и механизмы, более того, требуют от сотрудников подписывать соглашения о неразглашении, из-за чего вся внутренняя кухня остаётся надёжно скрытой от посторонних глаз.
Нельзя не упомянуть, что опыт и подходы КНР к управлению наукой, в частности к организации системы оценки научной результативности, могут не подойти другим странам. И дело здесь не только в национальных особенностях, но главным образом в том, что эти подходы реализуются:
• одной из мощнейших экономик мира с очевидной претензией на научно-технологическое лидерство;
• в рамках динамичной миграционной политики, направленной как на обучение китайских исследователей за рубежом, так и на привлечение в страну иностранных учёных;
• в условиях активной интеграции китайских исследователей в мировую науку, включая вхождение китайских учёных в редколлегии ведущих научных журналов и в международные коллаборации.
Все эти факторы способствовали накоплению внутри страны широкого экспертного сообщества мирового уровня, что позволяет говорить если не о полном преодолении, то о минимизации научно-технологического разрыва с североамериканским и европейским сектором исследований и разработок. В странах с иными условиями недостаток специалистов высокого уровня может иметь своим следствием низкое качество экспертизы, а избыточное стимулирование учёных публиковаться в национальных журналах будет способствовать их изоляции от мировой науки и снижению видимости научных результатов, что в итоге негативно скажется на национальном научном потенциале.