Вестник РАН, 2020, T. 90, № 6, стр. 540-548

Эффективность работы конкурентных механизмов распределения средств на научные исследования во многом зависит от качества конкурсного отбора. Традиционно отбор научных проектов базируется на экспертной оценке. В организациях, финансирующих научные исследования на конкурсной основе, её проводят сами учёные [1]. На объективность экспертной оценки влияют такие факторы, как квалификация эксперта, в том числе полнота соответствия области его профессиональных знаний содержанию рассматриваемого проекта, наличие у него явного или скрытого конфликта интересов и в некоторой степени время, отводимое на ознакомление с проектом и экспертизу. В связи с этим подбор экспертов можно назвать одним из ключевых процессов, оказывающих решающее воздействие на конечные результаты рассмотрения заявок.

В большинстве случаев подбор осуществляется с учётом определённой классификации областей знаний. За основу могут быть взяты подготовленные на государственном уровне классификаторы (для России, например, ГРНТИ, номенклатура научных специальностей [2]) или разработанные своими силами. Фонды поддержки науки используют свои классификаторы, которые, как правило, различаются между собой не только по уровню детализации, но и по основным разделам. Например, в Российском научном фонде 9 разделов [3], Российском фонде фундаментальных исследований – 16 [4], Немецком научном сообществе (DFG) – 4 [5], Национальном научном фонде США (NSF) – 12 [6]. Помимо классифицирования, при выборе эксперта также учитывается содержательная информация о проекте – ключевые слова и аннотация. Очевидно, что для более точного сопоставления необходима аналогичная информация и об эксперте, то есть отнесение круга его интересов к тем или иным научным направлениям, ключевые слова, привязанные к исследованиям учёного, и сведения о тематике его публикаций.

Научные фонды и другие организации, проводящие конкурсы на регулярной основе, обычно имеют собственные базы экспертов. Отечественные научные фонды включают в экспертный состав учёных, выразивших заинтересованность в подобной работе, предоставивших в фонд сведения о себе, имеющих долгосрочные, чаще договорные, отношения с фондом и получающих вознаграждение за свою деятельность. Данная схема работы обусловлена не только законодательными требованиями, но и необходимостью обеспечить рассмотрение заявок в фиксированные сроки. Эксперты подают в фонд сведения о научных интересах, что позволяет классифицировать их по направлениям. Эта информация представляется наиболее важной, так как именно она используется при подборе экспертов на конкретные проекты.

Подбор осуществляется разными способами. Им могут заниматься штатные сотрудники финансирующей организации, имеющие опыт участия в научных исследованиях в определённой области знаний и достаточно высокий уровень компетенции. Такой подход распространён в зарубежных научных фондах, например, в Немецком научно-исследовательском сообществе [7]. В Российском научном фонде и Российском фонде фундаментальных исследований другая практика: распределение заявок проводится уполномоченными членами экспертных советов, создаваемых для проведения конкурса [8, 9]. И в том, и в другом случае эксперты подбираются людьми, которые сравнивают содержание заявки с профессиональными компетенциями эксперта, руководствуясь совпадением кодов используемого классификатора научных исследований, ключевых слов и др. Подобное распределение заявок требует сопоставления больших массивов научной информации.

Значительно усложняет работу по подбору необходимость отслеживать конфликт интересов. Суть этого понятия заключается в возможной заинтересованности эксперта в определённом – положительном или отрицательном – исходе экспертизы. Заинтересованность может быть финансовой или личной, когда речь идёт о проектах, в которых участвуют родственники или близкие друзья эксперта, организационной, если в проекте задействована организация, с которой аффилирован эксперт, или, что особенно сложно заметить, интеллектуальной, связанной с приверженностью эксперта к тем или иным научным школам, исследовательским подходам или к определённому мировоззрению [10]. На практике подходы, предотвращающие конфликт интересов, сводятся к отслеживанию участия эксперта в рассматриваемом проекте или в проекте, конкурирующем с ним, общих публикаций с участвующими в заявке учёными, работы с ними в одной организации, а также родственных связей. Исключение конфликта интересов может входить в круг обязанностей лица, занимающегося распределением заявок по экспертам, или самого эксперта, когда он должен декларировать отсутствие конфликта интересов при принятии проекта на экспертизу. Возможна комбинация этих подходов. Учитывая, что не все жизненные ситуации могут быть формализованы и предусмотрены в нормативных документах, наиболее разумной представляется схема, в рамках которой чётко определённый и контролируемый конфликт интересов отслеживается на стадии распределения проектов, а все остальные, включая скрытые конфликты интересов (например, личная неприязнь), должны побудить эксперта отказаться от экспертизы.

Вместе с тем при проведении массовых конкурсов, когда количество заявок исчисляется тысячами и необходимо назначать по несколько (как правило, не менее трёх) экспертов на один проект, ручное назначение превращается в длительный трудоёмкий процесс, где даже самые квалифицированные распределяющие могут совершать ошибки, связанные с естественным снижением концентрации внимания. Как известно, часть экспертов по разным причинам отказывается от проведения экспертной оценки [11], что требует подбора новых кандидатур. Это существенно удлиняет процесс. В результате возрастает вероятность ошибки, вызванной усталостью, а время на выполнение содержательной экспертизы проектов сокращается.

Замечены и общие, вне зависимости от количества заявок, погрешности ручного подбора экспертов. Одна из наиболее острых проблем, постоянно обсуждаемых в научном сообществе, – субъективность экспертных оценок [12]. Она затрагивает в том числе и процесс назначения экспертов. Лицо, подбирающее этих учёных на проекты, обладает не только компетенциями в определённой области науки, но и дополнительными знаниями об экспертах: кто более критичен, а кто, наоборот, проявляет излишнюю доброжелательность к коллегам. Теоретически это открывает возможность повлиять на результаты экспертизы. Данное обстоятельство, как и принадлежность к той или иной научной школе или просто симпатии в отношении какого-либо проекта, позволяет говорить о наличии конфликта интересов.

Избежать этого можно несколькими путями. Первый из них: лицу, занимающемуся распределением, эксперты могут быть представлены анонимно. Но тогда при подборе ему приходится оперировать сокращённым объёмом информации – без сведений о публикациях и месте работы эксперта. Это неизбежно ведёт к увеличению ошибок в определении соответствия научных интересов эксперта содержанию проекта, хотя исключает конфликт интересов. Как следствие, увеличивается количество отказов от проведения экспертизы, снижается качество в случаях, когда экспертизу проводят специалисты, компетенции которых не совпадают с тематикой проекта или которые имеют с его участниками отношения, вызывающие конфликт интересов. Второй путь – обезличивание заявки, но это приводит к тем же последствиям, о которых говорилось выше. Как показывает практика, чтобы полностью лишить эксперта способности определить принадлежность заявки, необходимо настолько сократить информацию о проекте, что под сомнение ставится сама возможность адекватной экспертизы [13]. И есть третий путь – исключить человеческий фактор при распределении проектов на экспертизу, автоматизировав этот процесс. Очевидно, что и в этом случае вопрос о точности подбора экспертов на соответствие тематике проектов также остаётся центральным.

Таким образом, можно выделить три основных фактора подбора экспертов, влияющих на качество экспертизы при проведении массовых конкурсов, характерных для научных фондов:

• трудоёмкость процесса и значительные временны́е затраты на него;

• сложность обеспечения точного совпадения научных интересов эксперта и тематики научного проекта;

• неизбежность субъективизма при выборе экспертов.

Российский научный фонд с первых шагов своей деятельности последовательно реализовывал меры по совершенствованию экспертизы, в частности, при подборе экспертов. Их подбор и назначение фонд сразу начал проводить в Информационно-аналитической системе (ИАС), в которой регистрировались и эксперты, и подаваемые на конкурс заявки. Изначально подбор осуществлялся в полуавтоматическом режиме координатором тематической секции экспертного совета, к которой относился проект. При этом на основании сведений о проекте (кодов классификатора) ИАС формировала и ранжировала по количеству совпавших кодов список возможных экспертов. Из него координатор выбирал учёных, попутно проверяя соответствие кодов классификатора эксперта и проекта, сопоставляя ключевые слова научных интересов эксперта и тематику проекта, контролируя конфликт интересов. Дальнейшее развитие Информационно-аналитической системы позволило автоматизировать процесс отслеживания явного конфликта интересов у эксперта: из предлагаемого координатору списка автоматически исключались кандидаты, участвовавшие в рассматриваемой заявке, работавшие в организации, от которой подан проект, или фигурировавшие в качестве руководителей проекта в данном конкурсе.

Следующим этапом развития системы стал автоматизированный учёт занятости эксперта. Перегруженность учёного зачастую ведёт к нивелированию его экспертной оценки и снижению качества экспертизы. Установлено, что в рамках одной кампании эксперту следует одновременно направлять не более 10 проектов, учитывая, что он вправе отказаться от экспертизы любого из них. Число 10 подобрано опытным путём и при необходимости может быть изменено. Помимо того, что в предоставленном координатору списке эксперты с десятью назначенными/принятыми экспертизами не значились, координатор владел актуальной информацией о загрузке каждого предлагаемого ИАС РНФ эксперта и мог её контролировать.

Ещё одно усовершенствование Информационно-аналитической системы связано с ранжированием списка возможных экспертов. Использование в ИАС лемматизации ключевых слов экспертов и проектов позволило сопоставлять их по этому признаку и ранжировать по совпадению кодов классификатора и ключевых слов. Подбор стал более точным. При этом система весовых значений открывала возможность регулировать важность тех или иных совпадений в алгоритме выстраивания рейтингового списка. Кроме того, была добавлена ещё одна опция, связанная с семантическим анализом и формированием ключевых слов заявки из аннотаций проектов. Таким образом, к указанным авторами проекта ключевым словам добавлялись сформированные из его аннотации.

Эти шаги помогли вплотную приблизиться к автоматическому подбору экспертов. В данном случае под “автоматическим” подразумевается ситуация, когда по определённым параметрам эксперты назначаются на проекты без участия человека. Следует признать, что многие члены экспертного совета РНФ скептически отнеслись к такой идее, указывая на недостаточность информации для выбора наиболее подходящих экспертов, незнание компьютером всех нюансов отношений между учёными, работающими в определённом направлении. Поэтому первый опыт автоматического назначения – в конкурсе 2019 г. по мероприятию “Проведение исследований на базе существующей научной инфраструктуры мирового уровня” – проходил в РНФ при участии человека. К конкурсу было допущено 1.3 тыс. заявок, по каждой из которых с помощью компьютера назначались три индивидуальных эксперта. Алгоритм был реализован так, что после автоматического назначения экспертов на проекты координаторы секций могли просмотреть результат и в случае несогласия снять назначение, указав причину. По разным секциям координаторы сняли от 2 до 25% экспертов от числа автоматически назначенных. Причины – несоответствие, по мнению координатора, научных интересов эксперта тематике проекта (44% случаев) и наличие неформальных конфликтов: от работы по совместительству в одной с заявителем организации (филиале организации) до родственных связей и близких дружеских отношений между экспертом и заявителем. В итоге координаторы сняли 7% от общего числа автоматически назначенных экспертов. Для сравнения: количество самостоятельных отказов экспертов от проведения экспертизы составило 30% от числа всех назначенных экспертиз, причём доля отказов по причине несоответствия тематики в этом случае равнялась 46%.

Сравнивая общее число отказов с зарубежными фондами, можно сказать, что показатель РНФ совпадает с показателем Национального научного фонда США, который также сообщает о 30% отказов [14]. Если сопоставлять со схожей системой рецензирования статей в научных журналах [15], то там доля отказов экспертов из-за отсутствия компетенций может превышать 70%.

Вместе с тем опыт такого назначения оказался полезным для доработки алгоритмов автоматического подбора экспертов. В частности, были выявлены проблемные случаи, когда на одну заявку назначались два эксперта из одной организации. Такая ситуация сама по себе не является нарушением каких-либо правил, но очевидно, что она не способствует объективности рассмотрения проектов. Поэтому на практике на одну заявку координаторы назначают, по возможности, экспертов из разных организаций и регионов. Это правило было включено и в алгоритм автоматического назначения экспертов.

Полностью автоматический подбор экспертов прошёл в конкурсе 2019 г. по мероприятию “Проведение исследований научными группами под руководством молодых учёных” Президентской программы исследовательских проектов, реализуемых ведущими учёными, в том числе молодыми (далее – ПП2-2019). В конкурсе участвовало 1175 заявок, на каждую назначались по три эксперта.

Автоматический подбор и назначение экспертов осуществлялись следующим образом. С учётом ранее описанных параметров (исключение конфликта интересов, совпадение кодов классификатора и ключевых слов, уровень загруженности эксперта и т.д.) ИАС РНФ формировала и ранжировала для каждого проекта список из 50–100 кандидатов. Выстраивание проходило по совпадениям кодов классификатора и ключевых слов. Из подготовленного списка автоматически, учитывая недопустимость назначения экспертов из одной организации, выбирались эксперты с высокими рангами. Кроме того, была введена система весовых значений параметров, которая позволяла точнее регулировать их влияние. Например, нагрузка до пяти экспертиз (все весовые значения задаются оператором ИАС РНФ в ходе работы) не оказывала никакого влияния на вероятность выбора эксперта. При превышении пяти экспертиз приоритет отдавался экспертам с меньшей нагрузкой, но в пределах их ранжирования по кодам и ключевым словам. Эксперты с десятью и более экспертизами в работе или на согласовании не рассматривались.

Подбор экспертов и назначение 3525 экспертиз заняли несколько часов и уложились в рамки одного рабочего дня. Впоследствии при отказах экспертов от проведения экспертизы процедура их автоматического переназначения повторялась ежедневно.

Для оценки результатов применения автоматической системы целесообразно сравнивать параметры рассматриваемой экспертной кампании с аналогичной, в которой использовалось ручное распределение экспертов. Как нельзя лучше для этого подходит конкурс по тому же мероприятию Президентской программы, но проведённому годом раньше, в 2018 г. (далее – ПП2-2018), в котором оказалось близкое число заявок и то же количество экспертов – по три для каждой заявки (основные параметры сравниваемых конкурсов представлены в табл. 1). Дополнительный аргумент в пользу сравнения именно этих конкурсов – в них практически полностью (отклонения не более 1%) совпадает распределение поданных заявок по отраслям знаний. При этом анализ проводился с учётом некоторого различия в количестве рассматриваемых заявок, для чего все показатели нормировались на общее число заявок или экспертиз в том и другом конкурсах.

Как показало сравнение, благодаря автоматическому распределению эксперты получали больше времени для выполнения своих обязанностей. Их оповещали сразу после назначения экспертиз. Как результат, срок принятия решения о согласии на проведение экспертизы или отказе от неё снизился в среднем с 2.3 дня в 2018 г. до 1.6 дня в 2019 г.

Среди ожидаемо слабых мест автоматического подбора экспертов следует назвать неточное сопоставление компьютером темы проекта с профессиональными интересами эксперта. Конечно, это вопрос недостаточности, а иногда и неточности данных для автоматической обработки. Чтобы оценить, как работала ИАС РНФ, оперируя имеющимися в её распоряжении сведениями о проектах (ключевые слова, аннотация и привязка к кодам классификатора) и об экспертах (ключевые слова, привязка к кодам классификатора), были проанализированы отказы от проведения экспертизы. По нормативным документам РНФ, эксперт при возникновении конфликта интересов или отсутствии у него достаточных компетенций для подготовки квалифицированного и объективного заключения по проекту обязан отказаться от проведения экспертизы, указав причину. Общий процент отказов без учёта экспертиз, снятых принудительно из-за нарушения сроков проведения работ, составил в 2018 г. 31.3%, в 2019 г. – 37.5%. Уменьшилось число отказов из-за конфликта интересов, загруженности и невозможности завершить работу в установленные сроки (табл. 2). Но, как и ожидалось, увеличилась доля отказов в связи с несоответствием тематики проекта и научной компетенции эксперта. Вместе с тем за счёт быстрого реагирования автоматическое переназначение экспертов осуществлялось оперативно, и увеличение числа отказов никак не сказалось на сроках проведения экспертизы.

Обращает на себя внимание факт снижения почти на треть доли отказов по причине конфликта интересов. Это свидетельствует о том, что информированность координаторов о тех или иных неформальных конфликтах в процессе подбора экспертов менее значима, нежели автоматизированное исключение формализованных случаев.

Средняя продолжительность одной экспертизы осталась неизменной – 13.1 дня. Не исключено, что это обусловлено нормативными документами РНФ, устанавливающими предельный срок – две недели. Наибольшие изменения в объёмах завершённых экспертиз были заметны в первый месяц. Если по прошествии двух недель с начала экспертизы в 2018 г. было завершено лишь 8.2% экспертиз, то в 2019 г. – уже 27%. По истечении месяца эти показатели составляли 63.3% и 72.9% соответственно. Далее они выровнялись и отличались друг от друга не более чем на 2% в пользу 2019 г.

Другой важный показатель – число экспертиз, приходящихся на одного эксперта. В обоих рассматриваемых случаях работало ограничение – одновременно не более 10 экспертиз в работе у одного эксперта. Несмотря на то, что при автоматическом подборе незначительно увеличилась доля экспертов, проводивших 10 и более экспертиз, в целом картина по загруженности осталась прежней (табл. 3).

Половина отобранных экспертов провели по одной экспертизе, а почти 90% экспертов – не более четырёх. В среднем и в 2018 г., и в 2019 г. на одного эксперта приходилось две экспертизы. Всего для заявок конкурса ПП2-2018 координаторы секций отобрали 2512 уникальных экспертов (в том числе отказавшихся от экспертизы), а в 2019 г. компьютер выбрал 2524. Доля совпадений между выбором экспертов координатором в 2018 г. и компьютером в 2019 г. составила 62.5%. Среди экспертов, согласившихся провести экспертизу, доля таких совпадений – 55.6%. Данные по повторяющимся экспертам лишь приблизительно характеризуют процесс подбора, так как существенное влияние здесь оказывает тематическая структура массива заявок.

Региональное распределение экспертов, определяемое по месту нахождения организаций, в которых работают эксперты, также не претерпело существенных изменений и вполне соотносится как с их распределением в рамках конкурса ПП2-2018, так и с распределением всех действующих экспертов РНФ (табл. 4).

Учитывая, что проекты обоих конкурсов оценивались по одинаковым критериям с использованием одной формы экспертного заключения, а также предположив, что в конкурсах, совпадающих по ряду параметров, качество заявок не сильно менялось, можно сопоставить оценки, выставленные экспертами по конкурсным проектам, для анализа изменений содержательной части экспертиз. В РНФ существует несколько видов цифровых оценок проекта. Один из них – баллы, выставляемые ИАС РНФ автоматически по ответам эксперта на вопросы экспертного заключения. Они недоступны ни экспертам, ни заявителям и служат лишь одним из способов первичного ранжирования заявок в рамках секций.

Как видно из представленной на рисунке 1 диаграммы, такие факторы, как применение автоматического подбора и замена половины корпуса экспертов, не сильно сказались на содержательной оценке проектов. Необходимо подчеркнуть, что сам массив заявок при этом претерпел существенные изменения. На конкурс 2019 г. руководителями, участвовавшими в конкурсе 2018 г., было подано всего 18% заявок.

Рис. 1.

Распределение экспертных баллов в конкурсах ПП2-2018 и ПП2-2019

Каждый критерий оценивается экспертами по пятибалльной шкале (отлично, хорошо, средне, ниже среднего и плохо). Для сопоставления, помимо общей картины ответов эксперта, было проведено сравнение по отдельному критерию. Уровень научной значимости и актуальности тематики проекта – это тот критерий, при оценке которого сложнее всего исключить влияние субъективного мнения эксперта. Несмотря на расшифровку¹¹ каждого из возможных ответов эксперта, именно по этому критерию допустима наибольшая вариативность мнений о проекте. Вместе с тем даже здесь сохраняется определённая стабильность в распределении оценок с отклонениями, не превышающими 3% (табл. 5).

Общие оценки, выставляемые проектам самими экспертами по пятибалльной шкале, так называемые интегральные оценки (табл. 6), также показывают отсутствие существенных изменений. Чуть более высокие оценки конкурса ПП2-2019 можно объяснить тем, что в нём участвовало 157 заявок (13% от общего числа), подготовленных руководителями, которые успешно выполнили до этого двухгодичные проекты по первому мероприятию Президентской программы научных исследований. Логично предположить, что уровень таких заявок, подготовленных уже побеждавшими в конкурсе РНФ руководителями, выше среднего. Если исключить их из сопоставления (столбец ПП2-2019* в таблице 6), то распределение интегральных оценок в конкурсах 2018 и 2019 гг. становится ещё ближе.

Анализ массива оценок даёт, конечно же, только усреднённую картину. Детальное рассмотрение требует анализа расхождения оценок, выставляемых экспертами по одному проекту.

В большинстве случаев наличие разных мнений экспертов в оценках проекта и их обсуждение необходимо для проведения качественного конкурсного отбора. Именно это позволяет членам экспертного совета тщательно рассмотреть проект. Причём полярные мнения (отличающиеся в нашем случае на 3 и более баллов), равно как и полное единодушие экспертов в оценках, не должны доминировать. Большая доля таких суждений будет свидетельствовать как о значительной неравномерности квалификационных характеристик экспертов, так и об отсутствии единых методических подходов к оценке проектов. В то же время преобладание полного согласия экспертов на большом массиве проектов, скорее всего, укажет на непригодность критериев оценки, лишающих экспертов возможности выразить своё компетентное мнение и подменяющих его формальной оценкой. Однако на методологию и критерии оценки процедура подбора экспертов не влияет. Можно также предположить, что более точный подбор экспертов по квалификации обеспечит прежде всего приближение оценок экспертов к нормальному статистическому распределению.

Были проанализированы расхождения максимальной и минимальной интегральных оценок экспертов по каждому проекту рассматриваемых конкурсов (табл. 7). Автоматический подбор добавил единодушия в оценки экспертов. На 1% изменилась доля проектов с расхождениями оценок в 3 балла. В целом же картина разногласий практически не претерпела значимых изменений. Эксперты в большей степени были единогласны в определении высоких оценок – 4 и 5 (в 37% и 36% случаях), мнения об оценке 3 совпали в 25% случаев, об оценках 1 и 2 – суммарно в 2% случаев.

Документами РНФ регламентирована возможность руководителей заявок представить в фонд возражения против выводов, содержащихся в экспертных заключениях. Их количество также может рассматриваться как показатель качества экспертизы. В РНФ доля возражений традиционно не превышает 1% от количества проводимых в рамках конкурса экспертиз. Она составила 0.31% для конкурса ПП2-2018 и 0.28% для конкурса ПП2-2019. Данный показатель можно охарактеризовать как низкий и свидетельствующий в пользу доверия учёных экспертизе фонда.

Как и предполагалось, применение компьютера и автоматических процедур существенно ускорило процесс подбора и назначения экспертов. Фактически время, потраченное на ручной подбор, при автоматическом распределении может быть уделено содержательному анализу поступивших заявок.