Вестник РАН, 2022, T. 92, № 9, стр. 911-915

В 2021 г. вышло в свет второе издание книги “Руководство по наукометрии: индикаторы развития науки и технологии”. За минувшие после первого издания годы (первое издание датировано 2014 г.) крупные изменения произошли как в самой научной дисциплине, так и в базах данных, размещаемых на международной информационной платформе Web of Science. Наукометрия обогатилась большим количеством исследований, во многих странах возникли наукометрические центры, предложены новые показатели и объекты измерения – наряду с библиометрией получили развитие вебометрия и альтметрия. В связи с этим обновились структура и содержание рецензируемой монографии, почти в полтора раза (с 250 до 358 страниц) увеличился её объём.

Как сказано в аннотации, книга обобщает, систематизирует знания в актуальной области и адресована тем, кто имеет о ней начальные представления и ставит перед собой цель разобраться в предмете. Изложенный авторами материал должен послужить основой изучения практических вопросов применения методов наукометрии при оценке результативности и эффективности труда исследователей и научных коллективов. В книге представлена история идеи американского учёного Ю. Гарфилда [1, 2], предложившего использовать научные ссылки в качестве средства научного поиска, и реализация его идеи в форме инструмента этого поиска – Science Citation Index. Авторами рассмотрены возможности и ограничения наукометрии в процессе принятия решений, касающихся эффективности выделения ресурсов для поддержки труда учёных, а также отмечена важность привлечения экспертов в предметной области к проведению оценок. Обсуждаются библиометрические индикаторы, позволяющие оценивать “цитируемость журналов, авторов, научных коллективов и организаций и даже целых стран. Подчёркивается необходимость грамотной и аккуратной трактовки наукометрических индикаторов при принятии административных решений, распределении грантов, осуществлении кадровой политики”.

Наукометрия получила большой общественный резонанс, она широко (правда, не всегда правильно) используется не только в научной, но и в образовательной сфере. Изменения коснулись и самой мультидисциплинарной платформы Web of Science. Подразделение научной информации IP&Science компании Thomson Reuters, поддерживавшей базу Web of Science на протяжении многих лет, в 2016 г. обрело статус независимой компании Clarivate. Ядром платформы Web of Science служит ключевая база данных Core Collection, состоящая из трёх созданных Ю. Гарфилдом указателей (индексов) по естественным и прикладным наукам (Science Citation Index Expanded, SCIE), общественным наукам (Social Sciences Citation Index, SSCI), гуманитарным наукам и искусству (Arts & Humanities Citation Index, AHCI), которые содержат публикации из приблизительно 14 тыс. научных журналов, и индекс новых источников (Emerging Sources Citation Index, ESCI) – из 8 тыс. журналов. Остальные четыре индекса – это доклады на конференциях по естественным и прикладным наукам, по общественным и гуманитарным наукам (Conference Proceedings Citation Index, CP SE & SS), а также книги, статьи из сборников и главы монографий раздельно по комплексам наук (Book Citation Index, BK SE & SS).

За пределами ядра (Core Collection) на платформе Web of Science собран огромный массив баз данных. В их числе пять региональных баз данных научного цитирования для журналов на ключевых, помимо английского, языках (китайском, испанском и португальском, корейском, русском и арабском), специализированные базы данных, создаваемые компанией Clarivate и организациями-партнёрами, а также реферативная база данных патентной информации и специальный указатель цитирования данных. Вместе с ядром этот массив содержит информацию о более чем 185 млн научных документов, статьи и материалы из более чем 34 тыс. журналов.

Книгу открывает предисловие ко второму изданию, написанное руководителями Института научной информации Clarivate Дж. Адамсом, М. Шомшором, Д. Пендлбери и руководителем отдела образовательных программ В.Г. Богоровым. Далее следует вступительное слово Ю. Гарфилда (он скончался в 2017 г.) из первого издания, сведения об авторах монографии: М.А. Акоев – заведующий лабораторией наукометрии Уральского федерального университета им. первого Президента России Б.Н. Ельцина, доктор педагогических наук В.А. Маркусова – ведущий научный сотрудник Всероссийского института научной и технической информации РАН и Института проблем развития науки РАН, кандидат биологических наук О.В. Москалёва – советник директора Научной библиотеки им. М. Горького Санкт-Петербургского государственного университета, кандидат физико-математических наук В.В. Писляков – заместитель директора библиотеки Национального исследовательского университета “Высшая школа экономики”. Авторами дополнительных материалов выступают Дж. Адамс, В.Г. Богоров, Д. Пендлбери, М. Маквей – руководитель направления редакционной этики редакционной коллегии Web of Science, Clarivate, М. Шомшор, Р. Поттер – специалист по анализу данных Института научной информации Clarivate.

Монография включает введение (В.А. Маркусова) и пять глав: “Наука, технология и общество” (М.А. Акоев), “Научные публикации как средство коммуникации” (О.В. Москалёва), “Библиометрические индикаторы в ресурсах компании Clarivate” (В.В. Писляков), “Научные публикации как средство анализа и оценки научной деятельности” (О.В. Москалёва), “Применение методов наукометрии для оценки научной деятельности” (М.А. Акоев). В дополнительных материалах размещены два отчёта Института научной информации: “Профили вместо показателей” (Дж. Адамс, М. Маквей, Д. Пендлбери, М. Шомшор), и “Мегасоавторство и научная аналитика” (Дж. Адамс, Р. Поттер, Д. Пендлбери, М. Шомшор).

Изложенный в книге материал отличается взвешенностью суждений, достоверностью фактов и разумностью рекомендаций. Авторы подчёркивают необходимость грамотной и аккуратной трактовки наукометрических индикаторов при принятии административных решений, распределении грантов, осуществлении кадровой политики. Они настаивают на необходимости привлекать экспертов для интерпретации этих индикаторов и оценки результатов научных исследований.

В книге сохранён творческий дух Ю. Гарфилда, создавшего новый способ доступа к накопленному знанию, новый информационный язык библиографических ссылок (по неудачной русской кальке с английского названный цитированием). Неслучайно он стоит в ряду таких деятелей инфосферы, как М. Дьюи, П. Отле, С. Брэдфорд, Ш. Ранганатан, М. Таубе. Нельзя не упомянуть и компанию Clarivate, возродившую в Филадельфии Институт научной информации (ISI) как научно-исследовательский центр, к которому перешло содержательное наследие Ю. Гарфилда. Именно Clarivate поддержала переиздание монографии.

Вводная глава по истории и развитию наукометрии, подготовленная В.А. Маркусовой, базируется на широком круге научных источников и личном опыте участия автора в библиометрических исследованиях. Автор воздаёт должное Ю. Гарфилду, ибо его воплощённые идеи могут рассматриваться не только в качестве нового средства координатного информационного поиска, но и изучения научных достижений путём оценки потоков научной литературы. Подробно описанная история создания указателя библиографических ссылок впечатляет не только целеустремлённостью учёного, но и упорным сопротивлением чиновников, которые теперь некорректно используют его результаты в своих целях (бюрократы в этом отношении повсюду одинаковы). Автор представляет масштабную картину развития наукометрии в мире, поскольку со многими участниками её становления В.А. Маркусова хорошо знакома, известны ей и перипетии формирования наукометрических учреждений в разных странах.

В первой главе (её содержание выходит за рамки собственно наукометрии) М.А. Акоеву удаётся показать необходимость серьёзных исследований, требующих понимания самой наукометрии как социальной институции и интеллектуальной деятельности и не сводимых к хитросплетениям статистики. Альтернатива наукометрическим показателям – экспертные оценки и интерпретации – также неоднозначна и нуждается в тщательной проработке. Автор убедительно доказывает, что в настоящее время нет методик, которые обеспечивали бы безупречную объективность оценок результативности научных исследований. При чтении этой глубокой по проникновению в существо дела главы становится понятно, что и сама эта результативность понимается часто однобоко – как доход, полученный от внедрения научных достижений в практику. Между тем в науке не меньшую роль играют фундаментальные исследования, результаты которых изменяют существующие представления о явлениях, процессах и закономерностях природы, общества и мышления. Именно эти открытия позволяют начать прикладные исследования, используемые для экономических инноваций.

О.В. Москалёва представила в книге большой материал по широкому кругу проблем: месту и роли журнала в научной деятельности, истории и характеристике научных журналов и баз данных, анализу цитирования как средства их оценки, значению классификации и классификаторов. С этих позиций автор во второй и четвёртой главах подробно рассматривает природу и значение библиометрических показателей. Во второй главе О.В Москалёва описывает эволюцию научного журнала, принципы формирования баз данных научных публикаций и указателей цитирования, приводит информацию о существующих теориях цитирования, описывает отличительные особенности публикаций в разных научных областях, подходы к предметной классификации публикаций и исследований.

В третьей главе В.В. Писляков скрупулёзно описывает современные индикаторы библиометрии. Их много, и они разнообразны. Изложение построено методически грамотно и логично. Вначале даётся общая картина существующих параметров, затем каждый индикатор рассматривается подробно: что он отражает, как вычисляется, какими обладает преимуществами и какие имеет ограничения. При этом сначала разбираются наиболее распространённые индикаторы, а затем их многочисленные модификации и версии. Этот материал позволяет понять, что абсолютных или оптимальных показателей не существует. Их использование зависит от того, что именно вы хотите знать, в какой научной области и для решения каких практических задач. На основе приводимых в главе данных и примеров можно создавать инструкции по применению разного рода конкретных библиометрических вычислений. Отражены многочисленные новейшие исследования (с учётом современных тенденций), в том числе проводимые самим автором, включая замену показателей профилями.

Эти же особенности отличают четвёртую главу, которая выходит за рамки тематики, затрагиваемой другими авторами. В ней описаны способы оценки публикаций, их авторов и качества научной деятельности, не связанные с так называемым цитированием и другими наукометрическими индикаторами, разбираются методы применения пресловутого индекса Хирша и подобных ему показателей для оценки высших учебных заведений и даже для сравнительного анализа целых стран. Достоинство этой главы состоит в опоре на труды классиков наукометрии Р. Мертона, Д. де Солла Прайса, В.В. Налимова, М. Боница и других, что позволяет О.В. Москалёвой не опускаться до потребительского уровня использования наукометрических показателей, а видеть их смысловое содержание.

Книга завершается главой М.А. Акоева, посвящённой применению методов наукометрии для оценки научной деятельности в организации с упором на практические аспекты работы службы наукометрической поддержки. В ней подробно обсуждается модель компетенций специалистов в области наукометрии, описана их роль в принятии и реализации управленческих решений, создании и поддержке инструментов оценки. Детально рассматриваются задачи по обеспечению качества исходных данных и их представлению для аналитических целей, анализируются методы выбора целевых ориентиров и рейтингования и их возможности и ограничения в процессах построения стратегий развития.

Книгу отличают высокая культура редактирования, иллюстративного материала, наличие добротного справочного аппарата, что становится редкостью в нынешних научных изданиях. Предметный и именной указатели, список сокращений и аннотации на русском и английском языках в конце книги и по главам, хорошо подобранные списки использованной литературы в конце каждой главы, шрифтовое и графическое разнообразие текста и иллюстраций – всё это соответствует добротности содержания.

Несколько слов о вопросах, возникающих при чтении книги. Во втором её издании большое внимание уделено классификации материалов в Web of Science, разные виды которой получили на платформе однозначные названия: широкие категории (broad categories), тематические (иногда называемые предметными) категории (subject categories), исследовательские области (research areas), исследовательские поля (ESI research fields). Первые три совместимые друг с другом классификации служат для индексации журналов, четвёртая, несовместимая с ними, – для индексации статей. Все четыре являются списками, и робкая попытка авторов представить первые три классификации как своеобразную (не вполне строгую) иерархию не выдерживают критики – журналы могут разделяться только по спискам с обобщениями для отдельных групп категорий, роль которых и выполняют исследовательские области и широкие категории. Исходя из схемы размещения баз данных на платформе журналы могут разделяться и по трём классическим индексам цитирования. Но в тексте разных глав авторы используют ещё и термины “дисциплины”, “области науки” и “области знаний”, при этом не всегда понятно, что имеется в виду.

Другой вопрос. В нескольких разделах монографии подчёркнуто, что все статьи каждого журнала относятся к тематической категории, в которую он входит. Между тем в силу явления рассеивания статей конкретной тематики по журналам в каждом годовом комплекте конкретного журнала имеется определённое количество статей, по своему содержанию не относящихся к его профилю. Таким образом, с одной стороны, во всех журналах, причисленных к этой категории, имеются статьи, не относящиеся к ней по тематике. С другой стороны, в журналах других предметных категорий имеются статьи, относящиеся по содержанию к профилю журналов этой категории.

Авторы книги и сами понимают, что здесь что-то не так. “Если осуществить поиск всех статей конкретного журнала в журнальных индексах Web of Science CC, то получим полное совпадение указанных в описании журнала предметной категории (или нескольких, если указана не одна) и предметной категории, к которой относятся все опубликованные в журнале статьи. Однако обратный поиск по предметной категории даёт совершенно другие результаты – поиск по всем журнальным индексам по определённой предметной категории даст в результате сильно отличающийся перечень журналов, чем тот, который мы увидим при аналогичном поиске по предметной категории” (с. 167).

Причина этого казуса мне видится в том, что статьи по тому же предмету, что статьи из журналов, входящих в предметную категорию, рассеяны по всему массиву журналов платформы (их насчитывается от 21 до 34 тыс.) в соответствии с открытым С. Брэдфордом в 1934 г. явлением рассеивания статей одной тематики по всем журналам, публикующим такие статьи. К 1948 г. он сформулировал закон, по которому можно рассчитать интенсивность такого рассеивания. Б. Виккери, который анализировал математическую модель этого закона, писал: “Придя к выводу, что его вычисления являются простым следствием прямолинейности рассматриваемой кривой, Брэдфорд так выразил это словами: “Если научные журналы расположить в порядке убывания продуктивности статей по заданной тематике, их можно разделить на ядро периодических изданий, особенно посвящённых этому предмету, и несколько групп или зон, содержащих такое же количество статей, как и в ядре; тогда количества периодических изданий в ядре и последующих зонах будут соотноситься как 1 : n : n²…” (курсив мой). Однако выделенное курсивом эквивалентно не выражению (3), а следующему: Tx : (T2x-Tx) : : (T3x-T2x) = 1 : n : n² (4)”¹¹ [3].

Имя С. Брэдфорда упоминается в предисловии и введении в связи с тем, что Ю. Гарфилд при подготовке Science Citation Index использовал его закон для подбора журналов в указатель источников, поскольку у него ещё не было статистики цитирования. Но такое упоминание отсутствует там, где и явление рассеивания статей по журналам, и сам закон могли бы помочь исправить неверное представление многих о том, что журналы, собранные в тематической категории, содержат подавляющее большинство статей данной тематики. На самом деле в каждом годовом комплекте журнала встречаются статьи, не относящиеся к его тематическому профилю, и их количество зависит от коэффициента рассеивания статей этого профиля, что нельзя не учитывать при сопоставлении научных дисциплин по категориям журналов. А ведь за пределами предметной категории может оказаться до двух третей статей, относящихся к данной дисциплине, но рассеянных по журналам других категорий. Между тем в монографии утверждается, что “все статьи в журнале чаще всего принадлежат к одной и той же дисциплине” (с. 197).

При описании относительной цитируемости публикаций авторы утверждают: “В рамках одного журнала, за некоторыми исключениями (Science, Nature и др.), все статьи принадлежат к одной и той же дисциплине. Или, по крайней мере, эти отличия будут в среднем меньше, чем погрешность при любом другом автоматическом определении тематики публикации. Более того, если сами дисциплины приписываются статьям на основе тематической рубрикации журналов, в которых они опубликованы (как обычно делается в библиометрических базах данных), то получается, что нормализация по журналам даёт более точный, детальный взгляд на сопоставление публикаций, чем нормализация по областям науки. Всё-таки при использовании последней в рамках одной области могут встречаться журналы, достаточно сильно отличающиеся по тематическим подкатегориям” (с. 200–201).

Полагаю, что в процитированных фрагментах желаемое выдаётся за действительное. Рассеивание статей конкретной тематики по журналам свидетельствует о том, что отождествление предметной категории журнала с тематикой всех его статей не может быть оправданным даже с оговорками “чаще всего” или “в среднем меньше”. Большое количество исследований по сопоставлению вклада отдельных учёных, научных организаций и целых стран в различные дисциплины и области науки ведётся по числу публикаций в тематических категориях журналов. При этом объёмы публикаций часто указываются с точностью до долей процента, хотя в лучшем случае могли бы приводиться только оценочно. Да и при вычислении показателя цитируемости, нормализованного по предметной категории (Category Normalized Citation Impact – CNCI), следовало бы проявить осторожность и не торопиться с введением индикатора цитирования (JCI) для всех журналов Web of Science Core Collection [4]. Но это лишь частности, отдельные вопросы, неизбежно возникающие при знакомстве с большим и важным делом. В связи с этим очень интересным представляется появление в аналитической системе InCites, использующей данные Web of Science Core Collection, новой схемы классификации Citation Topics, основанной на тематической кластеризации публикаций по их цитируемости, а не на классификации на уровне журналов. Будущее покажет, насколько успешной окажется эта новая схема.

В заключение хотелось бы согласиться с мнением самого Ю. Гарфилда, помещённым на переплёте книги: “Данная монография – исчерпывающий обзор ряда современных методик и техник мониторинга и оценки прогресса научных исследований и технологий. Я увлечённо наблюдаю за процессом развития такого вида исследований, от наукометрии до вебометрии и альтметрии… Наукометрические показатели широко используются при оценке и продвижении научных сотрудников, выделении грантов и приёме на работу научно-исследовательского персонала. Однако мне хотелось бы подчеркнуть, что эти количественные данные не должны использоваться как единственный критерий оценки качества исследований научного учреждения или индивидуальных исследователей. Эти показатели могут способствовать формированию взвешенного экспертного суждения. Использование количественных данных без должного предварительного обучения обращению с ними и критического взгляда может воспрепятствовать прогрессу исследований и научных сотрудников. Я надеюсь, что эта книга упростит сложную задачу по тщательной и осмысленной оценке влияния и продуктивности учёных и научных коллективов”.