Вестник РАН, 2020, T. 90, № 12, стр. 1128-1140
ФАКТОРЫ ЦИТИРУЕМОСТИ ОБЗОРОВ
А. Е. Гуськов a, *, Д. В. Косяков a, **, А. В. Багирова a, ***, П. Ю. Блинов a, ****
a Государственная публичная научно-техническая библиотека СО РАН
Новосибирск, Россия
* E-mail: guskov@spsl.nsc.ru
** E-mail: kosyakov@spsl.nsc.ru
*** E-mail: Bagirova@spsl.nsc.ru
**** E-mail: Blinov@spsl.nsc.ru
Поступила в редакцию 06.08.2020
После доработки 13.08.2020
Принята к публикации 04.09.2020
Аннотация
Обзорные публикации имеют важное значение для устойчивого развития научных исследований, о чём говорят более высокие показатели их цитируемости по сравнению с другими типами публикаций. В статье проанализирована литература по типизации обзоров, дана характеристика роли обзоров в общем потоке научных публикаций, в том числе по направлениям науки, аккумулированы гипотезы о факторах, влияющих на цитируемость научных публикаций в целом и обзоры в частности. Для подтверждения гипотез и определения степени влияния отдельных факторов проведён корреляционный и регрессионный анализ отобранного массива научных обзоров. В результате показано влияние десяти факторов. Наиболее значимые из них – рейтинг журнала, возраст статьи, размер списка литературы, язык, на котором написан обзор, средний индекс Хирша авторов.
Обзорные публикации (review) – один из важнейших элементов коммуникации, так как в них агрегируется и систематизируется опыт исследований по определённой научной дисциплине. Они позволяют учёным быстро познакомиться с текущим состоянием науки и трендами её развития, применяемыми методами и результатами ключевых исследований, благодаря чему занимают особое место в системе научного знания и нередко становятся самостоятельным объектом для изучения.
Многие зарубежные авторы аргументированно относят обзоры к самым востребованным видам статей [1–3]. Несмотря на то, что с начала 2000-х годов доля обзоров в общемировом потоке публикаций, по данным Scopus, сократилась с 8–10 до 4.5–6%, с 2008 г. она практически не меняется. Количество таких статей, растущее вместе с общим потоком, в 2018 г. превысило 180 тыс. из 3.2 млн публикаций (рис. 1). При этом в одних дисциплинах количество обзоров увеличивается быстрее, чем количество исследовательских статей [3], а в других может занимать лишь незначительную долю.
Рис. 1.
Динамика количества исследовательских статей (ar), обзоров (re), трудов конференций (cp) и других типов документов (other), согласно базе данных Scopus
Важно отметить, что в областях науки с высокой долей публикаций в трудах конференций (Computer Science, Decision Science, Engineering, Mathematics, Physics and Astronomy) обзорные статьи – редкое явление. Ещё реже они встречаются в таких областях науки, как Business, Mana-gement and Accounting, Earth and Planetary Sciences, Energy, Environmental Science, Materials Science (табл. 1). В грубом приближении эту связь легко отследить по рисунку 2.
Таблица 1.
Доля исследовательских статей (ar), обзоров (re) и трудов конференций (cp), проиндексированных в базе данных Scopus в 2018 г. по областям науки (All Sciences Journal Classification, ASJC)
| Область науки | Количество публикаций | ar, % | re, % | cp, % | other, % |
|---|---|---|---|---|---|
| Agricultural and Biological Sciences | 241 187 | 84.3 | 4.7 | 2.6 | 8.5 |
| Arts and Humanities | 148 783 | 54.8 | 15.9 | 2.8 | 26.4 |
| Biochemistry, Genetics and Molecular Biology | 345 148 | 79.2 | 9.3 | 0.8 | 10.8 |
| Business, Management and Accounting | 94 479 | 65.3 | 2.8 | 10.8 | 21.1 |
| Chemical Engineering | 153 395 | 84.6 | 4.4 | 5.7 | 5.4 |
| Chemistry | 271 513 | 86.9 | 4.4 | 4.2 | 4.5 |
| Computer Science | 435 228 | 33.6 | 1.1 | 59.0 | 6.3 |
| Decision Sciences | 59 134 | 38.7 | 0.8 | 53.7 | 6.9 |
| Dentistry | 17 794 | 78.5 | 7.9 | 0.6 | 12.9 |
| Earth and Planetary Sciences | 157 644 | 67.2 | 2.0 | 24.4 | 6.4 |
| Economics, Econometrics and Finance | 64 893 | 69.4 | 4.0 | 1.0 | 25.6 |
| Energy | 149 135 | 57.2 | 2.8 | 35.8 | 4.3 |
| Engineering | 674 322 | 55.0 | 1.6 | 36.7 | 6.7 |
| Environmental Science | 204 895 | 76.4 | 3.6 | 11.5 | 8.5 |
| Health Professions | 37 816 | 74.3 | 6.7 | 2.9 | 16.1 |
| Immunology and Microbiology | 85 107 | 78.7 | 11.2 | 0.3 | 9.9 |
| Materials Science | 353 915 | 70.6 | 2.3 | 23.0 | 4.1 |
| Mathematics | 244 700 | 51.1 | 0.7 | 42.1 | 6.0 |
| Medicine | 766 950 | 68.3 | 10.2 | 2.4 | 19.1 |
| Multidisciplinary | 57 430 | 79.9 | 2.3 | 3.1 | 14.6 |
| Neuroscience | 77 971 | 76.0 | 10.1 | 1.2 | 12.7 |
| Nursing | 53 733 | 71.5 | 9.3 | 0.8 | 18.5 |
| Pharmacology, Toxicology and Pharmaceutics | 97 795 | 78.0 | 12.9 | 0.2 | 8.8 |
| Physics and Astronomy | 377 875 | 67.1 | 1.5 | 27.8 | 3.5 |
| Psychology | 79 199 | 73.2 | 5.6 | 0.8 | 20.4 |
| Social Sciences | 320 851 | 61.8 | 7.7 | 7.8 | 22.8 |
| Veterinary | 24 639 | 82.1 | 5.6 | 0.3 | 12.1 |
Обратное также верно: дисциплины с относительно высокой долей обзоров редко практикуют публикации в трудах конференций. Удивительно, но наибольшая доля обзорных публикаций наблюдается в гуманитарных областях (в 2018 г. – 15.9%, 23 704 обзора из 148 783 статей), при этом примечательно, что в общественных науках она в 2 раза меньше (7.7%). Значительное количество обзоров характерно для медицины и других наук о жизни и здоровье. Это обусловлено постоянно растущим количеством клинических исследований и необходимостью систематизировать и обобщать их результаты. В данных областях знаний методология создания обзоров детально проработана, многие учёные используют обзоры как стартовую точку для своих работ, практикующие медики на их основе поддерживают свой уровень знаний и определяют методики лечения. Этим объясняется более высокое количество цитирований, которое получают обзоры по сравнению с другими типами публикаций.
Для российской науки, где наукометрии уделяется много внимания [4], изучение вопросов цитируемости публикаций имеет важное значение из-за крайне низких удельных показателей по сравнению со среднемировыми. Такое неравномерное распределение преимуществ в пользу тех, кто ими уже обладает, называемое индексом Матфея, подробно изучено на примере российских статей в области физики и химии в работе [5]. В основе этого явления лежит комплекс причин, краткий обзор которых представлен в статье [6].
Сам феномен цитирования исследуется с 60‑х годов прошлого века и давно стал предметом дискуссий. За это время появилось множество теорий, авторы которых пытаются обосновать и привести к общему знаменателю мотивацию цитирований. Известный американский учёный Ю. Гарфилд выделил ряд причин цитирования: “отдать дань уважения пионерам; отдать должное работе в этой же области (дань уважения коллегам); определить методологию, оборудование и т.д.; обеспечить материалы для погружения в контекст; внести корректировку в свою предыдущую работу; предложить корректировку в чужую работу; обозначить критику предыдущей работы; обосновать утверждения; оповестить исследователей о предстоящей работе; обратить внимание на слабо известную, плохо проиндексированную или не цитируемую работу; аутентифицировать данные и классы факто-физических констант и т.д.; выявить оригинальные публикации, в которых обсуждалась идея; определить оригинальную публикацию, описывающую понятие или термин, например, болезнь Ходжкина, закон Парето, реакция Фриделя–Крафтса и т.д.; отмежеваться от чужой работы или идей (опровержение); или оспорить притязания других лиц на приоритет (отрицательная дань уважения)” [7, c. 85].
Согласно теории нормативного цитирования Мертона (1973), учёные обмениваются ссылками, как бы награждая и признавая интеллектуальный труд коллег. Данная гипотеза стала весьма популярной, хотя и критиковалась из-за того, что не могла объяснить цитирование в частных случаях [8–10]. Следует отметить появившуюся в 2004 г. эволюционную теорию, основанную на принципе гандикапа, которая хотя и не была формально проверена, но привлекла внимание исследователей [11]. Отсутствие общепринятой теории цитирования, вероятно, связано прежде всего с субъективизмом самого акта цитирования [12].
Проводились исследования о влиянии на количество цитирований заголовка, аннотации и ключевых слов [13, 14]. Кроме того, есть данные, позволяющие сделать вывод о том, что цитирующие авторы часто оценивают документ на основе его “веса” – рейтинга журнала, авторитетности авторов или организаций [15–19]. Из других факторов, влияющих на цитирование, нередко называют доступность полного текста [20–22], размер статьи [23–25] и списка литературы [26]. Наиболее полный обзор факторов, влияющих на количество цитирований, приведён в работе [27]. Существуют исследования, нацеленные на поиск прогностической модели цитирования [28], отличий практик цитирования в разных областях науки [29], определение расположения цитат в структуре статьи [30], изучение практик самоцитирования [31] и других аспектов этого феномена.
К высокоцитирумым обычно относят статьи, которые среди других публикаций года в той же области науки получили цитирований больше, чем 99, 95 или 90% остальных. Такие работы следует изучать отдельно, поскольку из-за степенного характера распределения цитирований выводы, сделанные на общей выборке, не могут автоматически переноситься на них. В рамках данного исследования мы относим высокоцитируемые обзоры к верхнему децилю, то есть к 10% наиболее цитируемых.
Цитируемости обзоров как виду документа посвящено сравнительно небольшое число исследований [18, 32]; ещё меньше – высокоцитируемым обзорам [1]. Данная работа направлена на то, чтобы обогатить и дополнить наши представления о факторах цитирования такого типа документов.
Гипотезы и план исследования. Ранее было показано, что среди высокоцитируемых статей обзоры встречаются чаще, чем в общей выборке [33, 34]. Вероятно, высокоцитируемым обзорам будут присущи те же свойства, что и высокоцитируемым статьям. Поэтому для формулирования гипотез о факторах, влияющих на цитируемость обзоров, мы взяли два утверждения из исследования [33], в котором выполнен анализ 297 высокоцитируемых публикаций норвежских авторов за 1981–1996 гг.:
1. Лучше цитируются обзоры, опубликованные в журналах с высоким импакт-фактором.
2. Лучше цитируются обзоры, написанные в международной коллаборации.
Ещё три гипотезы мы сформулировали на основе исследования [1], где представлены результаты изучения 1857 высокоцитируемых обзоров из Science Citation Index Expanded за 1899–2011 гг.:
3. Наличие именитых авторов положительно влияет на цитируемость.
4. Лучше цитируются обзоры, где есть авторы из стран G7.
5. Чаще цитируются обзоры, написанные на английском языке.
С учётом частоты упоминания в других работах мы добавили ещё четыре гипотезы:
6. Обзоры, опубликованные в открытом доступе, цитируются чаще.
7. Размер списка пристатейной литературы положительно влияет на цитируемость обзора.
8. Большие по объёму обзорные публикации привлекают больше цитирований.
9. Область науки, к которой относится обзор, влияет на цитируемость.
Наше исследование состоит из трёх основных этапов:
• оценка работ, содержащих понятие “обзор”, и обоснование критериев отбора публикаций для анализа;
• формирование выборки исследуемых обзоров, для каждого из которых осуществляется сбор метаданных, необходимых для проверки предложенных гипотез;
• проведение регрессионного анализа для определения влияния различных факторов на цитируемость публикаций и интерпретация его результатов.
Определение понятия “обзор”, типология и методика отбора. В научном сообществе нет единого определения понятия “обзор”. Разные авторы трактуют его исходя из собственных целей и задач научной деятельности. В Справочнике информационного работника (2005) находим такую трактовку: “Обзором называется текстовое сообщение, содержащее сводную характеристику какого-либо вопроса или ряда вопросов, основанную на использовании информации, извлечённой из некоторого множества отобранных для этой цели документов за определённое время” [35, с. 335].
А.Н. Курзанов в исследовании, посвящённом роли и месту научного обзора в системе информационно-аналитических текстов, обобщает представление о природе научного обзора среди российских учёных и приходит к следующему выводу: “Существующие представления о таком сложном понятии, каким является научный обзор, как разновидность научного текста, неоднозначны” [36]. Курзанов приводит различные примеры толкования: “Научным обзором является текст, содержащий концентрированную информацию, полученную в результате отбора, анализа, систематизации и логического обобщения из большого количества первоисточников по определённой теме, за определённый период времени [37]; обзор – это последовательное изложение наиболее важных сведений на определённую тему на основе обобщения и оценки информации за определённый период [38, с. 20]; <…> обзор – текст, содержащий синтезированную информацию сводного характера о конкретном вопросе или ряде вопросов, изъятую из отобранных для этой цели первичных научных источников, опубликованных за определённое время [39, с. 147]”. Е.Ш. Журавель дает следующее определение: “Обзор – научно-технический документ, содержащий полученную на основании анализа, систематизации и обобщения сведений из первоисточников концентрированную информацию относительно предыдущего и нынешнего состояния или тенденциий развития проблемы (включая комплексные проблемы), предмета [40, c. 14]”. Общий признак научного обзора, на который указывают все исследователи, – вторичность такого типа документов, а анализ, обобщение и оценка представленной в первичной литературе информации обычно относят к его основным характеристикам.
С увеличением доли научной информации уже недостаточно обобщения и анализа результатов проведённых первичных исследований. Сегодня такого типа документы всё чаще предлагают если не решение научной проблемы, то хотя бы её интерпретацию [41]. Аналитико-синтетическая переработка оригинальных исследований порождает новые идеи, гипотезы и теории, что в некоторых случаях делает обзорные публикации самостоятельным исследованием [41, 42]. Однако в печати до последнего времени преобладали обзоры так называемого повествовательного типа (narrative), авторы которых подбирают результаты исследований так, чтобы представленный материал наилучшим образом поддерживал продвигаемую идею. Подобные произведения при возможном благородстве намерений автора обзора фактически дезинформируют читателя, скрывая от него одни исследования и представляя другие” [41, с. 47]. Повествовательные обзоры, как правило, носят всеобъемлющий характер и охватывают широкий круг вопросов в рамках данной темы, но их ориентация на поиск доказательств необязательна. Кроме того, типичные повествовательные обзоры не показывают, как принимались решения об актуальности работ и обоснованности включённых исследований [43]. На этом фоне вполне логичным выглядит увеличение числа систематических обзоров, выполненных по специальной методике, когда поиск существующих исследований приводит к несмещённому их обобщению [44].
Практическая потребность в уточнении понятия обзора возникает в библиографических системах (Web of Science, Scopus и т.п.). Издатели научных журналов используют разные практики при классификации публикаций (или игнорируют их), поэтому при формировании библиографических записей в этих системах производится уточнение метаданных. Например, в базе данных Web of Science применяют три критерия, каждый из которых идентифицирует публикацию как обзор: статья имеет более 100 пристатейных ссылок; статья опубликована в обзорном журнале (review journal) или обзорной секции (review section) научного журнала; в аннотации статьи указано, что она является обзором. Однако, как показывает анализ баз данных, есть довольно много исключений, из-за которых необзорные статьи формально подпадают под один из этих критериев и классифицируются ошибочно.
Современная аналитическая практика значительно обогатила и расширила рамки типовой характеристики обзоров. Если отечественные исследователи осторожны в типизации форм нового научного синтеза и отдают предпочтение обзорам, имеющим устоявшуюся традицию [35, 37, 41, 45, 46], то в зарубежной литературе предприняты попытки обновить их типизацию. Там представлены работы описательного характера, касающиеся методик проведения и типологии обзоров, таких как литературный, систематический, обзор обзоров и т.д. [2, 27, 47–49]. При этом исследователи сходятся во мнении, что не все виды обзоров имеют предписанные и явные методологии и многие из них не являются взаимоисключающими. Например, Г. Паре с соавторами классифицируют и систематизируют литературные обзоры исходя из следующих целей: обобщение предшествующих данных, их агрегация, интерпретация или критическая оценка [50]. В этом случае, с учётом природы первоисточников, авторы определили девять типов обзора литературы: повествовательный, описательный, обзор обзоров, метаанализ, систематический, “зонтичный”, теоретический, реалистический и критический.
При формировании выборки для исследования цитируемости мы столкнулись с разнотипностью обзоров и невозможностью их эффективно классифицировать автоматизированными средствами. Более того, удалось выявить достаточно много случаев, когда публикация, имеющая тип “review”, на поверку оказывалась обычной исследовательской статьёй. Поэтому для репрезентативной выборки мы старались отбирать литературные обзоры, у которых этот тип упомянут в названии, аннотации или ключевых словах.
С учётом приведённых выше соображений в базе данных Scopus с помощью запроса «DOCTYPE (“re”) AND TITLE-ABS-KEY (“lite-rature review”) AND PUBYEAR AFT 2012 AND PUBYEAR BEF 2018» мы взяли для анализа обзорные публикации за 2013–2017 гг., в названии, аннотации или ключевых словах которых упоминалось словосочетание “литературный обзор”. Полученные 19 514 документов были выборочно проверены, это позволило удостовериться, что в массив попали именно обзорные статьи, основанные на анализе значительных объёмов литературных источников. Чтобы вычислить параметры, необходимые для регрессионного анализа, дополнительно были выгружены данные по авторам этих публикаций и их аффилиациям – 72 116 авторов и 13 770 аффилиаций соответственно.
На основании этих данных мы рассчитали следующие параметры для корреляционного и регрессионного анализа:
1. AuthN – количество авторов.
2. AffN – количество аффилиаций.
3. CN – количество стран.
4. G7 – количество аффилиаций из стран G7.
5. AHidxSum – сумма индексов Хирша авторов.
6. ACitedSum – сумма количества цитирований публикаций авторов.
7. ADocSum – сумма количества документов, опубликованных авторами.
8. AHidxAvg – среднее значение индексов Хирша авторов.
9. ACitedAvg – среднее значение количества цитирований публикаций авторов.
10. ADocAvg – среднее значение количества документов, опубликованных авторами.
11. AHidxMax – максимум из индексов Хирша авторов.
12. ACitedMax – максимум из количества цитирований публикаций авторов.
13. ADocMax – максимум из количества документов авторов.
14. AfDocCountSum – сумма Document Count по аффилиациям.
15. AfAuthCountSum – сумма Author Count по аффилиациям.
16. AfDocCountMax – максимум Document Count по аффилиациям.
17. AfAuthCountMax – максимум Author Count по аффилиациям.
18. CiteScore – CiteScore журнала.
19. OA – открытый доступ OA (0/1).
20. GoldOA – Gold OA (0/1).
21. GreenOA – Green OA (0/1).
22. HybridOA – Hybrid OA (0/1).
23. Age – возраст статьи.
24. Size – объём статьи (количество страниц).
25. Refs – размер списка литературы.
26. HealthS – принадлежность статьи к Health Science (0/1).
27. LifeS – принадлежность статьи к Life Science (0/1).
28. SocialS – принадлежность статьи к Social Science (0/1).
29. PhysicalS – принадлежность статьи к Physical Science (0/1).
30. Lang – англоязычность статьи (0/1).
Некоторые параметры повторяются в разных вариациях: для каждой из метрик, связанных с характеристикой авторского коллектива или организаций, с которыми аффилированы авторы, были рассчитаны максимальное, среднее и суммарное значение.
Результаты регрессионного анализа. На первом этапе исследования мы провели корреляционный анализ исходных числовых переменных с целью обнаружить зависимость между первоначальными факторами.
В таблице 2 представлены значения корреляции Пирсона, характеризующие зависимость факторов, перечисленных выше. Тёмно-серым тоном выделены ячейки, в которых корреляция больше или примерно равна 0.7 по модулю, светло-серым – больше 0.5. Высокие значения корреляции говорят о значимой зависимости (мультиколлинеарности), которая может сильно повлиять на результаты регрессионного анализа. Для её устранения мы применили метод понижения размерности, согласно которому из регрессионных моделей последовательно удаляются факторы с наименьшей значимостью до тех пор, пока не останутся только самые значимые, слабо зависящие друг от друга.
Таблица 2.
Корреляции Пирсона между исходными факторами (номера соответствуют приведённым параметрам)
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 1 | .71 | .50 | .13 | .76 | .53 | .67 | .20 | .16 | .16 | .41 | .34 | .37 | .46 | .48 | .21 | .21 | .15 | .14 | .06 | .15 | .11 | –.05 | –.07 | .04 | .18 | .09 | –.20 | –.11 | .05 |
| 2 | – | 1 | .71 | .22 | .72 | .57 | .64 | .28 | .23 | .21 | .40 | .35 | .33 | .66 | .65 | .33 | .28 | .19 | .12 | –.01 | .12 | .12 | –.02 | .01 | .11 | .10 | .07 | –.10 | –.05 | .07 |
| 3 | – | – | 1 | .23 | .58 | .48 | .52 | .28 | .23 | .21 | .36 | .32 | .29 | .52 | .51 | .27 | .23 | .18 | .10 | –.01 | .10 | .10 | –.03 | .03 | .13 | –.0 | .07 | –.05 | .04 | .09 |
| 4 | – | – | – | 1 | .23 | .18 | .20 | .28 | .20 | .18 | .29 | .20 | .20 | .27 | .21 | .28 | .17 | .14 | .02 | –.12 | .04 | .05 | .05 | .03 | .08 | .13 | .00 | –.03 | –.07 | .19 |
| 5 | – | – | – | – | 1 | .89 | .93 | .62 | .54 | .51 | .72 | .66 | .62 | .60 | .57 | .32 | .25 | .29 | .11 | –.03 | .12 | .13 | .05 | .01 | .15 | .12 | .10 | –.15 | –.05 | .11 |
| 6 | – | – | – | – | – | 1 | .87 | .60 | .70 | .53 | .69 | .80 | .62 | .51 | .47 | .26 | .20 | .24 | .09 | –.03 | .09 | .11 | .05 | .01 | .11 | .10 | .07 | –.10 | –.05 | .07 |
| 7 | – | – | – | – | – | – | 1 | .62 | .58 | .66 | .72 | .69 | .78 | .52 | .50 | .27 | .22 | .24 | .08 | –.03 | .09 | .10 | .04 | –.02 | .10 | .14 | .07 | –.16 | –.07 | .09 |
| 8 | – | – | – | – | – | – | – | 1 | .84 | .85 | .88 | .71 | .72 | .36 | .31 | .32 | .22 | .36 | .07 | –.09 | .08 | .10 | .14 | .04 | .23 | .06 | .12 | –.15 | .03 | .19 |
| 9 | – | – | – | – | – | – | – | – | 1 | .79 | .80 | .88 | .72 | .29 | .25 | .24 | .17 | .27 | .07 | –.06 | .07 | .09 | .10 | .01 | .12 | .08 | .08 | –.11 | –.03 | .10 |
| 10 | – | – | – | – | – | – | – | – | – | 1 | .76 | .67 | .87 | .25 | .22 | .22 | .16 | .23 | .03 | –.06 | .04 | .05 | .10 | –.01 | .12 | .09 | .07 | –.16 | –.01 | .12 |
| 11 | – | – | – | – | – | – | – | – | – | – | 1 | .86 | .84 | .42 | .38 | .35 | .26 | .34 | .10 | –.06 | .11 | .11 | .09 | .01 | .18 | .12 | .12 | –.18 | –.03 | .18 |
| 12 | – | – | – | – | – | – | – | – | – | – | – | 1 | .78 | .37 | .33 | .27 | .20 | .26 | .08 | –.04 | .09 | .10 | .06 | –.00 | .10 | .11 | .08 | –.12 | –.05 | .10 |
| 13 | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .32 | .30 | .25 | .20 | .23 | .05 | –.03 | .06 | .07 | .05 | –.03 | .09 | .13 | .08 | –.17 | –.05 | .11 |
| 14 | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .95 | .81 | .71 | .23 | .10 | –.05 | .11 | .09 | .00 | .03 | .13 | .05 | .05 | –.05 | –.01 | .11 |
| 15 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .78 | .81 | .21 | .10 | –.01 | .10 | .08 | –.01 | .02 | .12 | .04 | .06 | –.06 | .01 | .07 |
| 16 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .89 | .18 | .07 | –.04 | .07 | .06 | .01 | .03 | .12 | .04 | .04 | –.03 | .01 | .13 |
| 17 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .14 | .07 | .02 | .06 | .04 | –.01 | .01 | .08 | .01 | .05 | –.04 | .02 | .06 |
| 18 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .04 | –.10 | .05 | .09 | .02 | .11 | .29 | –.1 | .07 | –.07 | .18 | .23 |
| 19 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .57 | .85 | .29 | –.09 | –.12 | .01 | .10 | .05 | –.08 | –.07 | .06 |
| 20 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .52 | –.10 | –.01 | –.23 | –.09 | .09 | .03 | –.08 | –.07 | –.02 |
| 21 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .17 | –.07 | –.12 | .00 | .09 | .04 | –.06 | –.07 | .10 |
| 22 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | –.04 | .02 | .07 | .02 | .02 | –.05 | .00 | .04 |
| 23 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .01 | –.02 | .04 | –.01 | –.03 | –.04 | –.02 |
| 24 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .48 | –.33 | –.05 | .27 | .23 | .04 |
| 25 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | –.33 | .09 | .08 | .32 | .13 |
| 26 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | –.16 | –.40 | –.63 | –.08 |
| 27 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | –.18 | –.04 | .05 |
| 28 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .12 | .01 |
| 29 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 | .09 |
| 30 | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | – | 1 |
В ходе проведённого анализа можно выделить несколько групп с высокими значениями корреляции. К первой относятся AuthN, AffN и CN, что неудивительно, так как количество авторов, аффилиаций и стран не могут не зависеть друг от друга. Вторая группа содержит следующие факторы, характеризующие уровень авторского коллектива: AHidxSum, ACitedSum, ADocSum, AHidxAvg, ACitedAvg, ADocAvg, AHidxMax, ACitedMax и ADocMax. Третья группа похожа на вторую с той лишь разницей, что характеризует аффилиации авторов: AfDocSum, AfAuthSum, AfDocMax, AfAuthMax. Стоит также отметить, что некоторые факторы из групп 1–3 имеют корреляцию в пределах [0.5, 0.65], что говорит о взаимосвязи между группами. Если понизить порог значимости корреляции с 0.7 до 0.5, то эти группы также можно объединить. К четвёртой и последней группе относятся признаки открытого доступа к статьям: OA, GoldOA, GreenOA, HybridOA.
Для подбора подходящей регрессионной модели использовался параметр CiteScore, который при построении линейной регрессии оказался самым значимым. Наибольшие значения R2 были получены для степенной модели и S-кривой (табл. 3).
Таблица 3.
Подбор модели на основании значения R2 для трёх факторов
| Модель | CiteScore | Refs | AHidxAvg |
|---|---|---|---|
| Линейная | .123 | .114 | .094 |
| Логарифмическая | .154 | .094 | .081 |
| Обратная | .110 | .035 | .039 |
| Квадратическая | .161 | .115 | .095 |
| Кубическая | .168 | .115 | .095 |
| Составная | .234 | .183 | .198 |
| Степенная | .449 | .242 | .271 |
| S-кривая | .453 | .139 | .212 |
| Роста | .234 | .183 | .198 |
| Экспоненциальная | .234 | .183 | .198 |
| Логистическая | .234 | .183 | .198 |
Степенная модель также показала наилучшее приближение для факторов Refs (размер списка литературы) и AHidxAvg (среднее значение индекса Хирша авторов). Поэтому для регрессионного анализа будет использована модель вида:
Отметим, что добавление единицы к факторам избавляет от проблем с нулевыми и отрицательными значениями, а бинарные признаки (например, OA) включаются в модель без логарифмирования.
После перехода к степенной модели и уменьшения её размерности были выбраны 10 факторов, оказывающих наибольшее влияние на цитируемость обзоров:
${{X}_{1}}$ – импакт-фактор журнала (CiteScore);
${{X}_{2}}$ – размер списка литературы (количество ссылок);
${{X}_{3}}$ – возраст статьи;
${{X}_{4}}$ – среднее значение H-индекса авторов;
${{X}_{5}}$ – идентификатор английского языка (равен 1, если язык статьи английский, иначе 0);
${{X}_{6}}$ – наличие статьи в открытом доступе (0 или 1);
${{X}_{7}}$ – идентификатор наличия тематической рубрики из области Natural Sciences (0 или 1);
${{X}_{8}}$ – идентификатор наличия тематической рубрики из области Life Sciences (0 или 1);
${{X}_{9}}$ – размер статьи;
${{X}_{{10}}}$ – количество стран в аффилиациях.
Коэффициенты корреляции между этими факторами приведены в таблице 4. Поскольку отсутствуют значения по модулю, превосходящие 0.7, то можно заявить, что в модели нет мультиколлинеарности. Наибольшая корреляция зафиксирована между факторами ln(X1) и ln(X4) (0.528), что теоретически оправданно. Корреляции между зависимой ln(Y + 1) и независимыми переменными также возросли по сравнению с линейными факторами.
Таблица 4.
Корреляции Пирсона новых факторов модели
| $\ln ({{X}_{1}} + 1)$ | $\ln {{X}_{2}}$ | $\ln {{X}_{3}}$ | $\ln \left( {{{X}_{4}} + 1} \right)$ | ${{X}_{5}}$ | ${{X}_{6}}$ | ${{X}_{7}}$ | ${{X}_{8}}$ | $\ln \left( {{{X}_{9}} + 1} \right)$ | $\ln \left( {{{X}_{{10}}} + 1} \right)$ | |
|---|---|---|---|---|---|---|---|---|---|---|
| $\ln ({{X}_{1}} + 1)$ | 1 | .38 | .03 | .53 | .42 | .08 | .20 | .13 | .24 | .11 |
| $\ln {{X}_{2}}$ | – | 1 | –.02 | .31 | .16 | .01 | .31 | .09 | .17 | .45 |
| $\ln {{X}_{3}}$ | – | – | 1 | .14 | –.02 | –.09 | –.04 | –.01 | –.03 | .03 |
| $\ln ({{X}_{4}} + 1)$ | – | – | – | 1 | .27 | .07 | .27 | .07 | .29 | .08 |
| ${{X}_{5}}$ | – | – | – | – | 1 | .07 | .09 | .05 | .11 | .02 |
| ${{X}_{6}}$ | – | – | – | – | – | 1 | .05 | .05 | .10 | –.22 |
| ${{X}_{7}}$ | – | – | – | – | – | – | 1 | –.04 | .05 | .22 |
| ${{X}_{8}}$ | – | – | – | – | – | – | – | 1 | .07 | –.05 |
| $\ln ({{X}_{9}} + 1)$ | – | – | – | – | – | – | – | – | 1 | .05 |
| $\ln ({{X}_{{10}}} + 1)$ | – | – | – | – | – | – | – | – | – | 1 |
| $\ln \left( {Y + 1} \right)$ | 0.67 | 0.49 | 0.23 | 0.52 | 0.36 | 0.09 | 0.22 | 0.05 | 0.24 | 0.21 |
Итоговая регрессионная модель описывается следующей формулой:
Эта модель имеет умеренное значение коэффициента детерминации R2 = 0.599 и стандартную ошибку σ = 0.857. Дисперсионный анализ ANOVA отвергает гипотезу об отсутствии влияния модели на зависимую переменную, каждый фактор в ней является значимым. Гистограмма плотности ошибки модели подчиняется нормальному закону с математическим ожиданием, очень близким к нулю, что свидетельствует о случайности ошибки модели и невозможности улучшить её прогноз представленным набором данных.
Необходимо отметить, что рассматривавшиеся, но не вошедшие в итоговую модель факторы также могут влиять на независимую переменную. В модель не попадают факторы, влияние которых на величину остатков (ε) уже построенной модели пренебрежимо мало. Не исключена ситуация, когда некоторый фактор влияет на прогнозируемую переменную, но это влияние уже оценено другим фактором, также зависимым от первого.
В качестве примера разберём влияние на цитируемость наличия авторов из стран G7 (гипотеза 4). На рисунке 3 представлены разброс и среднее значение цитируемости для публикаций, в авторский состав которых входит хотя бы один исследователь из “Большой семёрки” и авторы из других стран. Заметим, что публикации из стран G7 цитируются в среднем чаще и их 95%-перцентиль значительно выше. Хотя присутствие автора из G7 не гарантирует высокое цитирование, но это увеличивает некий “потенциал” публикации и повышает вероятность её цитирования. Причины непопадания фактора G7 в модель сводятся к тому, что работы авторов из “Большой семёрки”, как правило, излагаются на английском языке, их обзоры имеют внушительные списки литературы, они публикуются в журналах с высоким импакт-фактором и сами авторы обладают высокими показателями H-индекса. Это подтверждается как дисперсионным анализом (табл. 5), так и различными квантиль-мерами (рис. 4). Значения F-статистики высоки, что приводит к отклонению гипотезы об отсутствии влияния фактора G7 на соответствующий показатель. Критическое значение F‑статистики, по которому проверяется гипотеза, зависит от выбранного уровня значимости, количества факторов и количества наблюдений. Пример: для уровня значимости 0.01, одного фактора и большого количества наблюдений критическое значение равно примерно 10.8, что существенно меньше полученных величин.
Рис. 2.
Обратная зависимость между долей обзоров и долей публикаций в трудах конференций по областям науки
Таблица 5.
Результаты применения ANOVA к фактору G7
| Фактор | Значение F-статистики | Значимость | Гипотеза об отсутствии влияния |
|---|---|---|---|
| Lang | 683.1 | 0.00 | отклоняется |
| Ahidxavg | 1468.4 | 0.00 | отклоняется |
| CitedScore | 337.9 | 0.00 | отклоняется |
| Refs | 120.1 | 0.00 | отклоняется |
Судя по значениям F-статистики, большее влияние фактор G7 оказывает на среднее значение H-индекса авторов. На рисунке 4 эта зависимость видна детально: если в авторском коллективе есть представитель страны G7, то средний индекс Хирша этого коллектива, вероятно, будет заметно выше, чем в коллективах, где учёных из “Большой семёрки” нет. Таким образом, чаще цитируются обзоры коллективов, где есть авторы из стран G7 и у которых выше H-index. При этом в результате регрессионного анализа последний параметр оказался более значимым и был включён в итоговую модель (1).
С целью иллюстрации регрессионной модели (1) в таблице 6 приведены примеры расчёта для трёх гипотетических статей с заданными параметрами. Все они имеют одинаковый размер (25 страниц) и количество пристатейных ссылок литературы (100), один и тот же возраст (5 лет) и опубликованы на английском языке. В первом примере авторы – относительно молодые учёные со средним индексом Хирша, равным 3, из одной страны (возможно, что коллектив авторов состоит из одного человека), а статья опубликована в журнале с достаточно небольшим рейтингом CiteScore = 1. Второй пример отличается от первого тем, что для публикации был выбран журнал с рейтингом CiteScore в 5 раз выше, а третий пример – тем, что коллектив авторов оказался более именитым (средний индекс Хирша равен 15), интернациональным (из пяти разных стран), а сама статья относится к области естественных наук и опубликована в открытом доступе.
Таблица 6.
Примеры вычислений числа цитирований для регрессионной модели (1). Вес – коэффициенты регрессионной модели; значение – значения переменных статьи для данного примера; расчёт – расчётное значение соответствующего слагаемого регрессионной модели (1) с учётом веса
| Переменная | Вес | Пример 1 | Пример 2 | Пример 3 | ||||
|---|---|---|---|---|---|---|---|---|
| Значение | Расчёт | Значение | Расчёт | Значение | Расчёт | |||
| X1 | CiteScore журнала | 1.01 | 1 | 0.70 | 5 | 1.81 | 1 | 0.70 |
| X2 | Размер списка литературы | 0.422 | 100 | 1.94 | 100 | 1.94 | 100 | 1.94 |
| X3 | Возраст статьи | 0.936 | 5 | 1.51 | 5 | 1.51 | 5 | 1.51 |
| X4 | Среднее значение h-индекса авторов | 0.241 | 3 | 0.33 | 3 | 0.33 | 15 | 0.67 |
| X5 | Английский язык статьи (0 или 1) | 0.434 | 1 | 0.43 | 1 | 0.43 | 1 | 0.43 |
| X6 | Open Access (0 или 1) | 0.186 | 0 | 0.00 | 0 | 0.00 | 1 | 0.19 |
| X7 | Дисциплина из Natural Science (0 или 1) | 0.153 | 0 | 0.00 | 0 | 0.00 | 1 | 0.15 |
| X8 | Дисциплина из Life Science (0 или 1) | –0.141 | 0 | 0.00 | 0 | 0.00 | 0 | 0.00 |
| X9 | Размер статьи, страницы | 0.087 | 25 | 0.28 | 25 | 0.28 | 25 | 0.28 |
| X10 | Количество стран в аффилиациях | 0.177 | 1 | 0.12 | 5 | 0.32 | 1 | 0.12 |
| ln(Y + 1) | 2.03 | 3.33 | 2.70 | |||||
| Y | Среднее число цитирований | 7 | 27 | 14 | ||||
| eB1 – 1 | Доверительный интервал 95%, min | 0 | 4 | 2 | ||||
| eB2 – 1 | Доверительный интервал 95%, max | 40 | 149 | 79 | ||||
Регрессионная модель показывает, что число цитирований в примере 2 получается выше, чем в примере 3. Это свидетельство наибольшего влияния на модель параметра X1 – рейтинга журнала CiteScore. Остальные параметры также формируют определённый, хотя и меньший вклад в расчётное число цитирований модели. Нормальное распределение случайной величины позволяет рассчитать границы доверительного интервала 95% для зависимой переменной модели ln(Y + 1) по формуле B1,2 = ln(Y+1) ± 1.96*σ. Доверительный интервал [B1, B2], как показывают расчёты, весьма широк из-за степенного распределения цитирования и достаточно высокого значения стандартной ошибки σ. В последних двух строках таблицы 6 указаны рассчитанные границы доверительного интервала для переменной Y. Так, в примере 2 расчётное среднее число цитирований статьи Y = 27; однако доверительный интервал, в который с вероятностью 95% попадают возможные цитирования, составляет от 4 до 149. Это говорит о том, что перечисленные 10 факторов объясняют показатели цитирования, но не полностью, при этом оставшаяся достаточно большая степень неопределённости связана с иными, не рассмотренными факторами. Прежде всего к ним относятся плохо поддающиеся квантификации качественные характеристики обзорных статей. Так, обзорная статья в журнале с высоким импакт-фактором на английском языке, находящаяся в открытом доступе, подготовленная автором с высоким индексом Хирша, объёмным списком литературы, за несколько лет может и не получить цитирований, тогда как обзор в журнале среднего уровня начинающего (но, вероятно, талантливого) исследователя вполне может оказаться высокоцитируемым.
В таблице 7 приведено сопоставление средних значений выбранных факторов для первого, срединного и последнего децилей упорядоченной по количеству цитирований (Y) выборки обзорных публикаций за 2015 г. Анализ этих данных показывает существенную разницу между средними значениями факторов для наиболее и наименее цитируемых обзоров. Видно, что высокоцитируемые обзоры публикуются в журналах с более высоким показателем CiteScore (X1), списки литературы в них гораздо длиннее (X3), средний индекс Хирша авторов (X4) заметно выше. Для факторов X5–X8 среднее значение характеризует долю публикаций в определённом дециле, написанных на английском языке, c открытым доступом, относящихся к физическим наукам и наукам о жизни соответственно. Как можно заметить, средние значения всех факторов увеличиваются с ростом средних показателей цитирования. Доля публикаций на английском языке значительно ниже в первом дециле, а в последнем присутствуют только англоязычные работы. Стоит обратить внимание на то, что практически каждая вторая статья в последнем, самом цитируемом дециле относится к физическим наукам. Хорошо просматривается, что высокоцитируемые обзоры в среднем больше по объёму (X9) и значительная их часть написана в международной коллаборации, в том числе с участием представителей нескольких стран (X10).
Таблица 7.
Среднее значение факторов в различных децилях выборки обзорных публикаций за 2015 г.
| Дециль | $\bar {Y}$ | ${{\bar {X}}_{1}}$ | ${{\bar {X}}_{3}}$ | ${{\bar {X}}_{4}}$ | ${{\bar {X}}_{5}}$ | ${{\bar {X}}_{6}}$ | ${{\bar {X}}_{7}}$ | ${{\bar {X}}_{8}}$ | ${{\bar {X}}_{9}}$ | ${{\bar {X}}_{{10}}}$ |
|---|---|---|---|---|---|---|---|---|---|---|
| [1–10%] | 0 | 0.43 | 39.72 | 6.69 | 0.53 | 0.24 | 0.13 | 0.17 | 8.92 | 1.13 |
| [46–55%] | 11.21 | 2.26 | 59.86 | 14.23 | 0.99 | 0.37 | 0.17 | 0.20 | 10.24 | 1.35 |
| [91–100%] | 137.64 | 5.18 | 128.26 | 22.91 | 1 | 0.45 | 0.52 | 0.29 | 15.61 | 1.82 |
Таким образом, построенная регрессионная модель показывает различную степень значимости влияния на цитируемость выбранных факторов и доказывает все сформулированные гипотезы, за исключением четвёртой, которая подтверждается результатами статистического и дисперсионного анализа. Более того, часть гипотез удалось уточнить. Так, в соответствии с результатами регрессионного анализа более значимым оказался средний индекс Хирша авторов, чем его максимальное значение. Иными словами, средний уровень авторского коллектива более значим, чем наличие одного именитого автора. Характеристики полученной модели не позволяют использовать её для прогнозирования будущих цитирований обзоров, однако она достоверно описывает статистические закономерности между цитируемостью и остальными факторами.
* * *
Обзорные публикации имеют важное значение для устойчивого развития научных исследований, о чём говорят более высокие показатели их цитируемости по сравнению с другими типами статей. При этом в разных дисциплинах сложились различные практики подготовки обзоров, что привело к разнообразию толкований термина “обзорная публикация” и формированию для него новых типологий.
В этом исследовании изучена цитируемость более 18 тыс. литературных обзоров, опубликованных в период с 2013 по 2017 г. В процессе регрессионного анализа были рассчитаны параметры степенной модели, основанной на 10 самых значимых факторах. Как демонстрируют и другие исследования, наибольшее влияние на цитируемость оказывает рейтинг журнала (импакт-фактор или CiteScore), хотя связь между этим параметром и качеством работы активно оспаривается [51]. К значимым факторам относятся англоязычность и объёмные показатели обзора: количество страниц и размеры списка литературы. Существенное влияние оказывают характеристики авторского коллектива: авторитетность (наиболее значимый в этом смысле – средний индекс Хирша авторов) и интернациональность. Обзоры, находящиеся в открытом доступе, цитируются лучше. Сопоставимое преимущество имеют естественно-научные обзоры, тогда как обзоры в области наук о жизни цитируются ниже среднего.
Хотя построенная регрессионная модель демонстрирует статистически значимую зависимость цитирований от перечисленных факторов, её нельзя использовать в целях прогнозирования будущего цитирования. В первую очередь это говорит о том, что в модели не учтены характеристики, качественно описывающие содержание обзоров и оказывающие большое влияние на его оценку научным сообществом. Как часто бывает, такие характеристики плохо поддаются объективной формализации и переводу в количественные показатели. В некоторых исследованиях их заменяют, например, показателями раннего цитирования (в первые годы после публикации), что может существенно улучшить прогнозные характеристики модели. Необходимо отметить, что часть факторов и их вес в модели могут помочь авторам при подготовке новых научных обзоров.
Список литературы
Ho Y.S., Kahn M. A bibliometric study of highly cited reviews in the Science Citation Index expanded // Journal of the Association for Information Science and Technology. 2014. V. 65. № 2. P. 372–385.
Horsley T. Tips for improving the writing and reporting quality of systematic, scoping, and narrative reviews // Journal of Continuing Education in the Health Professions. 2009. V. 39. № 1. P. 54–57.
Ketcham C.M., Crawford J.M. The impact of review articles // Laboratory Investigation. 2007. V. 87. № 12. P. 1174–1185.
Guskov A., Kosyakov D., Selivanova I. Scientometric research in Russia: impact of science policy changes // Scientometrics. 2016. V. 107. № 1. P. 287–303.
Pislyakov V., Dyachenko E. Citation expectations: are they realized? Study of the Matthew index for Russian papers published abroad // Scientometrics. 2010. V. 83. № 3. P. 739–749.
Гуськов А.Е. Российская наукометрия: обзор исследований // Библиосфера. 2015. № 3. С. 75–86.
Garfield E. Can citation indexing be automated? // Essays of an Information Scientist. 1962. V. 1. P. 84–90.
Cole J.R., Cole S. The Ortega hypothesis // Science. 1972. V. 178. № 4059. P. 368–375.
MacRoberts M.H., MacRoberts B.R. Quantitative measures of communication in science: A study of the formal level // Social Studies of Sci. 1986. V. 16. № 1. P. 151–172.
Brooks T.A. Private acts and public objects: An investigation of citer motivations // J. Amer. Soc. Inform. Sci. 1985. V. 36. № 4. P. 223–229.
Nicolaisen J. The social act of citing: Towards new horizons in citation theory // J. Amer. Soc. Inform. Sci. Tech. 2003. V. 40. № 1. P. 12–20.
Бредихин С.В., Кузнецов А.Ю., Щербакова Н.Г. Анализ цитирования в библиометрии. Новосибирск: ИВМиМГ СО РАН; НЭИКОН, 2013.
Subotic S., Mukherjee B. Short and amusing: The relationship between title characteristics, downloads, and citations in psychology articles // Journal of Information Science. 2014. V. 40. № 1. P. 115–124.
Annalingam A., Damayanthi H., Jayawardena R. et al. Determinants of the citation rate of medical research publications from a developing country // Springer Plus. 2014. V. 3. № 1. P. 1–6.
Uthman O.A., Okwundu C.I., Wiysonge C.S. et al. Citation classics in systematic reviews and meta-analyses: who wrote the top 100 most cited articles? // PloS ONE. 2013. V. 8. № 10. P. e78517.
Wang P., White D. A cognitive model of document use during a research project. Study II. Decisions at the reading and citing stages // Journal of the American Society for Information Science. 1998. V. 50. № 2. P. 98–114.
Bornmann L., Leydesdorff L. Skewness of citation impact data and covariates of citation distributions: A large scale empirical analysis based on Web of Science data // Journal of Informetrics. 2017. V. 11. № 1. P. 164–175.
Royle P., Kandala N.B., Barnard K., Waugh N. Bibliometrics of systematic reviews: analysis of citation rates and journal impact factors // Systematic reviews. 2013. V. 2. № 1. P. 74.
Hug S.E., Ochsner M., Daniel H.D. A framework to explore and develop criteria for assessing research quality in the humanities // International Journal for Education Law and Policy. 2014. V. 10. № 1. P. 55–64.
Henneken E.A., Kurtz M.J., Eichhorn G. et al. Effect of E printing on citation rates in astronomy and physics // Journal of Electronic Publishing. 2006. V. 9. № 2. P. 2853–2856.
Rees T., Ayling Rouse K., Smith S. Accesses versus citations: Why you need to measure both to assess publication impact // Current Medical Research and Opinion. 2012. V. 28. № 1. P. S9–S10.
Yue W.P., Wilson C.S. Measuring the citation impact of research journals in clinical neurology: A structural equation modelling analysis // Scientometrics. 2004. V. 60. № 3. P. 317–332.
Falagas M.E., Zarkali A., Karageorgopoulos D.E. et al. The impact of article length on the number of future citations: A bibliometric analysis of general medicine journals // PLoS ONE. 2013. V. 40. № 2. P. e49476.
Ball P. A longer paper gathers more citations // Nature. 2008. V. 455. № 7211. P. 274–276.
Xie J., Gong K., Cheng Y. et al. The correlation between paper length and citations: a meta-analysis // Scientometrics. 2019. V. 118. № 3. P. 763–786.
Didegah F., Thelwall M. Determinants of research citation impact in nanoscience and nanotechnology // Journal of the American Society for Information Science and Technology. 2013. V. 64. № 5. P. 1055–1064.
Sutton A., Clowes M., Preston L., Booth A. Meeting the review family: Exploring review types and associated information retrieval requirements // Health Information and Libraries Journal. 2019. V. 36. № 3. P. 202–222.
Lokker C., McKibbon K.A., McKinlay R.J. et al. Prediction of citation counts for clinical articles at two years using data available within three weeks of publication: retrospective cohort study // BMJ. 2008. V. 336. № 7645. P. 655–657.
Boyack K.W., Van Eck N.J., Colavizza G. et al. Characterizing in-text citations in scientific articles: A large-scale analysis // Journal of Informetrics. 2018. V. 12. № 1. P. 59–73.
Hu Z., Chen C., Liu Z. Where are citations located in the body of scientific articles? A study of the distributions of citation locations // Journal of Informetrics. 2013. V. 7(4). P. 887–896.
Peroni S., Ciancarini P., Gangemi A. et al. The practice of self-citations: a longitudinal study // Scientometrics. 2020. V. 123. № 12. P. 253–282.
Cooper N.J., Jones D.R., Sutton A.J. The use of syste-matic reviews when designing studies // Clinical Trials. 2005. V. 2. № 3. P. 260–264.
Aksnes D.W. Characteristics of highly cited papers // Research Evaluation. V. 12. № 3. P. 159–170.
Glänzel W., Czerwon H.J. What are highly cited publications? A method applied to German scientific papers, 1980–1989 // Research Evaluation. 1992. V. 2. № 3. P. 135–141.
Справочник информационного работника / Под общ. ред. Р.С. Гиляревского, В.А. Минкина. СПб.: Профессия, 2005.
Курзанов А.Н. Научный обзор: роль и место в системе информационно-аналитических текстов, подготовка в формате журнальной статьи. http://sciencereview.Ru/Articles1.html (дата обращения 10.07.2020).
Захарова И.С. Основы информационно-аналитической деятельности: учебное пособие. Киев: Центр учебной литературы, 2013. http://uchebnikirus.com/informatika/osnovi_informatsiyno-analitichnoyi_diyalnosti_-_zaharova_iv/osnovi_informatsiyno-analitichnoyi_diyalnosti_-_zaharova_iv.htm (дата обращения: 27.07.2020)
Пастухов В.М. Общие понятия обзорной литературы // Научно-техническая информация. Серия 1. Организация и методика информационной работы. 1983. № 4. С. 19–24.
Корюкова А.А., Дера В.Г. Основы научно-технической информации: учебное пособие для вузов по специальности “Автоматизация и механизация процессов обработки и выдачи информации”. М.: Высшая школа, 1985.
Журавель Е.Ш., Корсунская Г.В. Классификация обзоров // Научно-техническая информация. Серия 1. Организация и методика информационной работы. 1974. № 7. С. 14–17.
Власов В.В. Как написать обзор литературы // Флебология. 2013. Т. 7. № 3. С. 47–56.
Chaudhry B., Wang J. Systematic review: impact of health information technology on quality, efficiency, and costs of medical care // Annals of internal medicine. 2006. V. 144. № 10. P. 742–752.
Collins J.A., Fauser B.C.J.M. Balancing the strengths of systematic and narrative reviews // Human Reproduction Update. V. 11. № 2. P. 103–104.
Smith V., Devane D., Begley C.M., Clarke M. Methodo-logy in conducting a systematic review of systematic reviews of healthcare interventions // BMC medical research methodology. 2011. V. 11 (1). P. 1–6.
Лаврик О.Л., Калюжная Т.А., Плешакова М.А. Систематический обзор как вид обзорно-аналитических продуктов // Библиосфера. 2019. № 2. С. 33–51.
Левин Г.Л., Масловская Н.С. Стандартизация библиографической терминологии: развитие и современность // Библиосфера. 2019. № 4. С. 23–32.
Bradbury-Jones C., Breckenridge J.P., Clark M.T. et al. Advancing the science of literature reviewing in social research: The focused mapping review and synthesis // International Journal of Social Research Methodology. 2019. V. 22. № 5. P. 451–462.
Grant M.J., Booth A. A typology of reviews: an analysis of 14 review types and associated methodologies // Health Information and Library Journal. 2009. V. 26. № 2. P. 91–108.
Snyder H. Literature review as a research methodology an overview and guidelines // Journal of Business Research. 2019. V. 104. № 4. P. 333–339.
Paré G., Trudel M.-C., Jaana M., Kitsiou S. Synthesizing information systems knowledge: A typology of literature reviews // Information & Management. 2015. V. 52. № 2. C. 183–199.
Теннант Д.П., Крейн Г., Крик Т. и др. Публикация научных работ: десять горячих тем // Библиосфера. 2019. № 3. С. 3–25.
Дополнительные материалы отсутствуют.
Пн.-пт.: 10.00-19.00