2020 №3-4 - перейти к содержанию номера...

Постоянный адрес этой страницы - https://nppir.ru/04np320.html

Ссылка для цитирования этой статьи:

Абрамов Е.Г. Перспективы реформирования Перечня ВАК и подходы к оценке научных журналов // Научная периодика: проблемы и решения, 2020 №3-4, https://nppir.ru/04NP320.html (доступ свободный). Загл. с экрана. Яз. рус., англ.

Перспективы реформирования Перечня ВАК и подходы к оценке научных журналов

Абрамов Егор Геннадьевич
Заместитель главного редактора журнала «Научная периодика: проблемы и решения»
Кандидат экономических наук
ORCID: http://orcid.org/0000-0002-3290-1095
РИНЦ: https://www.elibrary.ru/author_profile.asp?id=248405
Web of Science: https://publons.com/researcher/K-2813-2014

Аннотация. Почти 20 лет существует Перечень ВАК, изначально он создавался как временная мера, но сейчас к началу 2021 года все чаще можно услышать предложения по реформированию этого перечня, причем мнения оказываются диаметрально противоположными, среди них можно выделить три лагеря: расширить перечень, сократить перечень, заменить на RSCI. Кто же прав? В 2001 году Перечень задумывался как список журналов для публикации работ аспирантов и докторантов, это было еще до наступления эпохи Publish or Perish. Сейчас объем статей аспирантов и докторантов в журналах из Перечня составляет не более 1 % от общего количества публикаций в этих журналах. Основные разногласия вызваны тем, что Перечень фактически используется для реализации двух совершенно разных функций одновременно – для публикации результатов диссертационных исследований и для публикации текущих исследований научных сотрудников и профессорско-преподавательского состава, поэтому попытка совместить эти порой взаимоисключающие функции приводит к тому, что ни одна из них не выполняется достаточно эффективно. Однако, Перечень ВАК в настоящее время представляет собой единственную полностью российскую базу данных научных журналов. Одно из возможных решений – разделить перечень на два: один – для целей аттестации, другой – для оценки текущей научно-публикационной активности, что позволит достичь всех целей, о которых говорят участники этих дискуссий, и избежать конфликтов в научной среде.

Ключевые слова: научные журналы; научная экспертиза; Перечень ВАК; Министерство науки и образования; рецензирование; Russian Science Citation Index

Введение

В последнее время можно услышать много претензий к Перечню ВАК (Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук, далее – Перечень), что он не отвечает своим целям,  содержит журналы низкого качества, поэтому стоит от него отказаться и заменить на Перечень журналов Russian Science Citation Index. При этом практически не ведется разговоров о том, чтобы проанализировать цели существования каждого списка и улучшить методику отбора журналов, что уже вызывает желание разобраться в причинах и возможных решениях этой проблемы.

Методы

При проведении исследования был проведен анализ российской законодательной базы и нормативных документов в сфере научных публикаций и оценки публикационной активности, а также проанализированы требования к включению журналов в международные базы данных, такие как SCOPUS и Web of Science (Emerging Sources Citation Index, ESCI). Особое внимание уделено анализу оценки научно-публикационной активности в свете национальной безопасности.

Для подтверждения был проведен анализ научных публикаций по этому вопросу, а также анализ выступлений в прессе и результатов публичных дискуссий в форме круглых столов.

В процессе работы было оценено значение Перечня ВАК в научной работе по двум направлениям: для целей аттестации научных кадров и для целей оценки текущей публикационной активности научных работников и профессорско-преподавательского состава.

Результаты

Основная проблема работы в настоящее время с Перечнем ВАК заключается в том, что Перечень совмещает в себе одновременно две совершенно разные функции, причем эти функции не просто плохо сочетаются, но и могут иметь взаимоисключающий характер.

Первая функция – это формирование базы журналов для публикации основных результатов диссертационных исследований, то есть списка журналов, в которых должны быть опубликованы статьи в рамках подготовки кандидатских и докторских диссертаций. Ради этого Перечень и создавался в 2001 году сначала как единый список, затем журналы в нем были разделены на кандидатские и докторские, в дальнейшем Перечень был переформирован без учета вида диссертации, но по группам научных специальностей, а потом и по отдельным специальностям.

Вторая функция – это некий ориентир для уровня качества журналов национального уровня. Это те журналы, которые прошли хоть какой-то экспертный отбор. В таком виде Перечень используется как список журналов для публикации результатов текущих исследований научных работников и профессорско-преподавательского состава, иногда совместно с библиометрическими показателями, такими как импакт-фактор РИНЦ не меньше 0,200 или 0,600. Для этих целей обычно не имеет значения, по каким специальностям журнал включен в Перечень, важен только сам факт нахождения журнала в Перечне ВАК.

Подтверждением этого может служить тот факт, что в ведущих университетах, получивших право самостоятельно присваивать ученые степени, используется практика ведения двух списков журналов: один – для целей аттестации и другой – для оценки текущей публикационной активности.

В качестве решения предлагается разделить Перечень ВАК по функциональному назначению на два независимых Перечня.

Один из перечней будет содержать журналы для публикации результатов диссертационных исследований. Количество журналов в нем будет определяться реальной потребностью с учетом количества диссертационных работ в каждом направлении исследований. Такой Перечень должен формироваться в рамках консервативной стратегии с учетом номенклатуры научных специальностей.

Второй Перечень для целей оценки текущей публикационной активности будет формироваться с учетом более широкого круга критериев. Этот Перечень не должен иметь строгой привязки к номенклатуре, так как он должен быть ориентирован в большей степени на развивающиеся научные направления.

Полный отказ от использования Перечня вряд ли стоит рассматривать как реальное решение проблемы. Одним из последствий полного упразднения Перечня ВАК может стать отсутствие в России национальной базы научных журналов, создаваемой с использованием экспертного отбора, притом что библиометрические показатели не могут быть заменой экспертной оценки, а только ее дополнением.

Поэтому Перечень ВАК как национальная база научных журналов имеет основания для продолжения существования, причем в двух разных форматах, вместе с этим необходима работа по повышению качества отбора журналов в оба Перечня с учетом их конкретных целей, включающая следующие шаги:

1. Оценка журналов как экспертных центров с указанием четких границ научной экспертизы и снижение количества дублирующих экспертных центров для разрешения противоречий свобод, гарантированных для СМИ, и требований к научным журналам.
2. Использование механизмов контроля качества «снизу» для исключения наиболее сомнительных с позиций публичной оценки журналов, так как именно наличие случайных низкокачественных журналов снижает общее доверие ко всей системе (использование идеи механизма RADAR SCOPUS).
3. Использование перспективной оценки журналов по их целям, а не только ретроспективной по прошлым достижениям и наукометрическим показателям (аналог Emerging Sources Citation Index в Web of Science).

Обсуждение

Все предложенные результаты могут быть использованы при обсуждении перспектив создания национальной базы научных журналов.

В работе сделана попытка формулировки основных условий формирования национальной базы научных журналов одновременно с существованием международных баз данных SCOPUS и Web of Science.

Действительно, вопрос о том, должен ли быть упразднен Перечень ВАК для научной общественности, сводится к вопросу, будет ли у России собственная национальная база научных журналов. И этот вопрос мы разберем подробнее далее.

Решение проблемы качества Перечня
ВАК за счет его разделения на два перечня по функциям

Дискуссии о том, можно ли оставить Перечень ВАК или не стоит этого делать, не утихают. Возможно, проблема непримиримости сторон этих дискуссий заключается в том, что Перечень сейчас выполняет две функции, которые часто входят в противоречие между собой, поэтому Перечень не выполняет идеально ни одну из них.

Созданный в 2001 году Перечень ВАК задумывался как список журналов для публикации основных результатов диссертационных исследований. Таким образом, публикация статьи в таком журнале была первым оппонированием одной из частей диссертации. Именно об этой функции идет спор, вероятно, из-за включения в Перечень некоторых журналов недостаточного уровня качества появляются диссертации сомнительного уровня. Но в последнее десятилетие эта функция Перечня перестала быть основной, а с введением в некоторых университетах возможности самостоятельно присваивать ученые степени количество публикаций снизилось в еще большей степени. С одной стороны, именно чрезмерное количество журналов вызывает множество споров о том, что Перечень «разросся до совершенно «неприличного» объема (табл. 1) и необходимость его реформирования стала очевидной» [22] (Лисичкина Н.В., 2019).

В то же время результаты проведенных реформ не позволяют говорить об их успешности, так как они «имеют формальный характер и почти не касаются содержательной стороны дела. Научная и практическая значимость диссертационных исследований остается низкой, а диссертационное движение в целом никак не вписывается в развитие инновационной экономики» [15] (Дрогобыцкий, 2018).

Одной из проблем можно считать то, что Перечень ВАК изначально сформирован в соответствии с номенклатурой научных специальностей, но «это обстоятельство в свою очередь может мотивировать кандидатов наук, желающих продолжить заниматься наукой, перейти в другие отрасли наук, где условия для публикации результатов более благоприятные» [31] (Плешкевич, 2019). Нельзя судить об активности исследований в научных специальностях только по количеству защит в этих специальностях, так как в результате этого сокращается и количество журналов, а исследователи уходят из этой сферы.

Есть и более решительные мнения, например, что «ВАК должен отказаться от практики создания перечня журналов и доверить диссертационным советам и научной общественности судить о том, насколько полноценно обнародованы результаты исследований. Важно ясно объявить, что диссертация не является публикацией, обнародованием результатов научных исследований, а лишь формой их представления для получения ученой степени» [8] (Власов, 2007).

Такие мнения получили продолжение в других публикациях:

«Представляется более адекватной и продуктивной такая последовательность действий, как:

1. отмена списка ВАК;
2. введение обязательного требования для ученых и аспирантов, соискателей опубликования не менее одной статьи в два года в международных журналах и журналах, входящих в международные базы цитируемости (SCOPUS и Web of Science)» [14] (Грудцына, 2013).

Но существуют и мнения в защиту существующего Перечня: «трудно согласиться с авторами, предлагающими следующие меры по совершенствованию аттестации научно-педагогических и научных кадров: «…1) отмена списка ВАК» [30] (Осипов, 2016).

И это зачастую связано с реализацией другой функции Перечня ВАК.

Вторая функция Перечня – формирование списка журналов для публикации результатов текущих исследований и оценки публикационной активности научных работников и профессорско-преподавательского состава. Сейчас эта функция также используется в университетах, получивших право самостоятельного присуждения ученых степеней.

Конечно же, об этой функции Перечня можно найти упоминания в гораздо более ранних источниках.

«В дальнейшем этот перечень получил, так сказать, «расширительное толкование» и стал использоваться также для оценки научной деятельности различных научных учреждений Минобрнауки, которая стала «поверяться» количеством статей, опубликованных именно во включенных в указанный список журналах» [28] (Михайлов, 2014).

Необходимость двух перечней подтверждается также и тем, что в ведущих университетах, например на экономическом факультете МГУ им. М.В. Ломоносова, используется два списка журналов: один – для текущей оценки и отдельный список – для публикации статей по результатам диссертационных исследований. Причем в списке журналов для оценки текущей публикационной активности в 2019 году было 165 изданий, в то время как список для статей по диссертационным исследованиям – только 66 журналов, то есть ровно в 3 раза меньше. Это логично, так как, с одной стороны, публикаций по диссертационным исследованиям гораздо меньше, но с другой – к таким журналам должны предъявляться гораздо более строгие требования.

Значение Перечня как списка журналов для публикации результатов диссертационных исследований постоянно снижается. За последнее десятилетие значительно уменьшилось количество защит диссертаций _{(Количество кандидатских и докторских диссертаций сократилось в РФ почти вдвое за пять лет // ТАСС наука 12.01.2018)}. А университеты, получившие право присваивать ученые степени самостоятельно, имеют свои собственные списки журналов, например ВШЭ, МГУ и т. д., хотя они и ориентированы в какой-то степени на Перечень ВАК. При этом вхождение в Перечень ВАК является для них скорее обязательным, но не всегда достаточным критерием. А при составлении таких списков у университетов присутствует интерес и в продвижении собственных изданий.

Функция оценки текущей публикационной активности возрастает с ростом требований к количеству публикаций. Но эта функция уже не имеет прямой связи с Высшей аттестационной комиссией, основной задачей которой является аттестация научных работников.

Поэтому вопрос о сохранении или упразднении Перечня ВАК, а также о замене Перечня ВАК на список RSCI – это многогранная проблема, которая должна решаться в каждой плоскости отдельно.

Итак, на повестке организации научной деятельности в Российской Федерации остается два вопроса:

1. Стоит ли упразднить Перечень ВАК как список для публикации основных результатов диссертационных исследований или заменить его на список журналов, входящих в Russian Science Citation Index (RSCI)?
2. Будет ли в России собственный список научных журналов, прошедших экспертный отбор в соответствии с национальными целями, или право устанавливать критерии для отечественных научных журналов будет отдано зарубежным коммерческим компаниям?

Стоит отметить, что ответы на эти вопросы могут очень сильно отличаться у представителей естественных и гуманитарных наук.

Возможность замены перечня
на журналы RSCI для целей аттестации

В контексте сохранения национальной базы научных журналов вопрос о сохранении Перечня ВАК для публикации диссертационных исследований или его замена на RSCI не вызовет масштабных изменений в силу небольшого количества публикаций, связанных непосредственно с защитой диссертаций. Даже внутри ВАК возникают планы «уходить от «Перечня ВАК» к перечню изданий, включенных и индексируемых в международных базах данных» _{(Об итогах работы ВАК прошлого состава и новых задачах – в интервью Владимира Филиппова)}.

С одной стороны, журналы, отобранные для RSCI, прошли проверку, они отвечают формальным требованиям и обладают достаточно высокими библиометрическими показателями. С другой – сама процедура отбора в RSCI не может быть однозначно признана прозрачной и актуальной, а это именно те недостатки, на которые указывают в качестве критики современного Перечня ВАК. На это обращают внимание различные исследователи в отдельных областях, например «при формировании перечня экономических журналов заявленные критерии отбора в RSCI-2018 жестко не соблюдались. Это свидетельствует о непрозрачности процедуры оценки» [34] (Третьякова, 2020).

Также стоит учесть тот факт, что при отборе журналов начинает проявляться клановость в науке, которая приводит к включению одних журналов «авансом» и созданием преград для журналов из других научных школ. «Думаю также, что в переходный период целесообразно создать «Клуб экономических журналов», который бы противостоял существующей монополии оценки качества экономических журналов и защищал входящие в него издания» [32] (Рубинштейн, 2019).

Также отмечается, что цели создания RSCI не были изначально привязаны к процедуре аттестации.

Результаты проведенного анализа вызывают вопросы относительно целей создания базы RSCI, направлений ее дальнейшего использования и корректности отбора журналов для включения в нее. К сожалению, отсутствие четкой постановки задачи и непрозрачные алгоритмы ее решения и, соответственно, публикаций, связанных с этими вопросами в научных изданиях, создают предпосылки для ошибочного понимания роли базы данных для отечественной науки и могут спровоцировать ряд вредных для нее управленческих решений [25; 26] (Мазов, 2017; Мазов, Гуреев, Каленов, 2018).

Некоторые исследователи выражают и совершенно негативные мнения: «РИНЦ представляется недобросовестной организацией и в обществе складывается недоверие к ней» [20] (Киселев, 2018).

Одна из основных проблем заключается в том, что РИНЦ имеет в своей основе библиометрические показатели, но сама база РИНЦ не обладает достаточным уровнем качества, чтобы эти показатели считать заслуживающими доверия.

«В нашем понимании «публикационная активность» и «вклад в науку» – очень разные понятия» [37] (Цветкова, 2020).

«В настоящее время ситуация с использованием наукометрических показателей для аттестации публикационной работы профессорско-преподавательского состава российских университетов и сотрудников академических институтов выглядит неудовлетворительно» [13] (Гринёв, 2019).

«Учет, контроль, оценка качества работы ученого (лишь) через количественные показатели – неважно чего, публикаций, участия в конференциях и проч. – невозможны. Непродуктивно также заставлять исследователя печататься исключительно в журналах, входящих в ту или иную базу. Есть великолепные профессиональные журналы, по тем или иным причинам не числящиеся в РИНЦ или Перечне ВАК, не входящие в Scopus или Web of Science, но именно в них порой бывает важнее опубликовать свои результаты, чем в самом высокорейтинговом издании» [36] (Функ, 2016).

На какие недостатки следует обратить внимание при формировании списка журналов Russian Science Citation Index в качестве направлений для дальнейшего совершенствования базы:

1. Одна из особенностей – это ориентация на так называемое народное голосование, которое проводилось последний раз в 2017 году. За это время для многих журналов принципиально изменился их статус, появились новые журналы. Это не подойдет для национальной базы данных, она потребует более скорого реагирования, но для целей аттестации такой механизм может подойти, так как это более ответственная сфера, где должны осуществлять экспертизу более старые журналы.
2. RSCI ориентирован на показатели цитируемости, поэтому такой подход автоматически закрывает возможность для новых журналов. Мы должны найти способ поддержать новые журналы, если они будут декларировать правильные цели.

Перспективы создания национального
перечня для целей оценки публикационной активности

Вопрос создания перечня журналов для публикации основных результатов диссертационных исследований можно было бы оставить на усмотрение ВАК или РАН. Но гораздо более широкую общественность волнует вопрос, останется ли Перечень ВАК для оценки публикационной активности научных работников и профессорско-преподавательского состава?

Итак, сейчас одной из функций Перечня ВАК является функция списка журналов некоторого уровня качества для публикации результатов научных исследований. «Длительное время как систему для оценки качества содержания российских журналов можно было использовать Перечень ВАК» [12] (Горелкин, 2017).

Должен ли существовать такой список журналов в России? Кто должен заниматься его поддержкой? Каким образом его можно внедрить, чтобы идея не дискредитировала сама себя до выхода на заданные результаты?

Вопрос о перспективах Перечня ВАК вызывает опасения, связанные с тем, что в настоящее время Перечень ВАК – это единственная национальная база, позволяющая оценить уровень научных журналов и достаточная для публикации научных статей, не связанных с научной аттестацией. Все остальные базы – так или иначе принадлежат частным компаниям, либо базирующимся за рубежом, либо имеющим сильное зарубежное влияние.

Почему для этих целей не подходят международные базы данных?

Формально имидж международных баз данных имеет однозначно положительный характер, туда попадают все же наиболее качественные издания за редким исключением. Но те, кто придерживается этой точки зрения, порой обходят вопрос, а как именно определяется то самое качество журнала? Правильнее будет сказать так, в эти базы попадают журналы, имеющие практическую значимость в мировом масштабе.

При этом журналы, важные для развития отечественной науки, просто не смогут туда попасть, так как они не будут получать достаточное количество цитирований из этих журналов. Поэтому в России должен быть «пул качественных журналов национального и международного уровней, поддерживаемых и развиваемых внутри страны» [7] (Беляева, 2018).

Для научной общественности вопрос звучит так: останется ли у России собственная база журналов или все базы так или иначе окончательно перейдут под контроль зарубежных коммерческих компаний? Здесь необходимо продолжать обсуждение этого вопроса со всеми заинтересованными сторонами, так как поспешные решения могут привести к негативным последствиям для развития отечественной науки, это подчеркивалось и в более ранних исследованиях: «У отечественных издателей научных журналов и Высшей аттестационной комиссии единая цель – повышение качества публикуемого контента, организация работы изданий на высшем мировом уровне. Для достижения этой цели необходим конструктивный диалог между Минобром, ВАКом и научным сообществом» [4] (Алимова, 2017).

Вопрос наличия собственной базы научных журналов важен тем, что развитие новых журналов может оказать существенное влияние на развитие отдельных научных направлений, а отбор по международным критериям будет означать снижение поддержки национальных журналов гуманитарного и социального профиля, которые, очевидно, не представляют той ценности в общемировой системе научных коммуникаций, но играют важную роль для обеспечения национальной самобытности и безопасности.

При этом международные базы данных журналов вполне можно использовать, когда этот подход окажется целесообразным в рамках научных отраслей, например в естественных и точных науках.

«Нужно ли поддерживать российскую базу научных журналов или оценка качества журналов должна осуществляться только с ориентацией на международные базы данных?» – этот вопрос имеет искусственный характер, он не учитывает различные цели и направления оценки, поэтому не должен формулироваться именно в таком виде при определении развития отечественной науки.

В конце концов, стремление к упразднению национального Перечня может быть расценено как угроза национальной безопасности в соответствии с п. 11 Доктрины информационной безопасности Российской Федерации _{(Доктрина информационной безопасности Российской Федерации. Утверждена Указом Президента Российской Федерации от 5 декабря 2016 г.  № 646)} и п. 68 Стратегии национальной безопасности Российской Федерации _{(Стратегия национальной безопасности Российской Федерации. Утверждена Указом Президента Российской Федерации от 31 декабря 2015 г. № 683)}, что может стать предметом внимания соответствующих органов, заинтересованных в соблюдении положений указанных документов на территории Российской Федерации.

Использовать готовый зарубежный продукт или развивать собственный? Решение этого вопроса заключается в горизонте планирования. Если стоит задача сиюминутного решения вопроса без учета последствий – то однозначно стоит взять решение с наименьшим сроком внедрения. Но в перспективе ориентация исключительно на международные инструменты может оказать негативное влияние на развитие российской науки. Развитие собственной системы может занять время, возможно, до 10 лет, но только это позволит действительно иметь собственный инструмент управления системой научных коммуникаций.

Вопрос наличия собственной базы научных журналов находится в сфере обеспечения национального суверенитета, его можно поставить в один ряд с вопросами, должна ли быть у государства собственная национальная валюта или армия.

Повторимся, вопрос для широкой научной общественности звучит именно так: «Останется ли у России национальная база научных журналов с критериями оценки научных работ, позволяющими использовать эту базу для обеспечения национальной безопасности?» Это стоит учитывать при обсуждении перспектив формирования Перечня ВАК и направлений повышения качества отбора журналов.

Особенности отбора журналов с позиций научных
экспертных центров в новый национальный перечень журналов

Современная оценка научных журналов построена чаще всего либо на библиометрических показателях, либо на заключениях экспертов. Но, например, при формировании Перечня ВАК в качестве критериев указывается соблюдение законодательства о СМИ, но совершенно не оценивается уровень научной экспертизы, а ведь это самое первое, ради чего научные журналы должны быть выделены среди остальных. Этот вопрос как бы предполагается, формально журналы должны гарантировать наличие института рецензирования, но уровень научной экспертизы в журналах сейчас не имеет какого-либо механизма оценки.

Одна из проблем Перечня ВАК – претензии к качеству входящих в него журналов. Но у нас нет и общепризнанных требований к качеству научных журналов и научных публикаций вообще. Наукометрия не может быть основой оценки качества, это подтверждает получившая известность Декларация DORA _{(Сан-Францисская декларация об оценке научных исследований (DORA) (на русском языке))}, ее подписали многие заметные участники научно-публикационного процесса.

Подчиненную систему нельзя сделать самоорганизующейся, так как она не имеет собственных целей, а изначально ориентирована на выполнение показателей, заданных внешней системой. Поэтому среди задач стоит выделить модификацию Перечня, чтобы он помогал развитию науки, а не тормозил его, для этого нужна более смелая стратегия!

Еще одной проблемой можно считать то, что разработчики различных критериев качества журналов предлагают разные способы именно оценки, а не целевые ориентиры развития качественного журнала. Другими словами, своей задачей они считают оценить то, что есть, вместо того чтобы дать подсказки, как это должно быть, в чем журналы должны измениться, чтобы лучше соответствовать необходимому уровню качества. Вследствие этого журналы и занимаются тем, чтобы больше соответствовать показателям с минимальными усилиями, вместо того чтобы работать над повышением своего уровня, а это тормозит развитие системы научных коммуникаций.

Роль экспертизы подчеркивалась в работе научных журналов уже достаточно давно, стоит вспомнить слова Михаила Кирпичникова:

«Что такое для системы аттестации – я подчеркиваю, не для меня как ученого, а именно для системы аттестации – научная периодика? Как мы ее пытаемся использовать? Прежде всего, как внешнего эксперта» [19] (Кирпичников, 2009).

Роль научного журнала как экспертного центра является основополагающей. Публикация в научном журнале – это введение нового знания в научный оборот. Не каждое мнение может считаться научным знанием, именно этот отбор производят научные журналы, то есть выполняют роль экспертных центров.

Здесь возникает основное противоречие в оценке научных журналов, так как чаще всего их оценивают как СМИ, самостоятельность которых по закону никто ограничить не может, а наличие требований к рецензированию и ретрагированию спорных материалов прямо противоречит ФЗ «О СМИ» _{(Закон РФ от 27.12.1991 N 2124-1 (ред. от 30.12.2020) «О средствах массовой информации» (с изм. и доп., вступ. в силу с 01.01.2021))}.

Среди массива проанализированных в данной работе публикаций многие посвящены их оценке или ранжированию на основе библиометрических показателей, какие-то – с использование алгоритмов, обобщающих экспертные оценки, но практически отсутствуют рекомендации по улучшению работы журналов для достижения необходимого уровня. При этом все дополнения относятся так или иначе к высчитыванию общих весов на основе имеющихся методик (наукометрии или экспертной оценки), но не включают качественные показатели журналов [16] (Карулин, Аляева, 2020) или [6] (Аляева Ю.В., Емелин Н.М., 2019).

В связи с этим остается вопрос, кто должен разработать рекомендации по повышению качества научных изданий, имеющих только национальную аудиторию? Есть какая-то структура, которой это было бы необходимо или хотя бы выгодно? Вряд ли стоит ждать, что сами журналы займутся этим, чаще всего для них оправданы действия, которые приближают их к вхождению в какую-то авторитетную базу данных, но не к повышению вклада в науку публикуемых статей. Поэтому появление сугубо национальной базы журналов, сформированной на основе именно национальных целей будет способствовать повышению качества журналов, не имеющих международного распространения.

Одной из первых попыток внедрить мониторинг качества отечественных научных журналов стало анкетирование журналов из Перечня ВАК при поддержке Ассоциации научных редакторов и издателей, это было одним из основных направлений деятельности АНРИ с первых лет деятельности при организации Конкурса программ развития журналов, организованного в 2014 году.

Одним из основных направлений деятельности РЭС является предварительная оценка журналов, подающих или собирающихся подавать заявку в Scopus. Через сайт АНРИ в ближайшее время будет открыт доступ к информационно-экспертной системе, предназначенной для проведения предварительной экспертизы и выдачи рекомендаций журналам, ведущим подготовку к выходу на международный уровень через включение в БД Scopus [17; 18] (Кириллова, 2015).

К сожалению, инициатива АНРИ до сих пор не получила всеобщего распространения при отсутствии интереса к этому со стороны официальных органов, но и никакой альтернативы до сих пор не появилось.

Важный вывод, который из этого можно сделать, что роль экспертизы в научном журнале постоянно подчеркивается, но механизмов ее развития и оценки не существует даже в планах.

Действительно, если изменить точку зрения, то по своей сути каждый научный журнал – это экспертный центр, осуществляющий оценки поступающих на рассмотрение научных работ. А каждый выпуск журнала – это фактически побочный продукт работы этого экспертного центра, то есть официальный отчет о том, какие материалы прошли экспертизу и введены в научный оборот.

И если рассматривать журнал с позиций экспертного центра, то можно увидеть ответы на многие вопросы, которые остаются не столь очевидными, пока мы ставим роль СМИ в научном журнале на первое место, а также становятся понятны цели, которые должны быть у научных журналов для повышения их качества.

Таким образом, можно выделить основные цели журнала, способствующие повышению уровня научной экспертизы:

1. Декларация границ тематической области, в которой осуществляется научная экспертиза (Aims & Scope в международных изданиях).
2. Декларация уровня выполняемой экспертизы (локальный, национальный, международный) и достаточность состава экспертов для выполнения этой функции.
3. Переход от оценок по KPI (ключевые показатели эффективности) к оценке по CPI (оценки работы с конечными заказчиками) _{(Чем плохи показатели KPI и какими метриками их можно и нужно заменить // Ведомости, 16 ноября 2020)}.

Такой подход дает ответы на многие вопросы, например, должны ли авторы платить за публикации или наоборот – получать гонорар, или как отличить хорошую рецензию от формальной отписки.

Дискриминация журналов открытого доступа
как показатель отсутствия системы оценки научных журналов

Одним из признаков, показывающих непроработанность национальной системы оценки научных изданий, можно считать скептическое отношение _{(Попасть в ядро // Российская газета — Федеральный выпуск № 19(7777) 29.01.2019)} и даже дискриминацию журналов открытого доступа. Это заключается в том, что до сих пор в дискуссиях можно услышать о журналах такие выражения, как «берут деньги с авторов», как негативную оценку их работы, хотя в мировой практике количество научных публикаций в открытом доступе стремительно возрастает, и на эту модель переходят крупнейшие международные издательства.

Стоит заметить, что в 2020 году издатели журналов Российской академии наук получили задание обеспечить размещение материалов, публикуемых в этих журналах, в открытом доступе _{(Лучшие статьи российских ученых из журналов РАН будут переводить на английский // ТАСС Наука, 21 АВГ 2020)}.

Это только один из примеров того, что система оценки научных журналов нуждается в совершенствовании.

Система публикации статей в открытом доступе возникла в связи со стремлением авторов предоставить результаты своих исследований широкому кругу читателей, а не только подписчикам определенного журнала. Читатели при таком доступе могут познакомиться с публикацией совершенно бесплатно, но журнал уже не может получить средства от подписчиков. Ключевым фактором стало то, что такая модель для научных журналов позволила получать более предсказуемый источник финансирования своей работы. «Основная же масса отечественной периодики получает столь малый доход по указанной статье, что он может не окупить затрат на стоимость самой подписки», – отмечают и российские исследователи [12] (Горелкин, 2016).

К сожалению, модель открытого доступа сразу освоили многочисленные мошенники с псевдонаучными журналами, в которых можно было опубликовать любые, даже совсем не научные материалы при условии оплаты публикационного взноса. Одним из аргументов «против» являются известные случаи снижения качества и объективности рецензирования поступающих в редакцию статей, публикацию которых авторы готовы оплачивать. Тем не менее, данные факты нельзя рассматривать с позиции несостоятельности FOA-модели научного журнала в целом [21] (Киселев, 2013).

Борьба с такими журналами началась со списка Джеффри Билла, в котором он предостерегал сотрудников от публикации в таких изданиях. «К признакам недобросовестных изданий относятся: дезинформация об индексирующих журнал системах и наличии импакт-фактора, использование собственных метрик (например, Google based impact factor), несоответствие места выпуска журнала географической локации, указанной в его названии и т. п.» [24] (Мазов, 2015). В дальнейшем эта работа была расширена, и сейчас можно говорить о довольно успешной борьбе с псевдонаучными (хищными) изданиями.

В то же время у модели открытого доступа есть множество преимуществ, например статьи в открытом доступе можно сразу же увидеть и оценить их уровень, это даст представление о научном уровне журнала. Стоимость публикационного взноса закладывается фондами уже на этапе финансирования всего исследования, поэтому европейские научные организации пропагандируют открытый доступ к таким публикациям, так как этот доступ уже оплачен самими этими организациями.

Среди этого есть множество положительных моментов, например, официальное признание модели журналов открытого доступа позволит повысить прозрачность процесса и контролируемость качества научных публикаций [2] (Абрамов, 2013). Открытый доступ также способствует распространению научных знаний: «перевод в открытый доступ уже в первый год почти в 100 раз увеличил количество скачивания полных текстов статей» [12] (Горелкин, 2016).

В научных публикациях можно встретить и подтверждения перспективности существования модели журналов открытого доступа, о том, что «целесообразно существенно увеличить мотивацию университетов к изданию научных журналов в открытом (бесплатном) доступе» [9] (Галеев, 2009). «Должна проводиться работа не по искоренению журналов открытого доступа, а по упорядочиванию их развития для достижения целей обмена научной информацией» [2] (Абрамов, 2013).

Отсутствие единой официальной позиции государственных служащих по отношению к журналам открытого доступа, их дискриминация в национальных базах данных и в то же время продвижение отдельного числа журналов открытого доступа – все это может служить признаками проявления недобросовестной конкуренции на российском рынке научной периодики, что не улучшает атмосферу развития системы научных коммуникаций.

Очевидно, что модель открытого доступа будет получать все более широкое распространение в мировой практике, она уже включена во многие программы развития университетов и фондов на фоне падения доходов от подписки на научные журналы.

Совершенствование системы оценки научных журналов позволит повысить уровень отечественных научных журналов без потери возможности их развития в соответствии с мировыми тенденциями.

Повышение качества российских научных
журналов за счет использования контроля качества «снизу»

Среди проблем журналов, входящих в Перечень ВАК, следует особое внимание обратить на одну очень яркую закономерность, она заключается в том, что некоторые журналы начинают очень сильно снижать качество публикуемых материалов, стоит им только оказаться в Перечне. Контроль за качеством журналов, входящих в Перечень, как правило, не производится. Вряд ли таким контролем можно считать отдельные случаи, когда журналы исключались из Перечня после громких скандалов.

Какого-либо «категорирования» (рейтингования) изданий, включенных в эти списки, ВАК не осуществляет [5] (Брумштейн, 2020).

В то же время оценка уровня всего Перечня обычно осуществляется по самому слабому звену, поэтому это и вызывает проблемы. Периодическая переоценка, судя по практическим результатам, не позволяет взять под контроль эту проблему. «Даже несколько журналов, наличие которых вызывает сомнения у экспертов, может дискредитировать весь список, что мы и видим на примере журналов» [3]. Таким образом, отдельные журналы могут негативно влиять на уровень всего Перечня в целом.

Сейчас для журналов разрабатываются разные общие методики. Страдают от них средние журналы, а наиболее хищные продолжают вести работу. Поэтому журналы, которые ориентируются на повышение качества, оказываются в неблагоприятном положении по отношению к тем, кто буквально стремится к выполнению всех показателей. Например, журналы, в которых тратится много сил на формирование достойного редакционного совета, поиск авторов и рецензирование статей, где организуются дискуссии действительно высокого научного уровня, не могут снижать сроки рассмотрения рукописей и затраты труда на каждую статью. А журналы, публикующие по 100–200 небольших статей каждый месяц, как раз показывают отличные результаты, сводя работу к минимально необходимым требованиям по проверке оригинальности. А именно такие отдельные случаи и вызывают сомнения в качестве всего Перечня.

Проблемой оказывается постоянно используемый подход к внедрению единой высокой планки. К сожалению, в итоге это отбрасывает систему назад, поскольку сильнее всего ударяет, по новым качественным изданиям, так как именно им требуется поддержка. А закрытие таких журналов не позволяет создавать специализированные научные центры и поддерживать научные школы. Возникает следующий парадокс – если мы зададим сразу высокую планку оценки, то отсечем новые журналы. Если же планка будет достаточно низкой и останется на долгое время, то это приведет к падению общего уровня.

Для повышения уровня журналов, входящих в Перечень ВАК, можно вносить отдельные элементы оценки научных журналов в международных базах данных в российскую практику, об этом сообщали исследователи в разные годы. «Сам перечень необходим, но требования к его составлению должны быть пересмотрены, а за образец можно взять ISI» [28] (Михайлов, 2008). «Авторитет международно признанных баз данных научного цитирования журналов Scopus и Web of Science практически безупречен и методика оценки качества научных журналов, применяемая в процессе отбора журналов для индексирования в них, считается наиболее совершенной» [23] (Лоскутова, 2017). Но буквально несколько лет спустя, после выявления множества хищных журналов эти мнения уже не кажутся единственно верными.

Также следует иметь в виду, что любая база данных становится ограничением для развития системы научной периодики, но развитие этой системы должно быть одной из важных целей, так же как и повышение качества научных публикаций. «Здесь хочется согласиться с О.Г. Еременко и А.Я. Назаренко, по их словам, проблема заключается в том, что списки из инструмента статистической оценки превращаются в инструмент административного влияния и давления на ученых, так как «научные чиновники» начинают различными способами «стимулировать» исследователей публиковаться только в журналах из «хорошего» списка» [23] (Лоскутова, 2017).

Поэтому решением проблемы может быть планомерная работа по постепенному внедрению новых требований к научным журналам, формирование терминологической области и нормативной базы и оценка журналов по большему числу критериев, среди которых должны быть и проверки эвристическими методами, а не только с использованием установленных ранее критериев.

Одним из таких эвристических методов может быть некий аналог системы РАДАР, которая используется в БД SCOPUS. Она ориентирована на то, чтобы в режиме реального времени выявлять наиболее подозрительные журналы в определенной научной отрасли для их последующего анализа и выявления качеств, которые можно было бы признать негативными для всех журналов.

Также одним из методов развития системы научных коммуникаций в рамках изучения уровня научного журнала как экспертного центра может стать оценка журналов по декларируемым целям, тематической области и характеру публикуемых материалов при строгих формальных ограничениях. Такой подход соответствует наиболее рискованной стратегии, но при открытом характере процесса это может дать сильный импульс развитию высококачественных научных изданий в России и создать ту самую благоприятную среду для развития системы научных коммуникаций.

Заключение

Сейчас развитие системы научных коммуникаций переживает переломный момент. От того, какие решения будут приняты в отношении стратегии ее будущего развития, будет зависеть положение внутренней российской науки. При этом стоит учесть обоснованные решения по итогам настоящего исследования:

1. Перечень ВАК должен продолжить свое существование в каком-либо виде, так как нужна национальная база научных журналов не только для публикации основных результатов диссертационных исследований, но и для публикации результатов исследований научных работников и профессорско-преподавательского состава.
2. Список журналов RSCI не может быть полной заменой Перечня ВАК в части публикации результатов диссертационных исследований, так как у этих перечней разные цели. Журналы для RSCI отбираются из числа 25 % лучших российских изданий, но вхождению в эти 25 % способствует привлечение наиболее опытных авторов, а не тех, кто только делает первые шаги в профессиональной науке.
3. У России должна быть собственная база журналов для оценки текущей публикационной активности, которая формировалась бы с учетом требований международного уровня, но с соответствием национальным интересам, в которой оценка производилась бы без решающего значения цитирований из зарубежных баз данных и коммерческого интереса к тематике журнала на мировом рынке.
4. Необходим переход от оценки по KPI (показатели цитируемости) к показателям CPI (соответствие публикаций национальным целям).
5. Необходима стратегия постоянного совершенствования национальной базы журналов и требований к качеству научных изданий, но с постепенным вводом новых требований для закрепления полученных результатов.

Все это позволит в обозримом будущем (в течение 5–10 лет) перейти к использованию российской базы научных журналов высокого уровня для решения национальных вопросов, не теряя возможности достижения государственных целей в международной системе научных коммуникаций.

Остается вопрос – кто должен заняться формированием этой российской базы научных журналов.

Нормативные документы, использованные в работе:

1. Приказ Минобрнауки России от 12.12.2016 N 1586 (ред. от 12.02.2018) «Об утверждении правил формирования перечня рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук, и требований к рецензируемым научным изданиям для включения в перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук» (Зарегистрировано в Минюсте России 26.04.2017 N 46507) http://www.consultant.ru/document/cons_doc_LAW_216187/.
2. Постановление Правительства РФ от 24.09.2013 N 842 (ред. от 01.10.2018, с изм. от 26.05.2020) «О порядке присуждения ученых степеней» (вместе с «Положением о присуждении ученых степеней») http://www.consultant.ru/document/cons_doc_LAW_152458/.
3. Регламент библиографической базы данных RUSSIAN SCIENCE CITATION INDEX (Редакция от 09 октября 2018 года) https://elibrary.ru/projects/rsci/reglament_RSCI.pdf.
4. Сан-Францисская декларация об оценке научных исследований (DORA) https://sfdora.org/read/read-the-declaration-p%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0%B9/
5. Указ Президента Российской Федерации от 7 мая 2018 года «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года» [Электронный ресурс]. – 2018. – URL: http://kremlin.ru/events/president/news/57425 (дата обращения 09.04.2019).
6. Национальный проект «Наука» (2019-2024 годы). Утвержден Президиумом Совета при Президенте РФ по стратегическому развитию и национальным проектам – Протокол от 24 декабря 2018 года № 16). // URL: www.consultant.ru/document//cons_doc_LAW_31304/ (дата обращения 02.02.2020).
7. Закон РФ от 27.12.1991 N 2124-1 (ред. от 30.12.2020) «О средствах массовой информации» (с изм. и доп., вступ. в силу с 01.01.2021) http://www.consultant.ru/document/cons_doc_LAW_1511/.

Библиографический список

1. Абрамов Е.Г. // Что мы издаем: JOURNAL или MAGAZINE? // Научная периодика: проблемы и решения. 2012. № 2 (8). С. 4–7. url: https://www.elibrary.ru/item.asp?id=17704695.
2. Абрамов Е.Г. Признание модели журналов открытого доступа как способ повышения качества научных публикаций в России // Научная периодика: проблемы и решения. 2013. № 2 (14). С. 4–8. url: https://www.elibrary.ru/item.asp?id=19013564.
3. Абрамов Е.Г. Наукометрия – колосс на глиняных ногах // Информация и инновации. 2016. № 1. С. 12–14. url: https://www.elibrary.ru/item.asp?id=29095525.
4. Алимова Н.К. Подготовка журнала и документов для подачи в Перечень ВАК // Научная периодика: проблемы и решения. 2017. Т. 7. № 3. С. 180–192. url: https://www.elibrary.ru/item.asp?id=32687404 DOI: 10.18334/nppir.7.3.38362.
5. Алимова Н.К., Брумштейн Ю.М. Состав редколлегий ведущих российских научных журналов: анализ подходов к формированию и организации работы в современных условиях // Научная периодика: проблемы и решения. 2020. Т. 9. № 1–2. С. 1. url: https://www.elibrary.ru/item.asp?id=44438845.
6. Аляева Ю.В., Емелин Н.М. Алгоритм оценки достаточности журналов, входящих в перечень рецензируемых научных изданий // Известия Института инженерной физики. 2019. № 4 (54). С. 98–100.
7. Беляева С. Естественным путём. Как продвигать российские журналы? // Поиск. 2018. № 45.
8. Власов В.В., Леонов В.П., Мельниченко Г.А., Реброва О.Ю. ВАК-2007: новый председатель и старые проблемы. Кто кого? // Клиническая и экспериментальная тиреоидология. 2007. Т. 3. № 1. С. 2–7. url: https://www.elibrary.ru/item.asp?id=17942783.
9. Галеев И.Х. Информационно-образовательное пространство России и «перечень» журналов // Высшее образование в России. 2009. № 10. С. 15–23. url: https://www.elibrary.ru/item.asp?id=12923683.
10. Гейдаров П.Ш. О способах и методах борьбы с оплаченными научными статьями // Науковедческие исследования. 2018. № 2018. С. 89–102. url: https://www.elibrary.ru/item.asp?id=36601326 DOI: 10.31249/scis/2018.00.06.
11. Горбунова А.С., Засурский И.И., Трищенко Н.Д. Соответствие новых научных платформ формальным требованиям, предъявляемым к научным публикациям // Наука и научная информация. 2020. Т. 3. № 2–3. С. 207–218. url: https://www.elibrary.ru/item.asp?id=44217230, DOI: 10.24108/2658-3143-2020-3-2-3-207-218.
12. Горелкин В.А. Факторы, препятствующие развитию российских научных журналов: взгляд из провинции // В сборнике: Научное издание международного уровня – 2016: решение проблем издательской этики, рецензирования и подготовки публикаций. 2016. С. 88–100. url: https://www.elibrary.ru/item.asp?id=26546533.
13. Гринёв А.В. Использование наукометрических показателей при оценке публикационной активности в современной России // Вестник Российской академии наук. 2019. Т. 89. № 10. С. 993–1002. url: https://www.elibrary.ru/item.asp?id=41210166, DOI: 10.31857/S0869-58738910993-1002.
14. Грудцына Л.Ю. Реформирование системы аттестации научных и научно-педагогических кадров: некоторые предложения // Государство и право. 2013. № 3. С. 5–19. url: https://www.elibrary.ru/item.asp?id=18968704.
15. Дрогобыцкий И.Н. Системная реструктуризация научных экономических специальностей // Экономическая наука современной России. 2018. № 2 (81). С. 143–154. url: https://www.elibrary.ru/item.asp?id=35235324.
16. Карулин В.П., Аляева Ю.В. Системные механизмы оценки соответствия научных изданий предъявляемым требованиям // Известия Института инженерной физики. 2020. № 1 (55). С. 54–57. url: https://www.elibrary.ru/item.asp?id=42335775.
17. Кириллова О.В. Первые шаги и задачи Российской ассоциации научных редакторов и издателей // В сборнике: Научное издание международного уровня – 2015: современные тенденции в мировой практике редактирования, издания и оценки научных публикаций. Материалы 4-й Международной научно-практической конференции. Ответственный редактор О.В. Кириллова. 2015. С. 64–66. https://www.elibrary.ru/item.asp?id=23791229.
18. Кириллова О.В. Конкурс программ развития журналов как зеркало состояния редакционно-издательской системы российской научной периодики // Научная периодика: проблемы и решения. 2015. Т. 5. № 2. С. 56–74. https://www.elibrary.ru/item.asp?id=23409994.
19. Кирпичников М. ВАК: защита высоких стандартов в науке // Acta Naturae (русскоязычная версия). 2009. Т. 1. № 1. С. 6–11. url: https://www.elibrary.ru/item.asp?id=15113850.
20. Киселев А.А. РИНЦ как перспектива и проблема развития научно-издательской активности отечественных исследователей // Альманах мировой науки. 2018. № 3 (23). С. 218–220. url: https://www.elibrary.ru/item.asp?id=36328136.
21. Киселев А.Р. Перспективы развития научных неВАК-журналов в России // Бюллетень медицинских интернет-конференций. 2013. Т. 3. № 8. С. 1034–1037. url: https://www.elibrary.ru/item.asp?id=20189976.
22. Лисичкина Н.В. Проблематика общественного регулирования редакционно-издательской деятельности в научной сфере // Образование и наука без границ: фундаментальные и прикладные исследования. 2019. № 10. С. 235–242. url: https://www.elibrary.ru/item.asp?id=41391657, DOI: 10.36683/2500-249X-2019-10-235-242.
23. Лоскутова Т.А. Современные подходы к оценке качества российских научных журналов // Baikal Research Journal. 2017. Т. 8. № 1. С. 16. url: https://www.elibrary.ru/item.asp?id=28959952 DOI: 10.17150/2411-6262.2017.8(1).16.
24. Мазов Н.А., Гуреев В.Н. Публикации любой ценой? // Вестник Российской академии наук. 2015. Т. 85. № 7. С. 627. url: https://www.elibrary.ru/item.asp?id=23663213.
25. Мазов Н.А., Гуреев В.Н. Место журналов RUSSIAN SCIENCE CITATION INDEX в рейтинговом списке журналов РИНЦ // В сборнике: КНИГА. КУЛЬТУРА. ОБРАЗОВАНИЕ. ИННОВАЦИИ «КРЫМ-2017». Материалы Третьего Международного профессионального форума. Государственная публичная научно-техническая библиотека России. 2017. С. 1–6. url: https://www.elibrary.ru/item.asp?id=29360903.
26. Мазов Н.А., Гуреев В.Н., Каленов Н.Е. Некоторые оценки списка журналов Russian Science Citation Index // Вестник Российской академии наук. 2018. Т. 88. № 4. С. 322–332. url: https://www.elibrary.ru/item.asp?id=32809038 DOI: 10.7868/S0869587318040047.
27. Михайлов О.В. «Ваковские» журналы: qui prodest? // Вестник Российской академии наук. 2008. Т. 78. № 12. С. 1075–1077. url: https://www.elibrary.ru/item.asp?id=11634324.
28. Михайлов О.В. Феномен «ваковские журналы» в системе аттестации кадров высшей квалификации РФ // Высшее образование в России. 2014. № 6. С. 94–101. url: https://www.elibrary.ru/item.asp?id=21670195.
29. Москалева О.В. // РИНЦ и RSCI – дополнение или замена? // В сборнике: Научное издание международного уровня – 2016: решение проблем издательской этики, рецензирования и подготовки публикаций. 2016. С. 195–201. url: https://www.elibrary.ru/item.asp?id=26546546.
30. Осипов М.Ю. О некоторых проблемах включения российских журналов в RSCI // Философия науки. 2016. № 3 (70). С. 135–145. url: https://www.elibrary.ru/item.asp?id=26744587.
31. Плешкевич, Е.А. Перспективы развития библиотечной науки в свете выхода нового Перечня рецензируемых журналов и изданий / Е.А. Плешкевич // Вестник культуры и искусств. – 2019. – № 1 (57). – С. 7–13. url: https://www.elibrary.ru/item.asp?id=37212696.
32. Рубинштейн А.Я. Не РИНЦем единым! // Журнал новой экономической ассоциации. 2019. № 4 (44). С. 245–259. url: https://www.elibrary.ru/item.asp?id=41764230, DOI: 10.31737/2221-2264-2019-44-4-13.
33. Сидорова В.В. Использование РИНЦ для оценки научной деятельности гуманитариев // Сибирские исторические исследования. 2016. № 1. С. 27–39. url: https://www.elibrary.ru/item.asp?id=25984417.
34. Третьякова О.В. Оценка журналов RSCI по экономическим наукам в контексте создания национального индекса цитирования // Вестник Российской академии наук. 2020. Т. 90. № 4. С. 364–380. DOI: 10.31857/S0869587320040143url: https://www.elibrary.ru/item.asp?id=42773618.
35. Третьякова О.В. Развитие национального индекса цитирования как условие формирования системы оценки результатов научной деятельности // Экономические и социальные перемены: факты, тенденции, прогноз. 2015. № 1(37). С. 230–245.
36. Функ Д.А. Наукометрия в оценке качества публикаций в социальных и гуманитарных науках // Сибирские исторические исследования. 2016. № 1. С. 8–26. url: https://www.elibrary.ru/item.asp?id=25984416.
37. Цветкова В.А., Мохначева Ю.В. Научная среда и публикационная активность: риски библиометрических оценок // Культура: теория и практика. 2020. № 2 (35). С. 11. url: https://www.elibrary.ru/item.asp?id=42691616.