2022 №1-2 - перейти к содержанию номера...

Постоянный адрес этой страницы - https://nppir.ru/05np122.html

Ссылка для цитирования этой статьи:

Павлов А.А. Список источников как инструмент оценки качества научной статьи // Научная периодика: проблемы и решения, 2022 №1-2, https://nppir.ru/05NP122.html (доступ свободный). Загл. с экрана. Яз. рус., англ.

Список источников как инструмент оценки качества научной статьи

Павлов Александр Анатольевич
ООО «Издательство «Мир науки», Москва, Россия
Заместитель генерального директора
E-mail: pavlov@mir-nauki.com
ORCID: https://orcid.org/0000-0003-3811-2166

Список источников является неотъемлемой частью научной статьи. Возможно, это важнейшая часть после текста статьи и ее заглавия – именно список источников позволяет понять, на что опирался автор, проводя свое исследование. Важен список источников и с наукометрической точки зрения, ведь именно благодаря ему учитываются цитирования.

Трудов, в той или иной мере рассматривающих списки источников научных статей, существует довольно много. Они посвящены оформлению списков источников [1, 2, 3, 4, 5]. Довольно много публикаций посвящено и наукометрической стороне вопроса, оценке качества журналов [6, 7, 8, 9, 10, 11]. В одной из работ Брумштейна Ю.М. оценена деятельность систем анализа цитирования научных работ с позиций авторского права [12].

Обращаясь к вопросу с точки зрения редактора научного периодического издания, хотелось бы задуматься над тем, можно ли использовать список источников как один из инструментов оценки качества научной статьи. Что можно узнать, если внимательно всмотреться в список источников? Насколько глубока кроличья нора?

Подготовка к работе

Начать анализ стоит с придания рассматриваемому списку наглядности. Это особенно полезно, если список источников большой – на несколько десятков позиций. Увидеть общую картину, глядя на список источников в виде простого текста, в этом случае может быть непросто.

Хорошо использовать для этого таблицу – подойдет любой табличный процессор, Excel, Google Docs и т.п. Создать таблицу можно и в текстовом редакторе – как удобнее. Главное здесь результат.

Поместив в каждую строку таблицы один источник, соседние столбцы можно заполнить такими данными, как тип источника, год его публикации (и возраст), является ли источник самоцитированием, отдельно можно указать его URL (в процессе верификации, об этом чуть ниже) и т.п.

Рис. 1. Пример заполненной таблицы

Я выделяю различным цветом сами источники – зеленый цвет для научных статей, желтый – для книг и монографий, голубой – для статей в сборниках, красный – для источников, которые согласно требованиям журнала не следует включать в список (рис. 1).

Отдельными цветами выделяется и возраст публикации от зеленого (не старше пяти лет) до черного (старше 30 лет).

Следует понимать, что это НЕ инструмент оценки списка источников. Это инструмент для получения наглядности.

Однако, приведение списка источников в наглядный вид уже нередко порождает некоторые вопросы – ведь глядя на подобную таблицу гораздо легче увидеть какие-то закономерности.

Например – обилие «возрастных» источников, излишнее самоцитирование, или, допустим, обилие ссылок на материалы конференций и отсутствие ссылок на научные статьи и т.п.

Само по себе это ни о чем не говорит, но благодаря этому статья может уйти на рецензирование с просьбой к рецензенту обратить внимание на подобный факт, что нередко оказывается полезным.

Заполняя таблицу удобно параллельно верифицировать источники.

Верификация списка источников

В общем случае под верификацией источников понимают процесс, который позволяет редактору убедиться в том, что все статьи, книги, монографии и т.п. источники, процитированные автором:

1. на самом деле существуют;
2. верно указаны их заглавия, авторский состав, названия журналов или сборников и все другие присущие источникам «реквизиты»;
3. в отношении статей – будет не лишним убедиться в том, что они не ретрагированы.

В современных условиях и с практической точки зрения это значит, что необходимо найти информацию об упомянутой автором публикации на просторах сети Интернет (а заодно и добавить к источнику URL, если автор не потрудился этого сделать).

Далеко не все публикации есть в открытом доступе, но убедится в том, что упомянутая автором статья действительно была опубликована, а книга издана, как правило, не составляет труда, даже в отношении довольно возрастных источников.

Рассмотрим некоторые тонкости:

Статьи в рецензируемых изданиях

В большинстве случаев, найти информацию о статье довольно просто. Достаточно ввести в поисковую систему ее заглавие и фамилию автора, чтобы найти статью на сайте журнала или на eLibrary. Это касается и зарубежных публикаций (только найдутся они не на eLibrary, а на сайте Springer, Elsevier, MDPI и т.д.).

Очень важно найти информацию о статье именно в надежном источнике. В некоторых случаях поиск выдает ссылки на такие ресурсы, как researchgate.net, semanticscholar.org, «Академию Google» или «Киберленинку». В таком случае желательно все-таки найти статью на сайте журнала или на eLibrary, чтобы убедиться в том, что она не ретрагирована. Так как перечисленные выше ресурсы (как и многие подобные им) не всегда предоставляют актуальную информацию. Часто, благодаря им можно узнать DOI статьи, и выйти на сайт журнала через него.

Если поисковик не нашел ничего вообще, действуйте через журнал – найдите его сайт или страницу на eLibrary, и попытайтесь отыскать статью не поиском, а по тем реквизитам (год, том, номер, страницы) которые указал автор. Часто статью получается найти именно так.

Алгоритмы поисковых систем загадочны, подчас даже сами их создатели затрудняются объяснить те или иные явления. Так что не стоит полагаться на них слепо. Ищите обходные пути. Например, в самых трудных случаях, с помощью поисковика вы сможете найти другие публикации, которые цитируют ту статью, которую вы ищите. Не редко из этих ссылок удается почерпнуть ту или иную ценную информацию.

Книги и монографии

Субъективно, верификация книг более проста, по сравнению с верификацией статей. Информация о львиной доле отечественных источников есть в РГБ (в том числе находится и поисковиками) или на eLibrary.

Нередко удается найти оцифрованный вариант бумажной книги. Оставим в стороне морально-этический аспект этого вопроса – нам надо убедится, что упомянутая автором книга в действительности существует – и это довольно надежный вариант.

Помимо этого, книги находятся на сайтах комиссионок, интернет-аукционов, торговых площадок (вроде «Авито», Amazon и подобных) и т.п.

Статьи в сборниках трудов конференций, симпозиумов и т.д.

А это, в свою очередь, пожалуй, самый сложный для верификации тип источников. Начать стоит, конечно, с попытки найти статью или доклад напрямую.

Результаты могут быть самыми различными – материалы могут найтись на eLibrary, расписанные постатейно, с присвоенными DOI. Или сборник может быть опубликован в открытом доступе. А может быть он издан тиражом 100 экземпляров и благополучно «почил» в ящиках столов авторов (а стоит ли цитировать такое вообще?).

Совет здесь такой же, как и при поиске статей в рецензируемых изданиях. Не можете найти статью или доклад – попробуйте найти сборник. Нередко это приносит успех.

Если не можете найти сборник – попробуйте найти организатора конференции (ВУЗ или другую организацию), и уже через их сайты выйти на сборник, иногда получается именно так.

Общие рекомендации

Общие рекомендации касаются сложных случаев, когда найти информацию об источнике не получается.

Разумеется, стоит попробовать разные поисковые системы. Зачастую дело обходится «Яндексом» и Google, но иногда выручают и менее популярные поисковые системы – например поиск на Bing, DuckDuckGo и т.п.

Попробуйте поискать по сайтам электронных библиотек, таких как «Знаниум», «Лань» и т.п. Даже если вы там не зарегистрированы и не имеете доступа, общую информацию о книге или сборнике получить удастся. Стоит отметить, что «большие» поисковые системы, как правило, позволяют быстрее получить релевантный результат, но, когда они оказываются бессильны, иногда удаётся найти что-то и таким способом.

В некоторых особо сложных случаях, имеет смысл подождать день-два и снова попробовать поискать источник в поисковиках – как я писал выше, их алгоритмы сложны и непредсказуемы. И результаты поиска, которые вы получаете по тому или иному запросу, могут измениться.

Если вы ищите книгу или сборник, и автор в ссылке указал издательство – попробуйте зайти с этой стороны. Это неактуально для старых источников (упомянутых издательств в этом случае, зачастую, уже попросту нет). Да и не все издательства публикуют на своих сайтах информацию об опубликованных изданиях, особенно бумажных. Но иногда этот путь оказывается верным.

И наконец, в том случае, если вообще никакой информации о статье найти не удалось, всегда остается, казалось бы, самый простой и надежный вариант – спросить у автора.

Результаты верификации

Ограничиваться в интерпретации результатов только тем, верифицировался в итоге источник или нет, пожалуй, не стоит.

Противовесом той ситуации, когда все источники удалось верифицировать, нельзя назвать ситуацию «все источники верифицировать не удалось» — такого практически никогда не бывает.

Если говорить о верификации источников с точки зрения оценки качества научной статьи, то здесь большую роль играет как раз этап взаимодействия с автором по источникам, которые вызвали вопросы.

Согласитесь, ситуация, когда автор «защищает» свои источники и помогает уточнить все необходимые данные по ним, сильно отличается от ситуации, когда проблемный источник автор просто-напросто предлагает убрать.

Если автор затруднится предоставить требуемую информацию, можно сделать предположение о том, что с источниками он не работал, что, конечно же, негативно сказывается на общей оценке статьи.

Связанность источников с тематикой статьи и контекстом

Так работал автор с источниками или нет? Понять это очень просто, стоит оценить связанность источников с тематикой статьи, и уместность того контекста, в котором они упоминаются.

Это, пожалуй, наиболее важный показатель. Разумеется, это уже может превратится в задачу для рецензента. Между тем, подчас не надо обладать какими-либо специальными знаниями, чтобы заметить проблемы.

Несоответствие источника контексту

Текст статьи:

По данным кубиковой прочности устанавливают марку бетона. применяют тяжелые бетоны марок 150, 200, 250, 300, 400, 500 и 600 (бетон марки 150 —только для бетонных конструкций). Для предварительно напряженных конструкций применяют, как правило, тяжелый бетон марок не ниже 300 [4].

Список источников:

4. Кузьмичева, Е. В. Социальная эффективность работы спортивных сооружений / Е. В. Кузьмичева // Теория и практика физической культуры. – 2016. – № 4. – С. 27-29.

Комментарий, думаю, излишни. Я, конечно, нашел упоминаемую статью, и заглянул в нее, чтобы убедиться в том, что ни слова о бетонах в ней нет.

Несоответствие источника тематике статьи

В статье о прочности дорожных покрытий:

Filli, L. and Schwab, M.E. (2012), The rocky road to translation in spinal cord repair. Ann Neurol., 72: 491-501. https://doi.org/10.1002/ana.23630

(примерный перевод – «Трудная дорога к восстановлению спинного мозга»)

В статье про неравномерную осадку зданий и сооружений:

Armando Simón (2018) Will evolutionary psychology become extinct? Evolutionary psychology as the Leaning Tower of Pisa, Journal of Human Behavior in the Social Environment, 28:7, 928-935, DOI: 10.1080/10911359.2018.1482810

(примерный перевод – «Исчезнет ли эволюционная психология? Эволюционная психология как Пизанская башня»).

Подозреваю, что в приведенных примерах авторы просто искали источники по некоторым ключевым словам, а затем включили их в свои списки не глядя.

Несоответствие источников по времени

Текст статьи:

Результаты современных исследований [1] говорят о том, что….

Список источников:

1. Koh H.-M., Chang S.P., Kim S.-K., Kim C.-Y., Kim W.J. Development and application of health monitoring system for bridges in Korea. In: Proc. First Int. Conf. on Bridge Maintenance, Safety and Management, IABMAS 2002, Barcelona, 14–17 July, 2002. Barcelona: IABMAS; 2002.

Безотносительно оценки качества самого источника – 2002 год ну никак не тянет на «современные» исследования. Безусловно, бывают и такие случаи, когда более новых исследований и правда нет, но стоит ли в таком случае называть их современными?

Результаты проверки связанности источников с тематикой статьи и контекстом

Здесь сложно дать какие-либо четкие рекомендации. Редактору следует ориентироваться как на качество, так и на количество найденных несоответствий.

Если странностей немного – можно задать вопрос автору, или обратить внимание рецензента на найденные моменты.

В том случае, если большинство источников не соответствуют статье или контексту, в котором они упоминаются, можно задуматься об отклонении статьи.

Поиск схожих списков источников

Проверяя уникальность научной статьи, мы можем обнаружить совпадения в проверяемом тексте и других статьях. Опыт показывает, что в отношении списка источников тоже бывает полезным провести подобную процедуру.

Конечно, речи об оценке уникальности списка источников не идет. Цель — найти статьи, имеющие схожие или идентичные списки источников.

В каком случае стоит проводить процедуру поиска схожих писков источников?

На этот счет нет четких рекомендаций. Можно проверять все статьи, можно лишь те, которые показались редактору подозрительными.

Я в своей работе руководствуюсь наличием определенных признаков, обнаружив которые делаю вывод о необходимости проведения подобной проверки. Перечислю их:

1. В списке источников много ссылок на «возрастные» публикации. Особое внимание следует уделить случаям, когда прослеживается определенный «срез» в датах публикации источников. Например, много источников 2008 – 2009 годов, а более новых нет. Это может быть признаком того, что перед вами рерайт или перевод, а исходная статья была опубликована, допустим, в 2010 году.
2. Список источников целиком состоит из ссылок на публикации на иностранном языке. Нет ничего предосудительного в том, чтобы ссылаться на иностранные источники, однако, это довольно характерная черта для переводных статей.
3. В списке источников есть большая группа «возрастных» ссылок или ссылок на иностранные публикации. То есть, например, список источников состоит из нескольких ссылок на материалы, опубликованные недавно, а затем идут ссылки на «возрастные» материалы. Или же в начале списка источников приведен ряд ссылок на русскоязычные материалы, а затем идут исключительно ссылки на материалы на иностранном языке. Такая картина получается, когда во время рерайта, перевода или просто повторной публикации статью стараются немного «подогнать» под современные «реалии» или адаптировать к текущим условиям. При этом, зачастую, переписывается часть, посвященная актуальности исследования, в результате чего в списке источников и получается такое вот характерное расслоение на новые и старые, или русскоязычные и иностранные источники.

Как провести поиск схожих списков источников?

Для этого можно прибегнуть к помощи системы «Антиплагиат». Проверив список источников можно получить вполне наглядный результат:

Рис. 2. Просмотр отчета системы «Антиплагиат»

Более удобным в данном случае является просмотр отчета в режиме «Исходный вид». Как можно увидеть в данном примере, система «Антиплагиат» обнаружила совпадения со списками источников двух диссертаций, схожих по тематике с рассматриваемой статьей. Опыт показывает, что требующими внимания можно считать совпадения от 40% и выше (именно по списку источников!). Разумеется, в первую очередь с научными статьями. В случае с диссертациям или другими типами публикаций, при высокой степени совпадения, тоже требуется некоторое внимание — например, стоит посмотреть отчет проверки текста статьи, чтобы проконтролировать наличие совпадений и в тексте.

Проверку списка источников можно проводить вместе с текстом статьи или отдельно от него.

Вариант, когда проверка проводится отдельно, имеет смысл рассмотреть, например, в том случае, если рассматриваемый список источников большой, а проверить надо его определенную часть, которая показалась подозрительной. Или в других подобных ситуация — когда список источников уже кажется вам подозрительным и вы начали под него «копать». Результат в данном случае будет более наглядным, но потребует потратить дополнительную проверку.

В других случаях стоит прибегнуть к совместной проверке текста статьи со списком источников. Наличие списка источников не повлияет на уникальность статьи, так как библиография автоматически исключается из результатов.

Рис. 3. Просмотр отчета системы «Антиплагиат» при совместной проверки текста статьи и списка источников

Для того, чтобы увидеть найденные совпадения именно в списке источников, следует найти соответствующий блок среди найденных системой источников:

Рис. 4. Блок библиографии в результатах проверки

И, убрав галочку, нажать кнопку «Пересчитать».

Рис. 5. Просмотр отчета системы «Антиплагиат» при совместной проверки текста статьи и списка источников после отключение библиографии и пересчета результатов

В приведенном выше примере можно обратить с 10-го по 14-й, которые совпали со списком источников одной из глав книги “Space and Place – Two Aspects of the Human-landscape Relationship”, а статья в итоге оказалась частичным переводом этой главы.

Что можно найти в результате подобной проверки?

Если в результате подобной проверки нашлись статьи, список источников которых полностью или в значительной мере совпадает со списком источников рассматриваемой статьи, следует внимательно рассмотреть их. Безусловно, вы можете увидеть просто-напросто статьи на схожую тематику. Но – далеко не только их, например, можно обнаружить:

Исходную статью, перевод которой вы сейчас рассматриваете

Нечистые на руку авторы нередко пробуют опубликовать переводы. Но, как уже упоминалось выше, переведя текст статьи, далеко не все утруждают себя сделать хоть что-нибудь со списком источников – вот за этот «хвостик» и можно поймать перевод, если провести поиск схожих списков источников.

Исходную статью, рерайт которой вы сейчас рассматриваете

В случае с рерайтом, часто срабатывает то же правило, что и с переводами – поработав с текстом статьи, список источников, зачастую, оставляют неизменным или почти неизменным.

Другую статью того же автора с идентичным или похожим списком источников

Что может являться вполне объяснимым и обыденным, если автор пишет цикл статей, или статьи, описывающие различные аспекты одного и того же исследования. Если же статьи различаются по тематике, то это может говорить о том, что автор не работал с источниками.

Статью другого автора с идентичным списком источников

Список источников, как ни странно, нередко становится объектом заимствований. Это опять-таки вызывает вопрос о том, работал ли автор с источниками.

Заключение

Хороший список источников рождается в процессе работы над статьей, а не отдельно от него. Его соответствие тематике статьи, связанность с контекстом – безусловно говорят о ее качестве.

Вряд ли можно выводить это как самостоятельную оценку – это лишь один из показателей, причем не такой конкретный, как уникальность статьи. Он, если так можно сказать, носит дискуссионный характер и может встать в один строй с оценкой актуальности работы и общим мнением рецензента.

Пристальный взгляд на список источников также может позволить выявить различные неэтичные практики, в частности, попытку повторной публикации материалов, публикации рерайтов и переводной плагиат.

Включение в общий редакционной процесс более детального рассмотрения списков источников поступающих рукописей может быть полезной практикой.

ЛИТЕРАТУРА

1. Жучков, А. А. Проблема обеспечения единообразия в оформлении библиографических ссылок / А. А. Жучков // Образование и наука без границ: фундаментальные и прикладные исследования. – 2017. – № 5. – С. 271-272. – EDN ZXHJMD.
2. Брумштейн, Ю. М. Списки использованных источников научных статей в российских журналах: анализ правил редакций и практики действий авторов / Ю. М. Брумштейн // Научная периодика: проблемы и решения. – 2016. – Т. 6. – № 4. – С. 153-174. – DOI 10.18334/nppir.6.4.37135. – EDN ZBGHEB.
3. Зеленский, А. Э. Проблема оформления списка библиографической информации / А. Э. Зеленский, И. Е. Трофимов // Современные научно-практические достижения: Сборник материалов Международной научно-практической конференции, Кемерово, 05–06 мая 2015 года / Западно-Сибирский научный центр; Кузбасский государственный технический университет имени Т.Ф. Горбачева. – Кемерово: Кузбасский государственный технический университет им. Т.Ф. Горбачева, 2015. – С. 116-118. – EDN TZMIWN.
4. Бусыгина, Т. В. Программные средства формирования списков литературы в научной и образовательной деятельности / Т. В. Бусыгина, Л. А. Мандринина // Труды ГПНТБ СО РАН. – 2015. – № 8. – С. 118-126. – EDN UNWVIZ.
5. Пинаев, А. В. Автоматизированное создание библиографического списка / А. В. Пинаев, Н. Я. Салангина // Вестник научного общества студентов, аспирантов и молодых ученых. – 2015. – № 3. – С. 159-163. – EDN TYFUIX.
6. Брумштейн, Ю. М. Влияние развития информационных технологий на особенности использования ссылок в российских научных журналах и методы оценки на основе них наукометрических показателей / Ю. М. Брумштейн // Научная периодика: проблемы и решения. – 2016. – Т. 6. – № 2. – С. 60-80. – DOI 10.18334/nppir.6.2.35647. – EDN WHJURJ.
7. Категории и критерии оценки российских журналов и программы их развития / О. В. Кириллова, А. Ю. Кузнецов, А. В. Диментов [и др.] // Научная периодика: проблемы и решения. – 2014. – № 5(23). – С. 20-34. – EDN TAHCQP.
8. Цыганов, А. В. Краткое описание наукометрических показателей основанных на цитируемости / А. В. Цыганов // Управление большими системами: сборник трудов. – 2013. – № 44. – С. 248-261. – EDN RDQBNT.
9. Куракин, Д. В. Об оценке качества журналов, статей и публикационной активности персоналий / Д. В. Куракин // Информатизация образования и науки. – 2013. – № 3(19). – С. 86-94. – EDN QCSYGD.
10. Елин, А. Л. Заметки к вопросу об эффективности использования различных наукометрических показателей и критериев эффективности научных исследований / А. Л. Елин, Ю. Ю. Шапошников // Научная периодика: проблемы и решения. – 2013. – № 3(15). – С. 4-12. – EDN QLJFNF.
11. Ефимова, Г. З. Анализ эффективности наукометрических показателей при оценке научной деятельности / Г. З. Ефимова // Вестник Тюменского государственного университета. – 2012. – № 8. – С. 101-108. – EDN PHNWGV.
12. Брумштейн, Ю. Научные статьи: особенности цитирования, использования ссылок, формирования библиографических списков / Ю. Брумштейн // Интеллектуальная собственность. Авторское право и смежные права. – 2011. – № 7. – С. 16-32. – EDN NUODJP.