Это перевод статьи, подготовленный с разрешения Европейской Ассоциации научных редакторов (EASE, http://www.ease.org.uk/).

Статья первоначально опубликована в журнале European Science Editing (http://europeanscienceediting.eu).

URL: http://europeanscienceediting.eu/articles/the-growing-dilemma-of-peer-review-a-three-generation-viewpoint/

Ссылка для цитирования:
Virlogeux V. Trépo C. Pradat P. The growing dilemma of peer review: a three-generation viewpoint. European Science Editing 44(2):e32-e34, 2018. doi: 10.20316/ESE.2018.44.17019

Victor Virlogeux
Service d’Hépatologie, Groupement Hospitalier Nord, Hospices Civils de Lyon, Lyon, France; Université Claude Bernard Lyon 1, Inserm 1052, CNRS 5286, Centre Léon Bérard, Centre de recherche en cancérologie de Lyon, Lyon, France; Centre de Recherche Clinique, Groupement Hospitalier Nord, Hospices Civils de Lyon, Lyon, France; Département de Biologie, Ecole Normale Supérieure de Lyon, Lyon, France — pierre.pradat@univ-lyon1.fr

Christian Trépo
Service d’Hépatologie, Groupement Hospitalier Nord, Hospices Civils de Lyon, Lyon, France; Université Claude Bernard Lyon 1, Inserm 1052, CNRS 5286, Centre Léon Bérard, Centre de recherche en cancérologie de Lyon, Lyon, France; Centre de Recherche Clinique, Groupement Hospitalier Nord, Hospices Civils de Lyon, Lyon, France

Pierre Pradat
Université Claude Bernard Lyon 1, Inserm 1052, CNRS 5286, Centre Léon Bérard, Centre de recherche en cancérologie de Lyon, Lyon, France; Centre de Recherche Clinique, Groupement Hospitalier Nord, Hospices Civils de Lyon, Lyon, France

Аннотация. На данный момент, процесс рецензирования сталкивается с проблемой нехватки рецензентов. Для повышения читаемости и качества публикуемых рукописей, рецензирование должно стать золотым стандартом в научной литературе. Исторически, данный процесс был введён Лондонским королевским обществом (the Royal Society of London) в 1662 г. для обеспечения научной достоверности, вследствие, современная наука должна проверяться коллегами-учеными перед публикацией. Рецензирование осуществляется на добровольной основе. Однако с постоянно растущим количеством рукописей, большим количеством времени требуемого для каждой рецензии, необходимость выполнять другие обязанности, а также недостаточное финансирование, все это значительно усложняет процесс поиска рецензента. В данном исследовании мы рассмотрим несколько решений, которые могут быть полезны в этих обстоятельствах.

Введение

11 ноября 2016 г. Более, чем через три месяца после подачи рукописи в рецензируемый журнал, мы получили такой ответ от редактора: “С сожалением сообщаем вам, что в результате длительного рассмотрения, направленная вами рукопись не будет опубликована. Мы направили работу на рецензию более чем 15 потенциальным рецензентам, однако не смогли получить рецензию ни от одного из них. К нам поступает больше рукописей, чем мы можем опубликовать, в результате, мы вынуждены расставлять приоритеты в своих интересах…”. К сожалению данная ситуация становится все более распространенной из-за того, что редакторам журнала становится сложнее найти рецензентов, которые компетентны, а также согласны своевременно предоставить рецензию.

Процесс рецензирования всегда рассматривался как “страж” науки. Рецензии были введены Лондонским королевским обществом (the Royal Society of London) в 1662 г. в первом выпуске научного журнала “Философские труды” (Philosophical Transactions). И хотя оценка научных работ путем рецензирования только недавно стала “золотым стандартом”, зарождение данной процедуры можно увидеть в этих исторических работах. Рецензирование направлено на обеспечение научной достоверности и проверку научных фактов перед публикацией. Однако исходя из исследований, опубликованных в журнале Nature, что в опубликованных и рецензированных статьях менее 30% научных экспериментов воспроизводимы.

Рецензирование проводится на добровольной основе. Это позволяет авторам стать частью научного сообщества, а также обмениваться опытом рецензируя работы других. В ходе исследования, целью которого являлось выявление причин отказа от рецензирования рукописи, Тайт (Tite) и Шротер (Schroter) определили, что основными факторами являлись необходимость выполнять другие обязанности, строгие временные рамки для предоставления рецензии и необходимость рецензирования чрезмерно большого количества рукописей для других журналов.

В другом исследовании с участием около 2900 авторов, Издательство Джон Уайли и сыновья (John Wiley & Sons, также известное как Wiley) выявили, что решающим фактором принятия рукописи на рецензию был импакт-фактор журнала. Также наблюдались различия в зависимости от страны, большая часть рукописей рассматривалась американскими исследователями. Процесс рецензирования больше всего привлекает авторов, которые находятся в начале своей карьеры, из-за нехватки времени, а также в надежде на профессиональное признание.

По этим причинам, а также в совокупности с недостаточным финансированием для такого трудоемкого процесса, найти рецензентов становится все сложнее, особенно для журналов со средним или низким импакт-фактором.

Как увеличить число рецензентов?

Недавно было произведено несколько исследований по изучению проблемы рецензирования при поддержке редакционных групп, также было необходимо выяснить у рецензентов как данный процесс может быть усовершенствован.

Признание труда

Большинство рецензентов считает, что рецензирование не получает должного признания и что данный процесс должен иметь больший вес в исследовательском сообществе. Признание труда рецензента обычно осуществляется путем публикации списка участников в интернете или отправки сертификатов и благодарственных писем ведущим рецензентам. Предложение рецензентов же состояли в том, чтобы получать развернутые отзывы от журналов относительно качества рецензии, получать уведомление о принятом редакцией решении по рецензируемой рукописи, а также получить возможность просматривать комментарии других рецензентов по данной рукописи. В исследовании, проведенном издательством Шпрингер (Springer) в 2014 г. отмечалось, что рецензенты делали акцент на скромности вознаграждения, предлагая, чтобы вознаграждение зависело от качества рецензии, а не от их количества, такое признание проделанной работы стимулировало бы принять больше предложений на рецензирование.

Стимулы

Хотя влияние финансового стимулирования на качество рецензии сложно оценить, все же улучшения качества ожидать стоит, так как, вероятней всего, рецензент будет тратить больше времени на ее написание, если за это он получит вознаграждение. Однако, финансовое стимулирование не будет так эффективно для перегруженных работой рецензентов, также как и для улучшения качества их рецензии. Ф. Сквазони (Flaminio Squazzoni) и др. произвели инновационный эксперимент на модели процесса рецензирования, и выявили, что материальное вознаграждение рецензентам способствует снижению качества и эффективности процесса рецензирования. Более того, рецензент может принять на рецензию рукопись, написанной вне сферы его/ее компетентности только из-за финансового вознаграждения.

Были предложены такие решения данной проблемы как: бесплатный доступ к журналам по подписке, скидку на последующие публикации в журналах открытого доступа, или бесплатную обработку объектов в последующих публикациях. Однако, данные решения применимы в том случае, если рецензент еще не имеет доступа к содержимому журнала, что становится редкостью из-за стандартизированного полного доступа через вузовские подписки. Данные решения все же применимы в странах с низким доходом.

Метрики признания

Несколько параметров призвания были разработаны с момента появления проблем процесса рецензирования. Первая платформа отражения признания труда рецензента была представлена Саймоном Гослингом (Simon Gosling), победителем конкурса соревнования рецензий (Peer Review Challenge) в 2012 г., организованного Elsevier. Он предложил внедрить стандартизированный метод признания трудов конкретного рецензента с помощью системы бейджей и вознаграждений рецензента Elsevier  (Elsevier Reviewer Badges and Rewards system), схемы, основанной на присвоении бейджей и вознаграждений. Благодаря данной системе Elsevier предоставляет сертификаты зарегистрированным рецензентам, которые могут помочь развитию карьеры авторов на ранней стадии. Также были запущены и другие подобные инициативы: в апреле 2014 г. корпорация ORCID создала общественную рабочую группу для изучения вариантов вознаграждения рецензентов. Следуя предложениям рабочей группы, в 2015 г. ORCID ввела новую функцию рецензирования, с целью охватить разные виды рецензирования (рецензирование публикаций, аннотаций конференций, а также грантов). С согласия рецензента, организации могут вносить рецензируемую информацию в ORCID запись данного рецензента, которую может быть получена другими организациями. ORCID надеется, что благодаря данной функции труд рецензентов будет оцениваться должным образом, и это скажется на их дальнейшей карьере.

В 2014 г. была запущена еще одна платформа под названием Publons, целью которой было превратить рецензирование в измеримый объем исследований, предоставляя издательствам возможность отслеживать, проверять и демонстрировать работы своих рецензентов.

Для преодоления длительного процесса рецензирования, eLife, основанный в 2012 г. онлайн-журнал открытого доступа, полагался на рецензентов, которые состояли в его редколлегии. Однако данная система идет в разрез с золотым стандартом, который основан на внешних запросах.

Для решения всех проблем процесса рецензирования, за последние годы было предложено несколько решений. Но достаточно ли их, чтобы преодолеть все трудности? И как в настоящее время процесс рецензирования рассматривается разными поколениями?

Точка зрения трех поколений

Заслуженный профессор в области гепатогастроэнтерологии (г. р. 1943 г.)

“Будучи медицинским экспертом с большим стажем, я прошёл все классические этапы академической карьеры, в которые входит и оценка работ других ученых и аспирантов. Все это время я жил под диктатурой рецензирования: «публикуй (качественный) материал или погибнешь» («publish (well) or perish»). Исследовательскую деятельность я начал рано и, к счастью в самом начале бума в моей области деятельности-вирусного гепатита, которая стремительно развивалась благодаря волне большого успеха, повлиявшего на здоровье людей по всему миру(скрининг крови, вакцина от гепатита B , открытие гепатита C и лекарства от него, и вскоре лекарство от гепатита B).

Это дало мне возможность присоединиться к престижным группам, а также лицезреть и делиться этими значимыми событиями. Все это дало мне понять, что «исследование — это конкуренция», а его единица измерения — рецензирование. Понимание всего этого помогало мне не сбавлять оборотов.

В последнее время цифровая революция в сочетании с необходимостью публиковаться существенно увеличили объемы публикаций. Как следствие, необходим наукометрический анализ для выявления противоречивых библиометрических факторов, чтобы отслеживать данный индикатор рецензирования.

К сожалению, как в спорте, так и при оценке лекарственных средств, система рецензирования имеет недостатки и отчаянно нуждается в усовершенствовании путем инноваций. Это не должно быть сведено только к гонорарам, а должно отражать должное признание, вознаграждение за опыт и участие как автор/рецензент. Для этого необходимы новые методы.

Ниже приведенные слова Черчилля о демократии, которые также можно применить и к системе рецензирования: “наихудшая форма правления, за исключением всех остальных.”

Кандидат наук в области эпидемиологии, специалист по биостатистике и автор медицинских текстов (г. р. 1963)

“Теперь в научном сообществе я принадлежу к старшему поколению, которому говорили, что рецензирование существует “благо науки”. Как и многие ученые, мой опыт в рецензировании начался с написания рецензий за других. По началу я ненавидел эту трудоемкую работу, особенно из-за того, что я не видел в ней особой пользы. Одним из аргументов моего руководителя было то, что при написании рецензии, я могу узнать что-то новое из моей сферы деятельности. Но как результат, я работал часами бесплатно, и при этом узнавал очень мало новой информации, а мое имя нигде не отражалось.

К счастью, я постепенно стал получать собственные предложения о рецензировании, которым я был очень благодарен, так как у меня наконец появилось желание стать экспертом. Более того, это дало мне возможность отклонить просьбы моего руководителя написать за него рецензии, аргументируя это тем, что у меня есть собственные рецензии для написания, и что я сильно загружен работой. Однако загруженный календарь, недостаточное признания работы рецензентов, а также увеличение числа предложения на рецензирование стали препятствием для систематического принятия тех самых предложений. И легкость отказа в один клик часто помогала мне в данной ситуации.

Продвижение и признание рецензирование крайне необходимо, включая рецензентов “призраков”. К сожалению я не так знаком с электронными технологиями, как мои дети, и я не зависим (пока) от соцсетей. Однако, хотя я все еще пытаюсь понять как эти вещи работают, я прекрасно понимаю, что социальные сети — это ключ. Такие метрики как h-индекс или французская оценка SIGAPS, предназначенные для измерения активности публикации. Но также были проверены и аналогичные метрики. Сейчас следует приложить усилия для их обобщения и широкой доступности.

Доктор медицины/кандидат медицинских наук, магистр наук в Ecole Normale Supérieure (г. р. 1992)

“Будучи молодым “ребенком” в научном сообществе, я рецензировал некоторые работы за последние несколько лет, как по прямому предложению редакторов, так и по просьбе своих очень занятых наставников, которые считали, что я могу им помочь в этом замечательном и почетном деле. Рецензирование проводимое коллегой, а не “назначенным” рецензентом, вполне обыденная практика в научном обществе, соответственно, данный процесс должен быть оценен путем признания всех вовлеченных людей. Я считаю, что рецензирование представляет интерес как из-за научного содержания, так и из-за того, что данный процесс позволяет мне открывать в работах других людей новые подходы к предоставлению результатов, или же новые методы решения определенных научных проблем. Следуя из моего относительно небольшого опыта, могу сказать, что рецензирование действительно ценная задача, однако уже конфликтующая с другими сферами моей деятельности. Как активный пользователь социальных сетей, я являюсь сторонником революции 3.0 (Revolution 3.0), и считаю, что разработка универсальной исследовательской социальной сети, которая будет продвигать мое вовлечение в научном обществе, будет мотивировать меня принимать больше предложений на рецензирование. Впереди у меня еще длинный путь в этой сфере деятельности, но только в случае исследовательской революции в социальных сетях.

Обсуждение

Рецензирование всегда было “повседневной рутиной” для исследователей: как описывается в исследовании Тайт (Tite) и Шротер (Schroter), это возможность для них узнавать что-то новое.

Однако, растущее число поданных рукописей означает, что для рецензентов это не редкое явление получать несколько предложений в неделю, а для редактора направлять предложение 10 или более коллегам, и по итогу получить двух желающих. Для поддержания системы рецензирования неравенство между количеством приглашений и временем, которое может потратить рецензент на написание рецензии должно быть рассмотрено в ближайшее время.

Надеюсь, путь к признанию труда рецензента продолжит развиваться. Рабочие группы, ежегодные семинары как Неделя рецензирования, Премия лучший рецензент, а также метрики признания труда рецензента и социальные сети, участвуют поиску решения проблем в процессе рецензирования на пути своего развития. Вышеперечисленные решения способствуют продвижению процесса рецензирования в обществе. Унифицированная исследовательская социальная сеть может объединять журналы с рецензентами/авторами, отражать награды, метрики и достижения, а также для каждого исследователя суммировать его или ее работы: публикации, аннотации, рецензии. Такой подход поможет исправить проблему процесса рецензирования придя к равному уровню важности публикации и рецензирования.

Благодарности

Мы хотели бы поблагодарить Филиппа Робинсона (Philip Robinson) за его полезные комментарии и редакционные советы.

ИСТОЧНИКИ

1. Philosophical Transactions — the world’s first science journal. The Royal Society Publishing. http://rstl.royalsocietypublishing.org (accessed 12 Jan 2018).
2. Farrell PR, Magida Farrell L, Farrell MK. Ancient texts to PubMed: a brief history of the peer-review process. Journal of Perinatology2017;37:13–5. doi:10.1038/jp.2016.209
3. Baker M. 1,500 scientists lift the lid on reproducibility. Nature2016;533:452–4. doi:10.1038/533452a
4. Peer Review Survey 2015: Key Findings. Publishing Research Consortium. http://publishingresearchconsortium.com/index.php/134-news-main-menu/prc-peer-review-survey-2015-key-findings/172-peer-review-survey-2015-key-findings (accessed 12 Jan 2018).
5. Tite L, Schroter S. Why do peer reviewers decline to review? A survey.Journal of Epidemiol Community Health 2007;61:9–12. doi:10.1136/jech.2006.049817
6. Warne V. Rewarding reviewers — sense or sensibility? A Wiley study explained. Learned Publishing 2016;29:41–50. doi:10.1002/leap.1002
7. Carver C. We surveyed 5,000+ reviewers in 2015 and discovered…. Springer Source. 2015.http://www.springersource.com/we-surveyed-5000-reviewers-in-2015-and-discovered/ (accessed 12 Jan 2018).
8. Squazzoni F, Bravo G, Takács K. Does incentive provision increase the quality of peer review? An experimental study. Research Policy 2013;42:287–94. doi:10.1016/j.respol.2012.04.014
9. Gasparyan AY, Gerasimov AN, Voronov AA, et al. Rewarding peer reviewers — maintaining the integrity of science communication. Journal of Korean Medical Science 2015;30:360. doi:10.3346/jkms.2015.30.4.360
10. Mahian O, Wongwises S. How to encourage best peer reviewers: an empiric approach. Journal of Korean Medical Science 2015;30:506. doi:10.3346/jkms.2015.30.4.506
11. Lehane C. Peer Review Challenge — Winners unveiled. Elsevier Editors Update. 2012.https://www.elsevier.com/editors-update/story/peer-review/peer-review-challenge-winners-unveiled (accessed 12 Jan 2018).
12. van Dijk U. Reviewer Badges: Claim your badge and use it to highlight the journals for which you have reviewed. 2013.https://www.elsevier.com/reviewers-update/story/peer-review/reviewer-badges (accessed 12 Jan 2018).
13. Van Noorden R. The scientists who get credit for peer review. Nature Published Online First: 9 October 2014. doi:10.1038/nature.2014.16102
14. Schekman R, Patterson M, Watt F, et al. Launching eLife, Part 1. eLife2012;1. doi:10.7554/eLife.00270
15. Heinemann L. Reviewer: an endangered species?! Journal of Diabetes Science and Technology 2015;9:167–8. doi:10.1177/1932296814563883