2020 №3-4 - перейти к содержанию номера...

Постоянный адрес этой страницы - https://nppir.ru/01np320.html

Ссылка для цитирования этой статьи:

Павлов А.А. О применении авторами научных текстов технических приемов, искажающих результаты проверки уникальности текстов. Обзор проблемы, опыт выявления и анализ подобных текстов // Научная периодика: проблемы и решения, 2020 №3-4, https://nppir.ru/01NP320.html (доступ свободный). Загл. с экрана. Яз. рус., англ.

О применении авторами научных текстов технических приемов, искажающих результаты проверки уникальности текстов. Обзор проблемы, опыт выявления и анализ подобных текстов

Павлов Александр Анатольевич
ООО «Издательство «Мир науки», Москва, Россия
Заместитель генерального директора
E-mail: pavlov@mir-nauki.com
ORCID: https://orcid.org/0000-0003-3811-2166

Аннотация. В статье затрагивается вопрос применения авторами научных текстов технических приемов, которые искажают результаты проверки уникальности текста (т. н. «обход антиплагиата»).

Основным результатом анализа имеющихся научных публикаций по данному вопросу является их небольшое количество, а также отсутствие устоявшейся терминологии в затрагиваемой области.

Рассматриваются условия, делающие возможным существование подобных практик. Приводится краткий перечень различных типов приемов, применяемых авторами для искажения результатов проверки уникальности текстов. Отмечается, что применение подобных приемов легко доступно авторам, даже при отсутствии каких-либо специальных знаний и навыков.

В статье проведен анализ текстов научных статей, содержащих подобные технические приемы, выявленных в издательстве «Мир науки» в период с 2017 по 2019 годы. Проведен опыт по проверке данных текстов системой «Антиплагиат», с целью оценки ее возможностей по выявлению подобных кейсов.

Приводится обзор четырех методов выявления текстов, содержащих подобные технические приемы, используемых в издательстве «Мир науки», рассматривается их эффективность, особенности, плюсы и минусы.

Ключевые слова: уникальность текстов; плагиат; антиплагиат; проверка уникальности; обход антиплагиата; мошенничество

Введение

В 2013-м году на рассмотрение в один из журналов издательства «Мир науки» (cайт издательства – https://izd-mn.com/) поступила статья, во время работы с которой, было обнаружено, что в файле с ее текстом скрыт еще один текст, который не отображался при просмотре файла в текстовом редакторе. Обнаруженный текст имел внушительный объем (в несколько раз больше самой статьи) и состоял из бессмысленного набора слов.

В попытках найти причину данной аномалии был предпринят ряд действий, одно из которых смогло пролить свет на предназначение скрытого в файле текста. Оба текста – видимый текст статьи и скрытый бессмысленный текст, были проверены на уникальность раздельно. В результате проверки выяснилось, что видимый текст статьи практически полностью заимствован из уже опубликованной статьи другого автора. Скрытый бессмысленный текст оказался полностью уникальным.

При проверке исходного, поступившего от автора файла, уникальный бессмысленный текст был призван «разбавить» результат проверки на уникальность – хоть весь читаемый визуально текст и был заимствован, общий процент уникальности, за счет наличия скрытой части, оказывался приемлемым.

В последующие годы в издательство также поступали статьи, содержавшие различные приемы, призванные исказить результат проверки текста на уникальность.

Анализ литературы показывает, что если проблемам обнаружения заимствования посвящено достаточно много исследований [11–14] (для списка литературы выбраны источники с самым высоким уровнем цитирования по данным Российского индекса научного цитирования), то проблеме обхода систем обнаружения заимствований работ практически не встречается. Ересь А.В и Лучанинов Д.В. в своей работе [15] выделяют технические способы повышения уникальности и рерайтинг. При этом рерайтинг в научном дискурсе исследуется в основном юристами, с точки зрения авторского права и журналистами [16–18], и лишь некоторые исследователи относят его к неэтичным публикационным практикам [19; 20].

Недостаток как научных исследований, так и практических работ по обнаружению в текстах попыток обхода систем обнаружения заимствований активизировали работу редакторов Издательства «Мир науки» по систематизация приемов обхода антиплагиата и выработки мер по их обнаружению.

К сожалению, на сегодняшний день можно констатировать, что подобные практики продолжают применяться учащимися и авторами научных текстов – начиная от рефератов, курсовых работ и ВКР [21], и заканчивая диссертациями [22].

В студенческой среде описываемое явление зачастую называется «обходом антиплагиата», в среде преподавателей, издательской среде – «обходы» и «технические обходы», «приемы обхода антиплагиата».

Фактически речь идет о модификации текстовых файлов, таким образом, чтобы при проверке их тем или иным инструментом оценки уникальности текста исказить этот результат, выдать заимствованный текст за уникальный. Результат таких модификаций стараются скрыть – как правило, при открытии файла в текстовом редакторе, визуально внесенные изменение не заметны или почти незаметны. Модификации могут проводиться различными путями – с помощью текстового редактора, специального программного обеспечения или при помощи онлайн-сервисов.

Наверное, наиболее точно было бы называть это явление «техническими приемами, искажающими результаты проверки уникальности текста».

Технические – потому, что помимо них существуют и приемы, основанные на изменении самого текста (рерайт).

Устоявшееся слово «обход», на взгляд автора, так же не является полностью уместным, так как речь идет все-таки об искажении результатов.

Наконец, хоть слово «Антиплагиат» и стало нарицательным, речь идет об искажении результата проверки различными инструментами и системами.

Однако, чтобы не создавать еще большего разнообразия наименований данного явления, предлагаю все-таки остановиться на устоявшемся и понятном в издательском сообществе варианте, то есть само явление называть «обходом антиплагиата», а модификации текстовых файлов – «приемами обхода».

Приемы обхода антиплагиата

Возможность существования приемов обхода обусловлена сложным устройством форматов файлов DOC и DOCX. Эти форматы поддерживают большое количество различных типов форматирования, стили, вставку таблиц, формул, рисунков, рисование схем, фигур и графиков прямо в текстовом редакторе и т. п. Работая с языком разметки текстового файла (в случае с форматом DOCX – это XML), для многих параметров можно задать значения, недоступные для установки при работе в текстовом редакторе. Например, можно задать отрицательное значение такого параметра, как кернинг, что фактически приведет к тому, что символы будут выводиться один поверх другого. Несмотря на то, что текстовые редакторы не позволяют задать такие значения, если таковые были заданы редактированием разметки документа – документ будет отображен именно с этими параметрами. Никаких сообщений об ошибках и проблемах при этом не возникает. Эти условия, к сожалению, создают огромное поле для различных манипуляций.

Распространению практики обхода антиплагиата способствует доступность средств, которыми можно модифицировать текстовый файл, доступность информации о приемах обхода, а также наличие в сети Интернет большого количества сайтов, предоставляющих услуги по обходу антиплагиата на платной и даже бесплатной основе.

Недобросовестный автор, решивший прибегнуть к приемам обхода для искажения результатов проверки своего текста, может последовать по одному из следующих путей:

• провести модификацию текста самостоятельно, найдя инструкции и рекомендации в Интернет;
• прибегнуть к помощи специального программного обеспечения. Начиная от макросов для Microsoft Word и заканчивая специально созданным ПО;
• воспользоваться услугой обхода антиплагиата. Количество сайтов, предлагающих подобные услуги в сети Интернет, исчисляется десятками, а цены на модификацию текстового файла варьируются от нескольких десятков рублей за автоматическую обработку текста, до нескольких тысяч рублей за ручную обработку «специалистами».

Разработчики систем проверки уникальности текстов со временем наделяют свои продукты возможность распознавать тот или иной вид приемов обхода. С другой стороны люди, предоставляющие услугу обхода антиплагиата, заинтересованы в том, чтобы их методы продолжали работать. Это приводит к постоянному морфированию приемов обхода, так что ввести их четкую классификацию не представляется возможным.

Для того, чтобы все-таки привести некоторые примеры – попробую перечислить те приемы, с которыми приходилось или приходится сталкиваться наиболее часто. В результате постоянной «эволюции» как систем проверки текстов, так и методов обхода, многие из последних практически перестали использоваться. К таким можно отнести:

• замену символов в тексте на символы другого алфавита, сходные по написанию;
• преобразование частей текста в растровые изображения;
• размещение текста за рисунками;
• скрытие частей текста путем установки для них шрифта белого цвета, уменьшения его размера.

Между тем, возможно выделить несколько типов модификаций, используемых в настоящий момент наиболее часто:

• вставка скрытых символов. В текст помещаются символы, замещающие пробелы, или внедряемые в слова. При просмотре файла в текстовом редакторе данные символы никак не отображаются, что достигается различными способами. Символы, невидимые человеком, однако продолжают учитываться при оценке уникальности текста, что приводит к искажению результатов;
• вставка скрытых слов. Принцип тот же, что и в предыдущем случае, с той разницей, что в текст внедряются целые слова;
• вставка скрытых фрагментов текста. Теми или иными способами в текстовый файл внедряются большие массивы текста, не отображаемые при просмотре файла в текстовом редакторе, но «видимые» для систем проверки;
• манипуляции со шрифтами. Какой-либо символ в тексте заменяется на символ специально подготовленного шрифта, выглядящего идентично исходном символу, но – для систем проверки уникальности текста – имеющих другое значение.

В целом, все используемые в настоящее время методы можно разделить на два основных направления:

• преобразование текста за счет внедрения слов или символов, с сохранением исходного визуального восприятия при просмотре в тестовом редакторе;
• скрытое внедрение в файл больших массивов уникального текста, которые призваны уменьшить «вес» заимствованной части текста при проверке.

Обнаружение обхода системы антиплагиат
на примере статей, поступающих в издательство «Мир науки»

В 2017–2019 гг. в издательстве «Мир науки» было выявлено 24 статьи, содержащие технические приемы, искажающие результаты проверки уникальности текста. Результаты исследования этих статей были представлены на конференции «Обнаружение заимствований» в 2019 году.

Количество статей не настолько велико, чтобы на основе их исследования можно было сделать какие-то уверенные выводы, однако, выдвинуть ряд гипотез представляется вполне возможным.

Распределение статей по областям знаний:

• 15 статей – педагогика;
• 8 статей – экономика;
• 1 статья – технические науки.

При том, что эти цифры не коррелируют с количеством статей в этих областях знаний, поступивших на рассмотрение в журналы издательства, можно сделать предположение, что исследователи, работающие в разных областях, в различной мере склонны использовать модификации файлов, искажающие результат проверки на уникальность.

Авторский состав статей:

• Студенты – 2;
• Магистранты – 4;
• Аспиранты – 4;
• Преподаватели – 7;
• Кандидаты наук – 16;
• Доктора наук – 3.

Хотя в ходе работы у сотрудников издательства сложился стереотип, что «группой риска» являются студенты и магистранты, оказалось, что это не совсем так, и наиболее многочисленной группой авторов, прибегающей к обходу антиплагиата оказались кандидаты наук.

Классификация технических приемов, обнаруженных в статьях:

• Вставка и скрытие слов – 9 статей;
• Вставка и скрытие символов – 6 статей;
• Вставка и скрытие слов в поле для формул (Equation) – 4 статьи;
• Вставка и скрытие больших массивов текста – 2 статьи;
• Замена букв на символы или буквы другого алфавита – 2 статьи;
• Вставка скрытого текста в колонтитулы – 1 статья.

Использованные авторами форматы файлов:

• формат DOCX – 18 статей;
• формат DOC – 6 статей.

С практической точки зрения – проверка статей, содержащих приемы обхода антиплагиата, системой «Антиплагиат» и результаты этой проверки – наиболее важный и интересный момент.

В 2017-м году система «Антиплагиат» не обнаруживала наличие приемов обхода в проверяемых в издательстве «Мир науки» статьях – приемы обхода в статьях были выявлены с помощью разработанных в издательстве методов.

На конференции «Обнаружение заимствований – 2018» представители компании «Антиплагиат» рассказывали о том, что ведется работа над возможностью обнаружения системой приемов обхода.

В 2019-м году, при проверке рассматриваемых статей, система «Антиплагиат» показала достаточно высокий уровень выявления текстов с приемами обхода.

Результаты проверки 24 статей, содержащих приемы обхода, в системе «Антиплагиат»

Обнаружен обход – 13 статей;

Документ помечен как подозрительный – 5 статей;

Обход не обнаружен – 6 статей.

Следует между тем учитывать, что 4 статьи не были помечены как подозрительные, однако для них была показана их настоящая уникальность, то есть, наличие приемов обхода не смогло повлиять на результат проверки, хотя сами они и не были обнаружены.

Таким образом, можно говорить о том, что система «Антиплагиат» смогла отсеять 22 статьи из 24.

Методы выявления систем обхода антиплагиата

Не менее интересными, между тем, остаются и методы, которые позволяют выявить наличие приемов обхода в текстах «подручными средствами». Всего, начиная с 2013-го года в издательстве «Мир науки» использовались 4 различных метода.

1. Самым первым был, уже не используемый в настоящий момент метод, основанный на различных манипуляциях с текстом прямо в текстовом редакторе. Он основывался на том, что при изменении таких параметров как цвет и размер шрифта, различных параметров межзнакового интервала и др. можно было сделать видимыми добавленные в текст символы, слова или текст. Его эффективность была низкой, ввиду упомянутого выше постоянного морфирования методов модификации файлов. Даже если удавалось, проделав определенные манипуляции, увидеть модификации в одном файле – это не давало никакой гарантии, что те же самые манипуляции выявят их и в другом.

2. Когда несостоятельность первого метода стала очевидна, было сделано предположение, что наличие приемов обхода можно выявить, анализируя XML-разметку текстового файла. Предположение подтвердилось, и проверка статей стала проводиться с помощью анализа XML-разметки. Этот метод оказался более успешным, так как у модификаций, призванных исказить результаты проверки на уникальность, обнаружились некоторые характерные черты на уровне разметки. В качестве самых наглядных можно выделить:

• отрицательные значения различных параметров (в первую очередь отвечающих за интервал между символами) – при наличии скрытых слов или текста;
• большие, не разбитые тегами фрагменты текста, характерные для скрытых массивов текста;
• замещение тех или иных букв кодами таблицы символов, что характерно для подмены символов или наличия скрытых символов.

На практике оказалось, что данный метод хорош для выявления каких-либо уже известных методик модификации файлов. То есть, разоблачив одну методику, можно с помощью инструмента поиска обнаружить точно такую же модификацию в другом файле (что, однако не является таким уж и большим достижением на фоне упомянутого выше постоянного морфирования приемов обхода).

Оценить, модифицирован или файл или нет в принципе – с помощью данного способа сложно ввиду того, что объем XML-разметки в несколько раз превышает объем видимого в файле текста.

К этому стоит добавить, что для того, чтобы что-то искать в XML-разметке, надо понимать как она устроена, уметь отличать «обычное» от «необычного». Даже имея представления об устройстве разметки, вручную искать в ней «что-то подозрительное» достаточно сложно. Особенно если не знаешь изначально, есть оно там или нет.

В настоящий момент мы используем данный способ для анализа файлов, которые уже были определены как подозрительные, с помощью других способов.

3. Третий способ, основан на том, что распознавание проверяемого текста позволяет легко отделить «зерна от плевел», то есть получить абсолютно чистый вариант текста [23].

Цель любых приемов обхода – внедрение в текстовый файл таким образом, чтобы при открытии в текстовом редакторе исходный текст был визуально идентичен тексту до «обработки». Превращая текст в изображение, мы избавляемся от всего, что могло быть скрыто в текстовом файле, оставляя только то, что видно.

Распознав этот текст любым ПО для оптического распознавания (OCR), получаем полностью очищенный от приемов обхода текст, однако, не получаем ответа на вопрос, а были ли в нем приемы обхода?

Простейшим решением здесь становится проверка уникальности обоих образцов текста – исходного, и распознанного. Конечно, результат в любом случае редко бывает идентичным. Это обусловлено качеством распознавания, наличием в тексте рисунков (которые могут так же частично распознаться), таблиц и графиков (которые не редко распознаются некорректно) и т. п.

В начале использования этого метода был проведен эксперимент по сравнению результатов проверки на уникальность исходных и распознанных текстов 100 статей.

Статьи проверялись программой «AntiPlagiarism.NET».

Были получены следующие результаты:

• 20 статей – идентичный результат;
• 27 статей – разница в 1 %;
• 18 статей – разница 2 %;
• 6 статей – разница 3 %;
• 8 статей – разница 4 %;
• 6 статей – разница 5 %;
• 7 статей – разница 6 %;
• 1 статья – разница 7 %;
• 1 статья – разница 8 %;
• 2 статьи – разница 9 %;
• 2 статьи – разница 10 %;
• 1 статья – разница 19 %;
• 1 статья – разница 34 %.

По результатам проведенных проверок, в двух файлах с наибольшей разницей в результатах, было подтверждено (с помощью анализа XML разметки) наличие приемов обхода.

Исследование других файлов, показавших достаточно высокие результаты (7–10 %), показало, что разница в результатах была вызвана неточностью распознавания.

Несмотря на то, что все 24 статьи, которые упоминались выше, были найдены именно с помощью данного метода, нельзя не отметить его минусы:

• необходимость выполнять проверку дважды;
• отсутствие результата в том случае, если проверяемый текст не учитывается системой проверки (отсутствует в базах, в открытом доступе и т. п.).
• невозможность обнаружить факты обработки приемами обхода небольших фрагментов текста (так как в этом случае результаты проверки отличаются незначительно).

4. Четвертый метод основан на гипотезе о том, что если исходный и распознанный текстовые файлы показывают различный результат при проверке на уникальность, то в них, очевидно, должны быть значительные различия. Осталось только понять – как их обнаружить?

Среди современного программного обеспечения достаточно много программ для сравнения файлов. Однако, ситуация с приемами обхода несколько специфична, а форматы файлов DOC и DOCX, как уже упоминалось выше, достаточно сложны. Так, не удалось выявить какой-либо стойкой связи с наличием обходов и количеством символов в исходном и распознанном файлах или объемом (в байтах) исходного и распознанного файлов. В конечном счете, увидеть отличия получилось, используя Microsoft Word – при сравнении двух файлов в режиме «все исправления».

В данном случае приемы обхода можно заметить в виде ряда достаточно типичных эффектов. Как два самых ярких и часто встречающихся можно выделить повторение слов или фрагментов слов (рис. 1) или наличие каких-либо артефактов (Рис. 2).

Рисунок 1. Эффект «повторения слов» – на рисунке можно увидеть, что Word указывает нам, что в двух сравниваемых файлах отличаются фрагменты, написание которых на самом деле идентично (подчеркнуты и зачеркнутые подкрашенные участки текста)

Рисунок 2. Пример вывода в результатах проверки «артефакта»,
состоящего из нескольких слоев текста, указывающего на наличие приемов обхода

Конечно, бывают и другие варианты. Однако, наш последний опыт работы показывает, что научится определять наличие приемов обхода этим способом достаточно легко, особенно если иметь несколько примеров текстов с обходами для тренировок.

Заключение

В настоящий момент мы по мере возможности продолжаем работать над развитием методов обнаружения приемов обхода, как с целью их автоматизации, так и с целью возможности пакетных проверок, которые были бы особенно актуальны – например, для проверки уже опубликованных материалов, с целью выявления в них приемов обхода и ретракции соответствующих статей – если таковые будут обнаружены.

Обход антиплагиата – на взгляд автора, пожалуй, самая тяжелая форма нарушения публикационной этики, с точки зрения заимствований. Нет ничего хорошего в попытке опубликовать чужую работу под видом своей. Попытки еще и скрыть этот факт только ухудшает общую картину.

К сожалению, многие авторы не воспринимают практику обхода антиплагиата как что-то предосудительное. Возможно, это исходит от непонимания принципов работы систем проверки уникальности текста и вопроса в целом. Каким бы это ни казалось странным, но мое общение с некоторыми авторами по электронной почте показало, что подчас уникальность текста воспринимается как некая самостоятельная величина, которой можно относиться формально.

Этому способствует и формальное отношение к проверке в некоторых ВУЗах и издательствах по принципу «должен быть определенный процент и точка», когда в отчет системы проверки даже не заглядывают (и вполне оправданный страх авторов перед такими, не побоюсь этого слова, бестолковыми проверками). Формальное отношение со стороны проверяющих порождает и формальное отношение со стороны авторов, которые обрабатывают свои тексты просто «на всякий случай», даже не думая о том, что этим они грубо нарушают нормы публикационной этики.

И то, что сама процедура обхода антиплагиата многими сайтами, оказывающими эту услугу, преподносится как нечто вполне приемлемое. Если часть из них напрямую предлагают «обойти антиплагиат», то некоторые другие пестрят рекламными слоганами вроде «честно повысим процент уникальности», и убеждают своих клиентов, что «ничего такого» в этом нет. Как ни странно, многие в это верят.

Поэтому важно не только развивать совершенствовать методы выявления приемов обхода, но и вести просветительскую работу, направленную на понимание авторами научных текстов неприемлемости подобных практик.

Библиографический список

1. Чехович Ю.В. ОБ ОБНАРУЖЕНИИ ЗАИМСТВОВАНИЙ ПРИ ЭКСПЕРТИЗЕ НАУЧНЫХ СТАТЕЙ // Научная периодика: проблемы и решения. 2013. № 4 (16). С. 22–25.
2. Шарапова Е.В. ИССЛЕДОВАНИЕ ВОЗМОЖНОСТЕЙ СИСТЕМЫ «АНТИПЛАГИАТ» ДЛЯ ОБНАРУЖЕНИЯ ЗАИМСТВОВАНИЙ // Перспективы науки и образования. 2013. № 3 (3). С. 215–219.
3. Куликова Е.Ю. КРАДЕНАЯ НАУКА: ПОЧЕМУ ПЛАГИАТ И САМОПЛАГИАТ НЕПРИЕМЛЕМЫ // Вестник Российского государственного медицинского университета. 2016. № 6. С. 50–53.
4. Авдеева Н.В., Ледовская В.М. НЕКОРРЕКТНЫЕ ЗАИМСТВОВАНИЯ В ДИССЕРТАЦИЯХ: СПОСОБЫ ИХ ОБНАРУЖЕНИЯ // Вестник Челябинской государственной академии культуры и искусств. 2015. № 3 (43). С. 16–20.
5. Мазов Н.А., Гуреев В.Н., Косяков Д.В. О РАЗРАБОТКЕ МОДЕЛИ ОПРЕДЕЛЕНИЯ ПЛАГИАТА НА ОСНОВЕ АНАЛИЗА ЦИТИРОВАНИЙ С ИСПОЛЬЗОВАНИЕМ БИБЛИОГРАФИЧЕСКИХ БАЗ ДАННЫХ // Научно-техническая информация. Серия 1: Организация и методика информационной работы. 2016. № 11. С. 9–14.
6. Бурлакова Е.В., Качалова С.М. ПРОБЛЕМА ЗАИМСТВОВАНИЙ В СТУДЕНЧЕСКИХ ВЫПУСКНЫХ КВАЛИФИКАЦИОННЫХ РАБОТАХ // В сборнике: Электронные системы обнаружения заимствований в оказании услуг для различных сегментов рынка. Сборник научных трудов Международной научно-практической конференции. 2016. С. 106–108.
7. Авдеева Н.В., Блинова Т.А., Груздев И.А., Ледовская В.М., Лобанова Г.А., Сусь И.В. ОБНАРУЖЕНИЕ ЗАИМСТВОВАНИЙ В НАУЧНЫХ ДОКУМЕНТАХ НА ОПЫТЕ РОССИЙСКОЙ ГОСУДАРСТВЕННОЙ БИБЛИОТЕКИ // Электронные библиотеки. 2017. Т. 20. № 5. С. 285–297.
8. Чехович Ю.В., Беленькая О.С. ОЦЕНКА КОРРЕКТНОСТИ ЗАИМСТВОВАНИЙ В ТЕКСТАХ НАУЧНЫХ ПУБЛИКАЦИЙ // В сборнике: Научное издание международного уровня – 2018: редакционная политика, открытый доступ, научные коммуникации. Материалы 7-й международной научно-практической конференции. Отв. ред. О.В. Кириллова; Ассоциация научных редакторов и издателей (АНРИ); Некоммерческое партнерство «Национальный электронно-информационный консорциум» (НП «НЭИКОН»). 2018. С. 158–162.
9. Шарапов Р.В. АНАЛИЗ ПОДХОДОВ К ОБНАРУЖЕНИЮ ЗАИМСТВОВАННЫХ ТЕКСТОВ // Современные наукоемкие технологии. 2011. № 3. С. 47–49.
10. Чехович Ю., Ивахненко А., Беленькая О. О ПРАКТИКЕ ОБНАРУЖЕНИЯ ЗАИМСТВОВАНИЙ В РОССИЙСКИХ ВУЗАХ // Университетская книга. 2017. № 4. С. 74–75.
11. Петрусевич Д.А. НЕКОТОРЫЕ ПРОБЛЕМЫ ПОИСКА И ИСПОЛЬЗОВАНИЯ ТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ ПРИ ОБНАРУЖЕНИИ ЗАИМСТВОВАНИЙ // В сборнике: Электронные системы обнаружения заимствований в оказании услуг для различных сегментов рынка. Сборник научных трудов Международной научно-практической конференции. 2016. С. 133–136.
12. Шишкин Ю.Е. ИССЛЕДОВАНИЕ ВОЗМОЖНОСТЕЙ СИСТЕМ ОБНАРУЖЕНИЯ ЗАИМСТВОВАНИЙ В МЕТОДОЛОГИИ БОЛЬШИХ ДАННЫХ // В книге: ФУНДАМЕНТАЛЬНЫЕ ОСНОВЫ ИННОВАЦИОННОГО РАЗВИТИЯ НАУКИ И ОБРАЗОВАНИЯ. монография. Пенза, 2017. С. 55–73.
13. Чехович Ю., Кузнецова Р., Бахтеев О. ПЛАГИАТ В НАУЧНЫХ СТАТЬЯХ: ТРУДНОСТИ ОБНАРУЖЕНИЯ ПЕРЕВОДА // Университетская книга. 2017. № 9. С. 66–67.
14. Мазов Н.А., Гуреев В.Н. К ВОПРОСУ О РАЗРАБОТКЕ МОДЕЛЕЙ ВЫЯВЛЕНИЯ ПЛАГИАТА НА ОСНОВЕ ЦИТИРОВАНИЯ С ИСПОЛЬЗОВАНИЕМ НАУКОМЕТРИЧЕСКИХ БАЗ ДАННЫХ // В сборнике: Книга. Культура. Образование. Инновации («Крым-2016»). Материалы Второго Международного профессионального форума. 2016. С. 307–310.
15. Ересь А.В., Лучанинов Д.В. АНАЛИЗ СОВРЕМЕННЫХ СИСТЕМ ОБХОДА ЗАИМСТВОВАНИЙ ТЕКСТА // Постулат. 2018. № 1 (27). С. 44.
16. Белькова Е.Г. РЕРАЙТИНГ: ПРАВОВАЯ ОЦЕНКА // В сборнике: ПРОБЛЕМЫ СОВРЕМЕННОГО РОССИЙСКОГО ЗАКОНОДАТЕЛЬСТВА. ИРКУТСКИЙ ЮРИДИЧЕСКИЙ ИНСТИТУТ (ФИЛИАЛ) ФГБОУ ВПО «РОССИЙСКАЯ ПРАВОВАЯ АКАДЕМИЯ МИНИСТЕРСТВА ЮСТИЦИИ РОССИЙСКОЙ ФЕДЕРАЦИИ». 2013. С. 142–146.
17. Исимбулатова Н.А. РЕРАЙТИНГ: К ПРОБЛЕМЕ АВТОРСТВА В ДИСКУРСЕ СМИ // В сборнике: Русский язык: история, диалекты, современность. Сборник научных статей по материалам докладов и сообщений конференции. 2016. С. 364–368.
18. Оськина О. РЕРАЙТИНГ КАК НОВЫЙ ИНСТРУМЕНТ СОЗДАНИЯ ПРОИЗВЕДЕНИЯ. ЗАЩИТА ПРАВ АВТОРА ПРИ РЕРАЙТИНГЕ // Интеллектуальная собственность. Авторское право и смежные права. 2014. № 10. С. 43–48.
19. Самойлова Д.Д. ПЛАГИАТ И РЕРАЙТИНГ – ОПАСНЫЕ ВЫЗОВЫ РОССИЙСКОЙ НАУКЕ И ОБРАЗОВАНИЮ // В книге: Организационное, процессуальное и криминалистическое обеспечение уголовного производства. Материалы IV Международной научной конференции студентов и магистрантов. 2016. С. 67–70.
20. Еремченко В.И., Щуров Е.А. РЕРАЙТИНГ: МЕХАНИЗМ ПРЕСТУПНОЙ ДЕЯТЕЛЬНОСТИ И ПРОБЛЕМНЫЕ ВОПРОСЫ РАССЛЕДОВАНИЯ // Вестник Казанского юридического института МВД России. 2018. № 3 (33). С. 365–369.
21. Свечкарёв В.Г., Иващенко Т.А., Белоус Л.К., Манченко Т.В. ИНФОРМАЦИОННАЯ ГРАМОТНОСТЬ ПРЕПОДАВАТЕЛЯ ВУЗА, КАК ВАЖНОЕ УСЛОВИЕ ДЛЯ ПРОВЕРКИ СТУДЕНЧЕСКИХ РАБОТ НА АНТИПЛАГИАТ // Вестник Майкопского государственного технологического университета. 2020. № 2 (45). С. 83–97.
22. Авдеева Н.В., Никулина О.В., Сологубов А.М. СИСТЕМА «АНТИПЛАГИАТ.РГБ» И НЕДОБРОСОВЕСТНЫЕ АВТОРЫ ДИССЕРТАЦИЙ: КТО ПОБЕДИТ? // Научная периодика: проблемы и решения. 2012. № 5 (11). С. 11–16.
23. Чехович Ю., Ивахненко А. РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ НА СЛУЖБЕ У «АНТИПЛАГИАТА» //  Университетская книга. 2017. № 10. С. 72–73.