Иногда ученые для увеличения публикационной активности отправляют статьи-комментарии к уже опубликованной статье. Последнее время значительно возросло количество таких комментариев, однако многие из них, как выяснилось, написаны не самими исследователями, а искусственным интеллектом. Расследование Science и Retraction Watch показало, что контент, созданный искусственным интеллектом, наводняет литературу некачественными публикациями и искажает метрики.
22 октября в журнале Neurosurgical Review появилась необычная редакционная статья. «Мы приняли трудное решение временно приостановить прием писем редактору по поводу добавления статей-комментариев», — написал главный редактор Дэниел Преведелло, нейрохирург из Университета штата Огайо. Издание было сбито с ног «беспрецедентным ростом» комментариев, которые, по-видимому, были «обусловлены» достижениями в области инструментов искусственного интеллекта. Проще говоря, ученые «завалили» редакцию потоком сгенерированных нейросетями комментариев.
Журнал Science и блог Retraction Watch провели совместное расследование и проанализировали количество и качество статей-комментариев в разных журналах. Neurosurgical Review оказался не единственным изданием, переполненным подобным контентом. Теперь они составляют 70% контента в Oral Oncology Reports издательства Elsevier и почти половину в International Journal of Surgery Open издательства Wolters Kluwer. В Neurosurgical Review комментарии и редакционные статьи составили 58% от общего объема выпуска с января по октябрь по сравнению с 9% в прошлом году. Более 80% этих комментариев поступили из стран Южной Азии.
Расследование Science и Retraction Watch показывает, что авторы, журналы и научные учреждения извлекают выгоду из этой схемы. Однако это наводняет литературу некачественными публикациями и ставит под сомнение показатели публикационной активности авторов и научной значимости исследований. Для ученых комментарии могут быть быстрым и простым способом накопить публикации и цитирования. Авторы «просто хотят статью, проиндексированную в PubMed. Вот и все», — отметил Шириш Рао, недавний выпускник медицинского вуза, работающий в больнице в Мумбаи, Индия, член Ассоциации социально применимых исследований, некоммерческого аналитического центра. Комментарии — это идеальный путь, потому что «вам на самом деле не нужны исходные данные», ведь инструменты ИИ могут генерировать их практически мгновенно, считает Рао. И поскольку они редко рецензируются, им, как правило, легче попасть в журналы, чем исследовательским работам.
Публикация этих статей может быть хорошим бизнесом и для журналов. Во-первых, многие издательства взимают плату за публикацию комментариев. Это также хорошо сказывается на импакт-факторе журнала и придает дополнительный вес статьям. Комментарии — это «бесплатная еда» для журналов, подчеркнул Джон Иоаннидис, эксперт по библиометрии в Стэнфордском университете.
Также комментарии дают научным организациям легко раздуть их результаты и цифры цитирования и, следовательно, повысить их рейтинги, которые агрессивно используются для рекламы, говорит Мумита Колей, старший аналитик-исследователь из Индийского научного института. По словам Ачала Агравала, специалиста по данным в Университете Ситаре и основателя некоммерческой организации India Research Watchdog, несколько частных университетов в Индии, по-видимому, манипулируют своими рейтингами. Они показывают высокие научные показатели, но при детальном рассмотрении оказывается, что чаще это происходит из-за инструментов вроде комментариев к статьям, нежели действительно качественных исследований.
За четыре дня до объявления главным редактором Neurosurgical Review о приостановке публикации комментариев в его почтовый ящик пришло анонимное электронное письмо. В нем отправитель описал, как за предыдущие два месяца три автора из одного университета в Индии опубликовали в журнале «удивительные 69 комментариев». Почти все они, по-видимому, были написаны машиной и не имели «существенной релевантности», согласно электронному письму. В публикациях также цитировались «нерелевантные» работы других исследователей из того же Университета Савита, оттуда были и авторы сгенерированных статей.
Представитель Университета Савита заявил, что его учреждение «начало проводить официальное расследование и примет соответствующие меры, если будут выявлены какие-либо нарушения». Но он утверждал: «Нелепо утверждать, что учреждение играет какую-либо роль в таких предполагаемых практиках. Поскольку комментарии исключаются всеми рейтинговыми агентствами, никто не получит никакой выгоды от манипулирования этими цитатами». Университет также указал на большое количество опубликованных комментариев в Neurosurgical Review — их было 466, 120 из них последовало из Университета Савита.
По словам Риза Ричардсона из Северо-Западного университета, эксперта по библиометрии, принявшего участие в анализе, комментарии Университета Савита в Neurosurgical Review — это лишь малая часть из более чем 1200 писем, редакционных статей и комментариев, написанных учеными из этого университета в этом году. Это в девять раз больше, чем в прошлом. К слову, Риз Ричардсон хорошо разбирается в способах накрутки наукометрических показателей — в этом году он сделал своего кота самым цитируемым котом-ученым в мире.
Science и Retraction Watch изучили пять журналов, которые опубликовали большинство комментариев ученых Университета Савита. В большинстве этих журналов комментарии сначала вносили лишь скромный вклад в журнальные тома, если вообще вносили, а затем в последние годы их количество возросло. Представитель издания Elsevier сказал: «У нас действует строгий редакционный процесс. Мы продолжим следить за закономерностями авторства и цитирования и будем бдительно следить за соблюдением наших редакционных стандартов».
Систематические выборочные проверки журналов показали, что авторы Университета Савита часто цитировали исследователей из своих собственных учреждений. У Neurosurgical Review был самый высокий уровень институциональных самоцитирований, при этом восемь из десяти отобранных комментариев ссылались на другие работы авторов одного университета. «Это явно схема для раздувания количества публикаций и цитирований», — утверждает Риз Ричардсон. Мумита Колей считает, что большинство комментариев «бессмысленные» и «определенно» сгенерированы ИИ.
ИИ может генерировать тексты без глубокого понимания контекста и смысла, что может создавать неверные данные или ошибочные выводы. Это негативно влияет на научные метрики и значимость публикаций. Хоть технологии и помогают ученым в исследованиях, использование их в спекулятивных целях может приводить к большим ошибкам и проблемам.
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
