Международная команда ученых обнаружила, что недобросовестные ученые используют ИИ для создания исследовательских работ на основе базы данных NHANES. Оказалось, что почти все статьи из 341 проанализированной написаны по одному шаблону, в котором депрессия, диабет и другие заболевания связаны с одиночными факторами без доказательной базы. По словам команды, ИИ подгоняет официальные данные под нужный результат. Чтобы остановить поток сомнительных статей, авторы предлагают запрашивать у ученых дополнительную информацию об их работе. Исследование опубликовано в журнале PLoS Biology.
Искусственный интеллект все активнее проникает в науку. Алгоритмы помогают ученым быстро анализировать большие наборы данных и искать связи между разными показателями. Однако часто ИИ не улучшает научную работу, а упрощает ее — некоторые авторы используют языковые модели для написания низкокачественных текстов, и до сих пор было неизвестно, насколько эта тенденция проникла в медицинскую сферу.
Международная команда исследователей решила оценить масштабы некачественного использования ИИ в медицинских статьях. В качестве основы они взяли базу данных Национального обследования состояния здоровья и питания в США (NHANES). Большой массив данных находится в открытом доступе и готов к использованию искусственного интеллекта. Только в 2024 году на базе NHANES ученые опубликовали более 2,2 тысяч исследований, еще более 1,2 тысяч вышло уже в этом году.
Авторы отобрали 341 статью, вышедшую с 2014 по 2024 год, в которых использовались базы данных NHANES. Работы публиковались в 147 журналах, в том числе принадлежащих крупным издательствам — Frontiers Media, Elsevier и Springer Nature.
Оказалось, что многие написаны по одинаковому шаблону — один фактор напрямую связан с депрессией, сердечно-сосудистыми заболеваниями, диабетом и другими явлениями. Так, ученые обнаружили 169 переменных, которые якобы влияют на состояние здоровья. В одной работе было высказано предположение, что уровень воспалительного белка в крови связан с развитием заболевания десен, а в другой повышение того же белка зависит от диеты, богатой углеводами.
«Уже не так информативно знать, что, например, один фактор связан с депрессией, потому что существует так много [других факторов]. Это не приведет к лечению», — прокомментировала Иоана Алина Кристеа, клинический психолог из Университета Падуи, Италия.
Затем команда протестировала 28 таких работ на статическую коррекцию — только 13 из них выдержали проверку. По словам ученых, остальные могли получить значимые результаты случайным способом. Кроме того, языковые модели берут данные из NHANES лишь за несколько лет или только определенной возрастной группы, не объясняя свой выбор. Например, из 14 работ, в которых рассматривалась связь между маркерами воспаления крови и диабетом и потерей слуха, только в четырех использовались полные наборы NHANES. Вероятно, ИИ опускал некоторые данные для того, чтобы получить нужную связь или «размножить» статьи на основе одной информации.
«Представьте, что вы пытаетесь сдать экзамен с определенным уровнем проходимости, и вы добавляете столько вопросов, сколько хотите. Вы видите, какие из них вы ответили правильно, и удаляете те, в которых вы ошиблись. По сути, это то, что они делают», — объяснил Чарли Харрисон, соавтор исследования из Университета Аберистуита, Великобритания.
Авторы подчеркнули, что возможность анализа NHANES с помощью ИИ только на руку «бумажным фабрикам» — компаниям, пишущим поддельные научные статьи на заказ. В 2022 году — примерно в то время, когда языковые модели стали популярными — количество публикаций начало заметно увеличиваться, и только из 2024 года команда отобрала 190 статей, поверхностно использующих данные. Чтобы остановить поток сомнительных работ, исследователи предлагают запрашивать у ученых их учебные планы перед использованием баз данных. Так эксперты смогут понять, действительно ли будущий автор пишет работу по своему профилю, или он пытается поднять свой рейтинг за счет самого факта наличия статьи в портфолио.
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
