Retracted Articles: от репутационных проблем к аналитике по областям
Совсем недавно Wiley, авторитетное издание с двухсотлетней историей, анонсировало закрытие 19 научных журналов. Wiley сообщило, что за последние 2 года из журналов издательства были отозваны 11 300 недобросовестных исследований, 8 000 из которых относились к издательству Hindawi (в 2021 году Hindawi было выкуплено Wiley, однако после такой массовой ретракции компания Wiley объявила, что прекратит использовать бренд Hindawi, а 200 оставшихся журналов включит в свой основной портфель).
По данным Nature в перечень лидирующих стран по количеству отозванных статей за последние два десятилетия входят Саудовская Аравия, Пакистан, Россия и Китай. Согласно приведенной в заметке статистике, в Саудовской Аравии на 10 тысяч публикаций приходится в среднем 30,6 ретракций, далее следует Пакистан (28,1) и Россия (24,9), на долю Китая приходится 23,5 ретракций. При этом медианное значение колеблется около 5 на 10 000.
В связи с постоянно растущим интересом к этой теме (заметки в Scholary Kitchen, Nature, Times, проверки отозванных статей со стороны департамента науки министерства образования Китая) мы решили проанализировать количество отозванных статей в разрезе по областям на базе OpenAlex, которая как раз в марте провела довольно масштабную работу по обновлению базы отозванных статей и исправлению ложноположительных результатов.
Самый актуальный вопрос для исследования, пожалуй, заключается в том, является ли большое количество отозванных статей в рамках издательства или журнала признаком его низкого качества? В целом, можно предположить, что если статьи массово отзываются, особенно в рамках издательства или отдельного журнала, то это означает, что постпечатная проверка (или внимание публики к вышедшим материалам) по качеству превосходит проверку перед публикацией, то есть проблемы связаны преимущественно с рецензированием.
С точки зрения областей наук тенденции вполне предсказуемые — большинство отозванных работ относятся к естественным наукам, в частности, биохимии, молекулярной биологии и медицине, почти столько же в сумме составляют публикации по инженерному делу и компьютерным наукам.
В этих областях есть много нюансов. Так, например, помимо заведомого нарушения правил подготовки публикации и недобросовестного отношения к подбору материала, многие кейсы, описанные в статьях по медицине, посвящены ранним исследованиям COVID-19. После получения более широкой выборки результаты стали заведомо неточными, и часть авторов сами отозвали свои публикации. Похожие случаи встречаются и в области компьютерных наук: например, если метод или систему, предложенные в статье, не получилось масштабировать, такие статьи также отзываются по просьбе автора. В случае несогласия авторов с решением редколлегии это, как правило, отмечается в сопутствующей заметке.
Мы сделали treemap-диаграмму по статьям, помеченным как отозванные в базе данных OpenAlex. Всего таких 46 тысяч, из них мы выбрали около 19 тысяч — те, что были написаны с 2019 по 2023 гг. С интерактивной версией диаграммы вы можете ознакомиться по ссылке.
#аналитика #openalex #ретракция
Совсем недавно Wiley, авторитетное издание с двухсотлетней историей, анонсировало закрытие 19 научных журналов. Wiley сообщило, что за последние 2 года из журналов издательства были отозваны 11 300 недобросовестных исследований, 8 000 из которых относились к издательству Hindawi (в 2021 году Hindawi было выкуплено Wiley, однако после такой массовой ретракции компания Wiley объявила, что прекратит использовать бренд Hindawi, а 200 оставшихся журналов включит в свой основной портфель).
По данным Nature в перечень лидирующих стран по количеству отозванных статей за последние два десятилетия входят Саудовская Аравия, Пакистан, Россия и Китай. Согласно приведенной в заметке статистике, в Саудовской Аравии на 10 тысяч публикаций приходится в среднем 30,6 ретракций, далее следует Пакистан (28,1) и Россия (24,9), на долю Китая приходится 23,5 ретракций. При этом медианное значение колеблется около 5 на 10 000.
В связи с постоянно растущим интересом к этой теме (заметки в Scholary Kitchen, Nature, Times, проверки отозванных статей со стороны департамента науки министерства образования Китая) мы решили проанализировать количество отозванных статей в разрезе по областям на базе OpenAlex, которая как раз в марте провела довольно масштабную работу по обновлению базы отозванных статей и исправлению ложноположительных результатов.
Самый актуальный вопрос для исследования, пожалуй, заключается в том, является ли большое количество отозванных статей в рамках издательства или журнала признаком его низкого качества? В целом, можно предположить, что если статьи массово отзываются, особенно в рамках издательства или отдельного журнала, то это означает, что постпечатная проверка (или внимание публики к вышедшим материалам) по качеству превосходит проверку перед публикацией, то есть проблемы связаны преимущественно с рецензированием.
С точки зрения областей наук тенденции вполне предсказуемые — большинство отозванных работ относятся к естественным наукам, в частности, биохимии, молекулярной биологии и медицине, почти столько же в сумме составляют публикации по инженерному делу и компьютерным наукам.
В этих областях есть много нюансов. Так, например, помимо заведомого нарушения правил подготовки публикации и недобросовестного отношения к подбору материала, многие кейсы, описанные в статьях по медицине, посвящены ранним исследованиям COVID-19. После получения более широкой выборки результаты стали заведомо неточными, и часть авторов сами отозвали свои публикации. Похожие случаи встречаются и в области компьютерных наук: например, если метод или систему, предложенные в статье, не получилось масштабировать, такие статьи также отзываются по просьбе автора. В случае несогласия авторов с решением редколлегии это, как правило, отмечается в сопутствующей заметке.
Мы сделали treemap-диаграмму по статьям, помеченным как отозванные в базе данных OpenAlex. Всего таких 46 тысяч, из них мы выбрали около 19 тысяч — те, что были написаны с 2019 по 2023 гг. С интерактивной версией диаграммы вы можете ознакомиться по ссылке.
#аналитика #openalex #ретракция
«Невидимые чернила»: о скрытых исправлениях в опубликованных статьях
В конце прошлого года мы рассказывали об исправлениях в опубликованных статьях: erratum и corrigendum. Обычно такие типы материалов редко привлекают внимание научного сообщества, но зачастую они являются наглядным доказательством ответственного отношения к науке и гарантируют сохранение научной целостности различных областей знаний. Однако сегодня, когда большинство научных трудов выпускается в электронном формате, возникают риски другого рода, получающие в последнее время все большее распространение: внесение авторских правок в публикации постфактум без соответствующего уведомления или попросту исчезновение статей без какой-либо пометки.
Ранее в научной литературе уже рассматривались случаи stealth retractions, или скрытых ретракций, в частности, Тайшера да Силва опубликовал довольно развернутую статью в 2015 году и вновь возвращался к этой теме в последующие годы применительно к более узким научным областям (кстати, на волне нападок на журнальную индустрию с исследователем отказывались работать отдельные редакции).
Встречаются и случаи stealth corrections, или скрытых исправлений. В недавней публикации Learned Publishing исследователи обратились к «научным детективам» и данным PubPeer, чтобы найти статьи, которые были изменены после публикации без выхода erratum. Таких нашлось 131, причем в 92 случаях исправления касались самого содержания статьи, в 27 случаях — выходной информации (например, статья «перемещается» из спецвыпуска в основной, меняется выпускающий редактор и др.), в 9 случаях изменялась информация об авторах, а в оставшихся — дополнительная информация (ethics statement и др.).
Авторы прилагают к своему исследованию документ, содержащий краткое описание каждого кейса. Чаще всего, по-видимому, речь идет о технических ошибках, на которые мог повлиять человеческий фактор, однако даже в таком случае в академической среде требуется выпуск erratum/corrigendum (в качестве альтернативы предлагается доработать платформы для автоматического открытого и прозрачного логирования любых изменений).
По мнению авторов, сама возможность внесения скрытых исправлений в статью после публикации должна быть устранена, поскольку угрожает вышеупомянутой научной целостности, а кроме того, читатели должны иметь возможность самостоятельно определять, является ли изменение существенным или нет, а не полагаться на усмотрение редакторов.
Помимо опубликованного списка, авторы создали онлайн-таблицу, в которой просят регистрировать обнаруженные случаи скрытых исправлений. Пока, безусловно, сложно говорить о массовости обнаруженных кейсов, которые к тому же касаются зачастую политики отдельных изданий, но поддержать стремление коллег полезно, поскольку целостность является одним из ключевых параметров качества данных, а научная среда подразумевает, что любые действия должны протоколироваться, чтобы иметь возможность безошибочно отслеживать этапы научной работы.
#erratum #retraction #ретракция #обзор
В конце прошлого года мы рассказывали об исправлениях в опубликованных статьях: erratum и corrigendum. Обычно такие типы материалов редко привлекают внимание научного сообщества, но зачастую они являются наглядным доказательством ответственного отношения к науке и гарантируют сохранение научной целостности различных областей знаний. Однако сегодня, когда большинство научных трудов выпускается в электронном формате, возникают риски другого рода, получающие в последнее время все большее распространение: внесение авторских правок в публикации постфактум без соответствующего уведомления или попросту исчезновение статей без какой-либо пометки.
Ранее в научной литературе уже рассматривались случаи stealth retractions, или скрытых ретракций, в частности, Тайшера да Силва опубликовал довольно развернутую статью в 2015 году и вновь возвращался к этой теме в последующие годы применительно к более узким научным областям (кстати, на волне нападок на журнальную индустрию с исследователем отказывались работать отдельные редакции).
Встречаются и случаи stealth corrections, или скрытых исправлений. В недавней публикации Learned Publishing исследователи обратились к «научным детективам» и данным PubPeer, чтобы найти статьи, которые были изменены после публикации без выхода erratum. Таких нашлось 131, причем в 92 случаях исправления касались самого содержания статьи, в 27 случаях — выходной информации (например, статья «перемещается» из спецвыпуска в основной, меняется выпускающий редактор и др.), в 9 случаях изменялась информация об авторах, а в оставшихся — дополнительная информация (ethics statement и др.).
Авторы прилагают к своему исследованию документ, содержащий краткое описание каждого кейса. Чаще всего, по-видимому, речь идет о технических ошибках, на которые мог повлиять человеческий фактор, однако даже в таком случае в академической среде требуется выпуск erratum/corrigendum (в качестве альтернативы предлагается доработать платформы для автоматического открытого и прозрачного логирования любых изменений).
По мнению авторов, сама возможность внесения скрытых исправлений в статью после публикации должна быть устранена, поскольку угрожает вышеупомянутой научной целостности, а кроме того, читатели должны иметь возможность самостоятельно определять, является ли изменение существенным или нет, а не полагаться на усмотрение редакторов.
Помимо опубликованного списка, авторы создали онлайн-таблицу, в которой просят регистрировать обнаруженные случаи скрытых исправлений. Пока, безусловно, сложно говорить о массовости обнаруженных кейсов, которые к тому же касаются зачастую политики отдельных изданий, но поддержать стремление коллег полезно, поскольку целостность является одним из ключевых параметров качества данных, а научная среда подразумевает, что любые действия должны протоколироваться, чтобы иметь возможность безошибочно отслеживать этапы научной работы.
#erratum #retraction #ретракция #обзор