Насколько мы недооцениваем или переоцениваем свои публикации перед рецензированием?
Вышел препринт статьи о разнице восприятия своих статей авторами до и после рецензирования. Peer-review широко используется в научных исследованиях для контроля качества, но часто исследователи считают процесс рецензирования нуждающимся в улучшении. Авторы препринта смотрят на то, как соотносятся представления авторов о поданных ими работах с результатами процесса рецензирования.
Авторы провели опрос на конференции Neural Information Processing Systems (NeurIPS) 2021, которая является одной из ведущих конференцией в области машинного обучения. На конференцию было подано более 9 000 докладов от более чем 23 000 авторов. Традиционно на конференцию принимается 20-25% поданных докладов, а в 2021 году этот показатель составил 25,8%. Чтобы выяснить мнение исследователей о поданных ими работах и дальнейшем рецензировании, авторы препринта спросили у них следующее:
• какова прогнозируемая вероятность принятия каждой из их работ,
• предполагаемый рейтинг их собственных работ на основе научного вклада,
• как изменилось восприятие их собственных работ после просмотра рецензий.
Основные результаты опроса:
1️⃣ Авторы примерно в три раза переоценивают вероятность принятия их статей.
2️⃣ Авторы-женщины демонстрируют немного большую ошибку, чем авторы-мужчины; прогнозы авторов, приглашенных в качестве мета-рецензентов или рецензентов, калибруются примерно так же, но лучше, чем у авторов, которые не были приглашены для рецензирования.
3️⃣ Относительное ранжирование авторами научного вклада двух поданных ими материалов в целом согласуется (93%) с предсказанной ими вероятностью принятия, но есть заметные 7% ответов, где авторы считают, что их лучшая работа будет иметь худший результат с точки зрения успешного рецензирования.
4️⃣ Рейтинги, составляемые авторами, не совпадали с решениями рецензентов примерно в трети случаев; когда соавторы ранжировали свои работы, написанные совместно, они не совпадали с ними примерно в трети случаев.
5️⃣ Не менее 30% респондентов как принятых, так и отклоненных работ заявили, что после процесса рецензирования их восприятие собственной работы улучшилось.
Это интересные выводы, которые можно принять во внимание при определении своих ожиданий от рецензирования.
#обзор #рецензирование #журналы #конференции
Вышел препринт статьи о разнице восприятия своих статей авторами до и после рецензирования. Peer-review широко используется в научных исследованиях для контроля качества, но часто исследователи считают процесс рецензирования нуждающимся в улучшении. Авторы препринта смотрят на то, как соотносятся представления авторов о поданных ими работах с результатами процесса рецензирования.
Авторы провели опрос на конференции Neural Information Processing Systems (NeurIPS) 2021, которая является одной из ведущих конференцией в области машинного обучения. На конференцию было подано более 9 000 докладов от более чем 23 000 авторов. Традиционно на конференцию принимается 20-25% поданных докладов, а в 2021 году этот показатель составил 25,8%. Чтобы выяснить мнение исследователей о поданных ими работах и дальнейшем рецензировании, авторы препринта спросили у них следующее:
• какова прогнозируемая вероятность принятия каждой из их работ,
• предполагаемый рейтинг их собственных работ на основе научного вклада,
• как изменилось восприятие их собственных работ после просмотра рецензий.
Основные результаты опроса:
1️⃣ Авторы примерно в три раза переоценивают вероятность принятия их статей.
2️⃣ Авторы-женщины демонстрируют немного большую ошибку, чем авторы-мужчины; прогнозы авторов, приглашенных в качестве мета-рецензентов или рецензентов, калибруются примерно так же, но лучше, чем у авторов, которые не были приглашены для рецензирования.
3️⃣ Относительное ранжирование авторами научного вклада двух поданных ими материалов в целом согласуется (93%) с предсказанной ими вероятностью принятия, но есть заметные 7% ответов, где авторы считают, что их лучшая работа будет иметь худший результат с точки зрения успешного рецензирования.
4️⃣ Рейтинги, составляемые авторами, не совпадали с решениями рецензентов примерно в трети случаев; когда соавторы ранжировали свои работы, написанные совместно, они не совпадали с ними примерно в трети случаев.
5️⃣ Не менее 30% респондентов как принятых, так и отклоненных работ заявили, что после процесса рецензирования их восприятие собственной работы улучшилось.
Это интересные выводы, которые можно принять во внимание при определении своих ожиданий от рецензирования.
#обзор #рецензирование #журналы #конференции
November 30, 2022
Как рецензенты отбирают заявки для грантов в Европейском исследовательском совете
European Research Council предлагает гранты (1,5–2,5 миллиона евро) ученым, проводящим свои исследования в учреждениях ЕС на срок до 5 лет. В 2022 году годовой бюджет Европейского исследовательского совета составил 2 миллиарда евро. Интересно посмотреть на то, как отбирают заявки для финансирования. Чтобы ответить на этот вопрос, коллеги провели исследование (и опросили 22 члена комитета ERC), сфокусировавшись на грантах, предназначенных для отдельных исследователей на двух разных этапах карьеры: стартовый грант (2–7 лет после получения докторской степени) и грант-консолидатор (7–12 лет после получения докторской степени).
Всего 27 групп рецензентов по трем основным областям исследований, которыми занимается ERC: физические и инженерные науки, науки о жизни, социальные и гуманитарные науки. Каждая группа рецензентов состоит из 11–18 всемирно признанных ученых, которые решают, какие именно проекты должны получить финансирование.
Сам процесс рецензирования состоит из двух этапов. На первом этапе рецензенты оценивают резюме кандидатов, списки публикаций и краткую пятистраничную версию исследовательского проекта. На втором — получают полные версии исследовательских проектов, а также рассылают их профильным экспертам для дополнительной проверки, после чего проводятся собеседования с предварительно отобранными кандидатами и окончательно выбираются финалисты.
Основной вопрос исследования — как рецензенты принимают решения касательно заявок в условиях высокой конкуренции исследовательских проектов. В ходе первого этапа процесса оценки ERC рецензентам необходимо оценить большое количество высококачественных заявок за короткий период времени, часто не являясь специалистами в отдельных узкоспециализированных областях. Для того, чтобы это сделать, рецензенты регулярно используют четыре типа механизма оценки:
1️⃣ Количественные показатели предыдущих успехов: количество публикаций, импакт-факторы и показатели цитирования, а также активность участия в конференциях, ранее полученное финансирование, участие в исследовательских комитетах или международных исследованиях. Особенно распространена такая оценка среди рецензентов в области естественных наук.
❗️Некоторые рецензенты рассматривали кандидатов с меньшим количеством публикаций или в менее престижных журналах, если кандидаты были из стран Восточной или Южной Европы или небольших университетов, потому что те могли иметь ограниченный доступ к исследовательской инфраструктуре и международным исследовательским сетям.
2️⃣ Оценка проектов путем их сравнения друг с другом (а не индивидуальной оценки). «Неконкурентные» проекты исключаются сразу, если отсутствует четкий исследовательский вопрос, имеются вопросы к заявке с точки зрения содержания, или она не проходит по требованиям объема.
3️⃣ Оценка того, насколько достижимыми и выполнимыми являются цель и задачи проекта + насколько все элементы, связанные с проектом и исследованием, соотносятся между собой. Рецензенты оценивали общую организацию проекта (сроки, график мероприятий, сочетание рабочих планов и научных сотрудников).
❗️Некоторые рецензенты в области социальных наук подчеркивали важность публикаций, написанных без участия докторов наук и/или научных руководителей, а в области естественных наук ждали тем, отличных от тем научных руководителей. Также некоторые рецензенты предпочитали хорошо сформулированные и «безопасные» проекты с запасным планом на случай неудачи, в то время как другие поддержали более рискованные предложения.
4️⃣ Оценка возможного вклада исследования в науку и влияния на общество. Чтобы оценить, какой вклад предлагаемые проекты могут внести в существующие исследования, большинству рецензентов необходимо иметь соответствующие знания о предмете исследования, но такие знания есть не всегда.
Читать далее
#обзор #рецензирование #гранты
European Research Council предлагает гранты (1,5–2,5 миллиона евро) ученым, проводящим свои исследования в учреждениях ЕС на срок до 5 лет. В 2022 году годовой бюджет Европейского исследовательского совета составил 2 миллиарда евро. Интересно посмотреть на то, как отбирают заявки для финансирования. Чтобы ответить на этот вопрос, коллеги провели исследование (и опросили 22 члена комитета ERC), сфокусировавшись на грантах, предназначенных для отдельных исследователей на двух разных этапах карьеры: стартовый грант (2–7 лет после получения докторской степени) и грант-консолидатор (7–12 лет после получения докторской степени).
Всего 27 групп рецензентов по трем основным областям исследований, которыми занимается ERC: физические и инженерные науки, науки о жизни, социальные и гуманитарные науки. Каждая группа рецензентов состоит из 11–18 всемирно признанных ученых, которые решают, какие именно проекты должны получить финансирование.
Сам процесс рецензирования состоит из двух этапов. На первом этапе рецензенты оценивают резюме кандидатов, списки публикаций и краткую пятистраничную версию исследовательского проекта. На втором — получают полные версии исследовательских проектов, а также рассылают их профильным экспертам для дополнительной проверки, после чего проводятся собеседования с предварительно отобранными кандидатами и окончательно выбираются финалисты.
Основной вопрос исследования — как рецензенты принимают решения касательно заявок в условиях высокой конкуренции исследовательских проектов. В ходе первого этапа процесса оценки ERC рецензентам необходимо оценить большое количество высококачественных заявок за короткий период времени, часто не являясь специалистами в отдельных узкоспециализированных областях. Для того, чтобы это сделать, рецензенты регулярно используют четыре типа механизма оценки:
1️⃣ Количественные показатели предыдущих успехов: количество публикаций, импакт-факторы и показатели цитирования, а также активность участия в конференциях, ранее полученное финансирование, участие в исследовательских комитетах или международных исследованиях. Особенно распространена такая оценка среди рецензентов в области естественных наук.
❗️Некоторые рецензенты рассматривали кандидатов с меньшим количеством публикаций или в менее престижных журналах, если кандидаты были из стран Восточной или Южной Европы или небольших университетов, потому что те могли иметь ограниченный доступ к исследовательской инфраструктуре и международным исследовательским сетям.
2️⃣ Оценка проектов путем их сравнения друг с другом (а не индивидуальной оценки). «Неконкурентные» проекты исключаются сразу, если отсутствует четкий исследовательский вопрос, имеются вопросы к заявке с точки зрения содержания, или она не проходит по требованиям объема.
3️⃣ Оценка того, насколько достижимыми и выполнимыми являются цель и задачи проекта + насколько все элементы, связанные с проектом и исследованием, соотносятся между собой. Рецензенты оценивали общую организацию проекта (сроки, график мероприятий, сочетание рабочих планов и научных сотрудников).
❗️Некоторые рецензенты в области социальных наук подчеркивали важность публикаций, написанных без участия докторов наук и/или научных руководителей, а в области естественных наук ждали тем, отличных от тем научных руководителей. Также некоторые рецензенты предпочитали хорошо сформулированные и «безопасные» проекты с запасным планом на случай неудачи, в то время как другие поддержали более рискованные предложения.
4️⃣ Оценка возможного вклада исследования в науку и влияния на общество. Чтобы оценить, какой вклад предлагаемые проекты могут внести в существующие исследования, большинству рецензентов необходимо иметь соответствующие знания о предмете исследования, но такие знания есть не всегда.
Читать далее
#обзор #рецензирование #гранты
December 28, 2022
О гендерном балансе: эксперимент в рамках конкурса грантового финансирования
В нашем канале мы не раз обращались к проблеме представленности женщин в академии: отмечали гендерный дисбаланс в различных дисциплинах (в том числе и в России), а также фиксируемый разрыв в цитировании работ. Продолжая цикл постов в рамках данной темы, сегодня планируем поговорить о соблюдении гендерного баланса при принятии решений о грантовой поддержке научных исследований.
В недавней работе испанских авторов широко освещается вопрос гендерной предвзятости в контексте привлечения грантового финансирования. Исследователи обращают внимание, что результаты предыдущих работ в этой области дают весьма противоречивые результаты. Стремясь внести ясность, авторы прибегают к проведению полевого эксперимента на базе экспертной системы университетов Галисии (Galician University System). В его рамках их интересовали 2 ключевых вопроса:
1. Есть ли различия в оценках проектов, где руководителями выступали мужчины или же, напротив, женщины?
2. Предвзяты ли рецензенты в отношении заявок, где ключевыми исследователями выступают авторы одного с ними пола?
В ходе эксперимента рецензенты оценивали схожий по характеристикам набор заявок, при этом сведения о ключевом исполнителе проекта выступали вмешательством.
Полученные эмпирические результаты свидетельствуют скорее о том, что обе гипотезы об отсутствии гендерной предвзятости на имеющемся эмпирическом материале не отвергаются. Авторы лишь обращают внимание на определенные (и статистически незначимые) различия в оценке женщинами заявок, где ключевыми исследователями выступают мужчины-руководители при отсутствии схожего паттерна поведения у рецензентов мужского пола.
Исследовательские выводы дают надежду на то, что хотя бы в отдельных аспектах соблюдение гендерного баланса в академической сфере не должно быть существенной проблемой. Между тем как отмечают сами авторы исследования, результаты эксперимента довольно сложно обобщить на другие кейсы грантовых систем и потенциально на другие страны. Кроме того, отмеченный гендерный дисбаланс рассматривался именно с позиции преференций при оценке непосредственных заявок: женщин-руководителей грантовых заявок все еще несравнимо меньше, чем мужчин.
#обзор #рецензирование #гранты #женщины
В нашем канале мы не раз обращались к проблеме представленности женщин в академии: отмечали гендерный дисбаланс в различных дисциплинах (в том числе и в России), а также фиксируемый разрыв в цитировании работ. Продолжая цикл постов в рамках данной темы, сегодня планируем поговорить о соблюдении гендерного баланса при принятии решений о грантовой поддержке научных исследований.
В недавней работе испанских авторов широко освещается вопрос гендерной предвзятости в контексте привлечения грантового финансирования. Исследователи обращают внимание, что результаты предыдущих работ в этой области дают весьма противоречивые результаты. Стремясь внести ясность, авторы прибегают к проведению полевого эксперимента на базе экспертной системы университетов Галисии (Galician University System). В его рамках их интересовали 2 ключевых вопроса:
1. Есть ли различия в оценках проектов, где руководителями выступали мужчины или же, напротив, женщины?
2. Предвзяты ли рецензенты в отношении заявок, где ключевыми исследователями выступают авторы одного с ними пола?
В ходе эксперимента рецензенты оценивали схожий по характеристикам набор заявок, при этом сведения о ключевом исполнителе проекта выступали вмешательством.
Полученные эмпирические результаты свидетельствуют скорее о том, что обе гипотезы об отсутствии гендерной предвзятости на имеющемся эмпирическом материале не отвергаются. Авторы лишь обращают внимание на определенные (и статистически незначимые) различия в оценке женщинами заявок, где ключевыми исследователями выступают мужчины-руководители при отсутствии схожего паттерна поведения у рецензентов мужского пола.
Исследовательские выводы дают надежду на то, что хотя бы в отдельных аспектах соблюдение гендерного баланса в академической сфере не должно быть существенной проблемой. Между тем как отмечают сами авторы исследования, результаты эксперимента довольно сложно обобщить на другие кейсы грантовых систем и потенциально на другие страны. Кроме того, отмеченный гендерный дисбаланс рассматривался именно с позиции преференций при оценке непосредственных заявок: женщин-руководителей грантовых заявок все еще несравнимо меньше, чем мужчин.
#обзор #рецензирование #гранты #женщины
September 19, 2023
Внедрение стандартизированных рецензий
Марио Малички (Mario Malički), редактор Research Integrity and Peer Review, опубликовал результаты пилотного исследования внедрения практики стандартизированных рецензий в журналы издательства Elsevier.
По мнению автора, рецензенты редко комментируют одни и те же аспекты исследования, что затрудняет точность оценки качества исследований и ставит под сомнение объективность процесса рецензирования.
«Я получил 2 рецензии на статью, отправленную на рассмотрение в журнал; в одной было 3 комментария, в другой — 11. Отзывы отличались по всем пунктам, кроме одного. Замечания были даны в адрес проработки раздела “обсуждение” (discussion), а также некоторых методологических деталей. Постановка целей, анализ данных и слабые стороны исследования остались без внимания рецензентов», — пишет Малички.
Авторы, как правило, руководствуются двумя распространенными предположениями в отношении отзывов рецензентов: во-первых, все аспекты, которых не коснулись рецензенты, не подверглись критике; во-вторых, рецензенты обладали достаточными знаниями для всесторонней оценки исследования.
Однако, согласно ряду исследований, процесс рецензирования полон недостатков, которые связаны с неспособностью некоторых рецензентов обнаружить:
🔹 (значительные) методологические недостатки статьи;
🔹 неточности в интерпретации и обобщении результатов;
🔹 неправильное использование ссылок;
🔹 отсутствие данных, необходимых для повторного анализа или воспроизведения исследования;
🔹 отсутствие элементов, необходимых для оценки предвзятости или качества исследования.
По мнению автора, повысить качество экспертной оценки можно за счет внедрения стандартизированных отзывов на публикации, для чего журналы должны предоставлять рецензентам список вопросов, сосредоточенных на всех аспектах исследования, а также размещать на сайте журнала:
а) список вопросов для рецензентов (что позволит авторам использовать те же вопросы в качестве контрольного списка для анализа работы и повышения её качества);
б) развернутые отзывы рецензентов (что позволит читателям посмотреть как оценивалась статья, а исследователям даст возможность изучить практику рецензирования).
Стандартизированное рецензирование было апробировано в августе 2022 года в 220 журналах Elsevier. В рамках пилотного исследования было проанализировано примерно 10% выборки, а именно — 214 отзывов рецензентов на 107 статей из 23 случайно выбранных (вне зависимости от тематики и квартиля) журналов. Каждый отзыв состоял из ответов на 9 одинаковых вопросов и информации, оставленной в поле «Комментарии для автора», и в конфиденциальном поле «Комментарии для редактора». Ознакомиться с шаблоном вопросов можно по ссылке.
Абсолютное совпадение мнений относительно окончательных рекомендаций рецензента составило 41%, причем статистической разницы между научными областями или квартилями обнаружено не было, тогда как по последним данным Elsevier (на основе 7 220 243 рукописей, опубликованных с 2019 по 2021 год в 2416 журналах), рецензенты приняли одинаковые решения на первом этапе рецензирования всего в 30% случаев.
Более того, в ряде случаев комментарии рецензентов совпадали в отношении отдельных фрагментов работы. Согласно результатам исследования, самое высокое (частичное) согласие рецензентов (72%) было обнаружено при оценивании структуры статьи, а самое низкое (частичное) согласие (53%) — для оценивания подтверждения интерпретации результатов данными, а также для оценки уместности и достаточной детальности статистического анализа (52%).
Предварительные результаты показывают, что, руководствуясь одними и теми же вопросами, рецензенты давали идентичные первоначальные рекомендации насчет принятия/отклонения или доработки публикации. По мнению автора, отсутствие стандартизированных практик в рецензировании замедляет прогресс науки, а их внедрение поможет сделать отзывы более объективными, прозрачными и заслуживающими доверия.
#Elsevier #рецензирование #обзор
Марио Малички (Mario Malički), редактор Research Integrity and Peer Review, опубликовал результаты пилотного исследования внедрения практики стандартизированных рецензий в журналы издательства Elsevier.
По мнению автора, рецензенты редко комментируют одни и те же аспекты исследования, что затрудняет точность оценки качества исследований и ставит под сомнение объективность процесса рецензирования.
«Я получил 2 рецензии на статью, отправленную на рассмотрение в журнал; в одной было 3 комментария, в другой — 11. Отзывы отличались по всем пунктам, кроме одного. Замечания были даны в адрес проработки раздела “обсуждение” (discussion), а также некоторых методологических деталей. Постановка целей, анализ данных и слабые стороны исследования остались без внимания рецензентов», — пишет Малички.
Авторы, как правило, руководствуются двумя распространенными предположениями в отношении отзывов рецензентов: во-первых, все аспекты, которых не коснулись рецензенты, не подверглись критике; во-вторых, рецензенты обладали достаточными знаниями для всесторонней оценки исследования.
Однако, согласно ряду исследований, процесс рецензирования полон недостатков, которые связаны с неспособностью некоторых рецензентов обнаружить:
🔹 (значительные) методологические недостатки статьи;
🔹 неточности в интерпретации и обобщении результатов;
🔹 неправильное использование ссылок;
🔹 отсутствие данных, необходимых для повторного анализа или воспроизведения исследования;
🔹 отсутствие элементов, необходимых для оценки предвзятости или качества исследования.
По мнению автора, повысить качество экспертной оценки можно за счет внедрения стандартизированных отзывов на публикации, для чего журналы должны предоставлять рецензентам список вопросов, сосредоточенных на всех аспектах исследования, а также размещать на сайте журнала:
а) список вопросов для рецензентов (что позволит авторам использовать те же вопросы в качестве контрольного списка для анализа работы и повышения её качества);
б) развернутые отзывы рецензентов (что позволит читателям посмотреть как оценивалась статья, а исследователям даст возможность изучить практику рецензирования).
Стандартизированное рецензирование было апробировано в августе 2022 года в 220 журналах Elsevier. В рамках пилотного исследования было проанализировано примерно 10% выборки, а именно — 214 отзывов рецензентов на 107 статей из 23 случайно выбранных (вне зависимости от тематики и квартиля) журналов. Каждый отзыв состоял из ответов на 9 одинаковых вопросов и информации, оставленной в поле «Комментарии для автора», и в конфиденциальном поле «Комментарии для редактора». Ознакомиться с шаблоном вопросов можно по ссылке.
Абсолютное совпадение мнений относительно окончательных рекомендаций рецензента составило 41%, причем статистической разницы между научными областями или квартилями обнаружено не было, тогда как по последним данным Elsevier (на основе 7 220 243 рукописей, опубликованных с 2019 по 2021 год в 2416 журналах), рецензенты приняли одинаковые решения на первом этапе рецензирования всего в 30% случаев.
Более того, в ряде случаев комментарии рецензентов совпадали в отношении отдельных фрагментов работы. Согласно результатам исследования, самое высокое (частичное) согласие рецензентов (72%) было обнаружено при оценивании структуры статьи, а самое низкое (частичное) согласие (53%) — для оценивания подтверждения интерпретации результатов данными, а также для оценки уместности и достаточной детальности статистического анализа (52%).
Предварительные результаты показывают, что, руководствуясь одними и теми же вопросами, рецензенты давали идентичные первоначальные рекомендации насчет принятия/отклонения или доработки публикации. По мнению автора, отсутствие стандартизированных практик в рецензировании замедляет прогресс науки, а их внедрение поможет сделать отзывы более объективными, прозрачными и заслуживающими доверия.
#Elsevier #рецензирование #обзор
June 11, 2024
Качество исследования vs влияние: дискуссия о подходе к оценке публикаций
Зачастую ценность результатов научных исследований определяется не только их качеством. Важную роль могут играть также ненаучные факторы, не относящиеся напрямую к научному содержанию: объем публикации, особенности издания, упоминаемые аффилиации, репутация авторов и т.п.
В недавней статье исследователи, входящие в число рецензентов журнала Scientometrics, ставят вопрос о том, что должно быть ориентиром в оценке публикации: достаточно ли оценивать качество работы или следует руководствоваться более широким понятием научного влияния?
С одной стороны, в большинстве стран и институтов научная политика ориентирована на эффективное распределение средств для увеличения пользы от научных работ и максимизации их социального влияния.
С другой стороны, авторы указывают, что существующие во многих странах системы оценки научных исследований — например, британская программа REF 2021 — ориентированы в основном именно на оценку качества публикации (оригинальность, значимость, логичность), используя в качестве метода преимущественно экспертное рецензирование. Хотя в британской программе социальный импакт тоже учитывается, но имеет меньший вес по сравнению с оценкой качества (60% против 25%).
В последние годы эта проблема обсуждается довольно активно. Так, в 2022 году в рамках инициативы Coalition for Advancing Research Assessment (CoARA) было сформулировано «Соглашение о реформировании оценки научных исследований», что привело к очередному витку наукометрической дискуссии: стоит ли оценивать исследования на основе качества ограниченного числа работ или на основе влияния неограниченного числа только индексируемых публикаций.
В статье авторы предполагают, что выбор подхода, ориентированного на оценку влияния публикации, может быть оправдан потенциальной ролью ненаучных факторов. Чтобы оценить их значимость, авторы использовали, с одной стороны, экспертные оценки, которые рецензенты присвоили 6 446 публикациям в рамках первой итальянской процедуры по оценке публикаций (Research Assessment Exercise) за период 2001-2003 гг., а с другой – показатели научного влияния, которое измерялось через цитируемость публикаций согласно данным Web of Science с нормировкой на области и окна цитирования. На основе этих данных были построены 3 прогностические модели со случайными эффектами, включающие:
1. только ненаучные факторы;
2. ненаучные факторы и экспертную оценку, присвоенную рецензентами;
3. ненаучные факторы и краткосрочный импакт, измеряемый ранним цитированием.
Сравнение моделей показало, что прогностическая точность первой регрессионной модели с точки зрения коэффициента детерминации схожа со второй. Таким образом, дорогостоящая качественная экспертная оценка несущественно отличалась в точности предсказаний от количественной оценки, основанной на ненаучных параметрах.
Выяснилось, что для положительного долгосрочного влияния важны следующие факторы: наличие иностранных соавторов, их репутация, длина публикации и импакт-фактор журнала; процент самоцитирований и «возраст» цитируемых статей, напротив, имеют отрицательное влияние. Общее количество авторов и наличие открытого доступа оказались практически незначимыми факторами.
Хотя качественное рецензирование остается важной частью оценки исследований, включение и учет ненаучных факторов, описываемых количественными методами, могут дать более полное представление о влиянии публикаций. В то же время, оглядываясь на отечественный опыт проведения процедуры оценки, Д. Косяков и А. Гуськов еще в 2019 году подчеркивали, что он тяготеет скорее к обратной крайности: качественная оценка по большей части исключалась в пользу формальных количественных метрик.
Нахождение баланса представляется важной задачей в рамках совершенствования государственной политики в области оценки научных организаций и исследовательских коллективов.
#обзор #рецензирование #экспертныеоценки
Зачастую ценность результатов научных исследований определяется не только их качеством. Важную роль могут играть также ненаучные факторы, не относящиеся напрямую к научному содержанию: объем публикации, особенности издания, упоминаемые аффилиации, репутация авторов и т.п.
В недавней статье исследователи, входящие в число рецензентов журнала Scientometrics, ставят вопрос о том, что должно быть ориентиром в оценке публикации: достаточно ли оценивать качество работы или следует руководствоваться более широким понятием научного влияния?
С одной стороны, в большинстве стран и институтов научная политика ориентирована на эффективное распределение средств для увеличения пользы от научных работ и максимизации их социального влияния.
С другой стороны, авторы указывают, что существующие во многих странах системы оценки научных исследований — например, британская программа REF 2021 — ориентированы в основном именно на оценку качества публикации (оригинальность, значимость, логичность), используя в качестве метода преимущественно экспертное рецензирование. Хотя в британской программе социальный импакт тоже учитывается, но имеет меньший вес по сравнению с оценкой качества (60% против 25%).
В последние годы эта проблема обсуждается довольно активно. Так, в 2022 году в рамках инициативы Coalition for Advancing Research Assessment (CoARA) было сформулировано «Соглашение о реформировании оценки научных исследований», что привело к очередному витку наукометрической дискуссии: стоит ли оценивать исследования на основе качества ограниченного числа работ или на основе влияния неограниченного числа только индексируемых публикаций.
В статье авторы предполагают, что выбор подхода, ориентированного на оценку влияния публикации, может быть оправдан потенциальной ролью ненаучных факторов. Чтобы оценить их значимость, авторы использовали, с одной стороны, экспертные оценки, которые рецензенты присвоили 6 446 публикациям в рамках первой итальянской процедуры по оценке публикаций (Research Assessment Exercise) за период 2001-2003 гг., а с другой – показатели научного влияния, которое измерялось через цитируемость публикаций согласно данным Web of Science с нормировкой на области и окна цитирования. На основе этих данных были построены 3 прогностические модели со случайными эффектами, включающие:
1. только ненаучные факторы;
2. ненаучные факторы и экспертную оценку, присвоенную рецензентами;
3. ненаучные факторы и краткосрочный импакт, измеряемый ранним цитированием.
Сравнение моделей показало, что прогностическая точность первой регрессионной модели с точки зрения коэффициента детерминации схожа со второй. Таким образом, дорогостоящая качественная экспертная оценка несущественно отличалась в точности предсказаний от количественной оценки, основанной на ненаучных параметрах.
Выяснилось, что для положительного долгосрочного влияния важны следующие факторы: наличие иностранных соавторов, их репутация, длина публикации и импакт-фактор журнала; процент самоцитирований и «возраст» цитируемых статей, напротив, имеют отрицательное влияние. Общее количество авторов и наличие открытого доступа оказались практически незначимыми факторами.
Хотя качественное рецензирование остается важной частью оценки исследований, включение и учет ненаучных факторов, описываемых количественными методами, могут дать более полное представление о влиянии публикаций. В то же время, оглядываясь на отечественный опыт проведения процедуры оценки, Д. Косяков и А. Гуськов еще в 2019 году подчеркивали, что он тяготеет скорее к обратной крайности: качественная оценка по большей части исключалась в пользу формальных количественных метрик.
Нахождение баланса представляется важной задачей в рамках совершенствования государственной политики в области оценки научных организаций и исследовательских коллективов.
#обзор #рецензирование #экспертныеоценки
September 20, 2024
CoARA vs ISSI: подходы к оценке публикаций
Не так давно, в сентябре, мы уже касались дискуссии о подходе к оценке публикаций: какие факторы следует учитывать при определении ценности научной работы, можно ли полагаться только на объективные количественные критерии или следует каким-то образом принимать во внимание дальнейшее научное и социальное влияние исследование?
Сегодня мы решили чуть больше рассказать об инициативе CoARA и ее критике. CoARA, или Коалиция по развитию оценки исследований, была основана в 2022 г., а в июле того же года был опубликован программный документ: Соглашение о реформировании оценки научных исследований, которое предполагает признание широкого спектра практик, видов деятельности и профессиональных траекторий в научно-исследовательской среде, а также активно продвигает включение качественных контрольных показателей в оценку научной работы одновременно со снижением влияния зависимости от показателей, основанных на количественных метриках. На 15 октября 2024 г. соглашение подписали 796 учреждений, включая государственные и частные университеты, институты и другие организации, которые имеют отношение к научной оценке. После подписания и вступления в Коалицию организация может принять участие в одной или нескольких рабочих группах (всего их 13).
Однако в статье Джованни Абрамо, президента ISSI, инициатива критикуется достаточно подробно. Во-первых, Коалиция была сформирована без участия ISSI (Международного общества наукометрии и инфометрии). Возможно, у учредителей CoARA возникли сомнения в использования количественного подхода со стороны ISSI, однако специалисты по наукометрии хорошо знают, в каких обстоятельствах следует применять метрики, а в каких — использовать экспертную оценку. Основной проблемой являются не сами метрики, а их применение без экспертных навыков.
Впрочем, одна их рабочих групп Коалиции так и называется «Ответственные показатели и индикаторы». Абрамо справедливо отмечает, что «ответственного» отношения мало, чтобы правильно использовать наукометрические инструменты, но, в целом, подходы в этом плане у них похожие.
Во-вторых, CoARA рассматривает рецензирование как основной метод оценки, поэтому сосредотачивается на оценке качества результата. Наукометрические методы, напротив, измеряют последующее влияние (различные показатели, связанные с цитируемостью), которое, разумеется, ни один рецензент предсказать не может. Кроме того, следует учитывать издержки рецензирования. В 2020 году рецензенты по всему миру потратили на рецензирование более 100 миллионов часов (более 10 тысяч лет!), а оценочная стоимость времени составляет $1,5 млрд в США, $600 млн в Китае и $400 млн в Великобритании (Aczel et al.).
Один из самых важных вопросов и наиболее ключевых отличий между позициями CoARA и Абрамо заключается в том, кто должен выбирать методы и индикаторы оценки — эксперты или пользователи? Разработчики политики CoARA выступают за пользователя, однако Абрамо вполне обоснованно на стороне экспертов-профессионалов.
Итак, Абрамо предлагает сохранить в качестве центрального элемента научной оценки количественные методы, применяемые к индексируемым работам, подчеркивая при этом, что у них есть сильные и слабые стороны. В заключении он поднимает другой вопрос: почему так широко распространились сомнения по поводу использования текущих наукометрических показателей? Возможно, это связано с тем, что ключевые идеи наукометрического сообщества игнорируются либо трактуются неверно. И именно в этом ключе следует прилагать дальнейшие усилия.
#обзор #рецензирование #экспертныеоценки #CoARA #ISSI
Не так давно, в сентябре, мы уже касались дискуссии о подходе к оценке публикаций: какие факторы следует учитывать при определении ценности научной работы, можно ли полагаться только на объективные количественные критерии или следует каким-то образом принимать во внимание дальнейшее научное и социальное влияние исследование?
Сегодня мы решили чуть больше рассказать об инициативе CoARA и ее критике. CoARA, или Коалиция по развитию оценки исследований, была основана в 2022 г., а в июле того же года был опубликован программный документ: Соглашение о реформировании оценки научных исследований, которое предполагает признание широкого спектра практик, видов деятельности и профессиональных траекторий в научно-исследовательской среде, а также активно продвигает включение качественных контрольных показателей в оценку научной работы одновременно со снижением влияния зависимости от показателей, основанных на количественных метриках. На 15 октября 2024 г. соглашение подписали 796 учреждений, включая государственные и частные университеты, институты и другие организации, которые имеют отношение к научной оценке. После подписания и вступления в Коалицию организация может принять участие в одной или нескольких рабочих группах (всего их 13).
Однако в статье Джованни Абрамо, президента ISSI, инициатива критикуется достаточно подробно. Во-первых, Коалиция была сформирована без участия ISSI (Международного общества наукометрии и инфометрии). Возможно, у учредителей CoARA возникли сомнения в использования количественного подхода со стороны ISSI, однако специалисты по наукометрии хорошо знают, в каких обстоятельствах следует применять метрики, а в каких — использовать экспертную оценку. Основной проблемой являются не сами метрики, а их применение без экспертных навыков.
Впрочем, одна их рабочих групп Коалиции так и называется «Ответственные показатели и индикаторы». Абрамо справедливо отмечает, что «ответственного» отношения мало, чтобы правильно использовать наукометрические инструменты, но, в целом, подходы в этом плане у них похожие.
Во-вторых, CoARA рассматривает рецензирование как основной метод оценки, поэтому сосредотачивается на оценке качества результата. Наукометрические методы, напротив, измеряют последующее влияние (различные показатели, связанные с цитируемостью), которое, разумеется, ни один рецензент предсказать не может. Кроме того, следует учитывать издержки рецензирования. В 2020 году рецензенты по всему миру потратили на рецензирование более 100 миллионов часов (более 10 тысяч лет!), а оценочная стоимость времени составляет $1,5 млрд в США, $600 млн в Китае и $400 млн в Великобритании (Aczel et al.).
Один из самых важных вопросов и наиболее ключевых отличий между позициями CoARA и Абрамо заключается в том, кто должен выбирать методы и индикаторы оценки — эксперты или пользователи? Разработчики политики CoARA выступают за пользователя, однако Абрамо вполне обоснованно на стороне экспертов-профессионалов.
Итак, Абрамо предлагает сохранить в качестве центрального элемента научной оценки количественные методы, применяемые к индексируемым работам, подчеркивая при этом, что у них есть сильные и слабые стороны. В заключении он поднимает другой вопрос: почему так широко распространились сомнения по поводу использования текущих наукометрических показателей? Возможно, это связано с тем, что ключевые идеи наукометрического сообщества игнорируются либо трактуются неверно. И именно в этом ключе следует прилагать дальнейшие усилия.
#обзор #рецензирование #экспертныеоценки #CoARA #ISSI
November 13, 2024