Выше квартилей
3.02K subscribers
117 photos
1 video
1 file
328 links
HSE: Home of Scientometrics and Expertise

Обучение и консультирование по практическим вопросам research evaluation и управлении наукой.

Все вопросы и предложения направляйте @vyshekbot или на почту Наукометрического центра ВШЭ: scientometrics@hse.ru
加入频道
​​OPEN ACCESS DASHBOARD

COKI (Curtin Open Knowledge Initiative) разработали интерактивную панель стран и университетов с открытым доступом. Открытый доступ к результатам исследований — небольшая, но важная часть эффективного открытого института знаний. COKI относят статью к открытому доступу, если она открыта у издателя, открыта у другой платформы или и у издателя, и на других платформах вместе.

Датасет COKI Open Access охватывает 142 страны и 5118 институций, которые имеют как минимум 1000 публикаций. Процесс работы такой:
1. Данные о публикациях берут из нескольких источников: Crossref Metadata (цитаты, название статьи, название журнала), Crossref Funder Registry (спонсор), Crossref Events (соцсети и мероприятия), Microsoft Academic Graph (MAG) (аффилиация, тема), Unpaywall (статус OA), the Research Organization Registry (ROR) (идентификаторы учреждения), Open Citations (дополнительная информация о цитировании).
2. Синтезируют их: группируют публикации по общему признаку и году издания (например, институция + год публикации).
3. Делают расчеты открытого доступа для каждой страны или учреждения.
Данные визуализируются здесь. О том, как это работает и какие у системы ограничения, можно почитать здесь.

Так, для России процент статей с открытым доступом 27% (209 тысяч публикаций). К 2021 году 22% статей с открытым доступом у издателя, 5% — с открытым доступом на других платформах, 14% — с открытым доступом и у издателя, и на других платформах.

Мы сделали срез по организациям РФ с 1000 и более публикаций в 2021 году и упорядочили их по открытому доступу, он составляет от 22 до 58 %. Подробнее на визуализации.

#открытыйдоступ #университеты #инфографика #россия
April 25, 2022
​​Можно ли быть признанным, но нецитируемым?

«Можно ли быть признанным, но нецитируемым? Сравнение опросных и наукометрических оценок репутаций в социальных науках» — с таким докладом выступил вчера Михаил Соколов (научный руководитель Центра институционального анализа науки и образования ЕУСПб) на 192-м заседании Московского семинара по науковедению и наукометрии.

Цитирование — это не всегда голос за качество работы, это может быть возвращение интеллектуального долга, политический акт и т.п. Поэтому оценивание научного вклада только на основе метрик не всегда точно. Всегда есть вероятность признать несуществующие заслуги ученого и не признать реальные.

Автор выделил 3 основные проблемы при использовании метрик:
1. Проблема валидности: неясно, как соотносятся полученные и ожидаемые цитирования, и их признание/влияние. В разных дисциплинах цитируют по-разному .
2. Проблема покрытия: языковые зоны (неанглоязычная наука лишь частично попадает в зону видимости основных цитатных баз) и разнообразие жанров (статьи в журналах цитируются лучше, чем диссертации, тезисы конференции и другие жанры).
3. Проблема реактивности (цитирование превращается в валюту) и отрицательного набора (чем менее этично ведут себя ученые при цитировании, тем лучше они цитируются).

ЦИАНО провел исследование, базируясь на репутационных опросах о том, кто внес самый значимый вклад в науку/отрасль. На основе данных опроса и наукометрии можно сделать выводы о реальном положении дел в науке. В выборку для опроса попали те, кто за последние 5 лет опубликовали минимум 3 статьи в РИНЦ (социологи, экономисты, политологи) и были зарегистрированы в Elibrary. Около 25% исследователей из выборки поучаствовали в опросе. Основные вопросы, которые задавали респондентам были следующие: кто сделал важный вклад в свою область исследования и в науку в целом, кого добавить в экспертное жюри по специальности? Полученные результаты складывали в общий репутационный рейтинг и сравнили с общими показателями метрик: elibrary, ядро РИНЦ и RSCI. В качестве иллюстрации приводим таблицу соотношения данных из опроса с данными из elibrary, ядра РИНЦ и RSCI (например, 6 человек, которые вошли в ТОП-20 elibrary, вошли в ТОП-20 в рамках обобщенного репутационного рейтинга).

При сопоставлении результатов рейтингов цитируемости и опроса наименьшие расхождения выявлены при сравнении ведущих ученых по цитированиям в журналах RSCI, тогда как на вершине рейтинга по цитируемости в ядре РИНЦ в целом немало исследователей, редко упоминаемых экспертами. Авторы при этом отмечают, что на ошибки в сопоставлении результатов рейтингов и опросов влияли: дисциплинарные границы, ошибочная атрибуция, соавторство и коллективные монографии, национальность, жанры публикации и цитатные базы, манипуляции, границы между наукой и практикой.

О подобных результатах в социологии можно почитать в исследовании «Академические репутации в российской социологии».

#обзор #доклад #цитирование #россия
April 27, 2022
​​Гендерные диспропорции в российской академии: библиометрический анализ

Марина Пилкина и Андрей Ловаков в своей статье поднимают проблему гендерного неравенства исследователей. Результаты их анализа (121 953 статьи WoS как минимум с одним российским автором, опубликованные в период с 2017 по 2019 год) показывают, что по-прежнему сохраняются явные признаки гендерного неравенства в российском академическом сообществе.

Во всех областях исследований среднее количество публикаций у женщин ниже, чем аналогичные показатели у мужчин. Хотя в некоторых областях наблюдается относительный гендерный паритет, разрыв между обоими полами остается стабильным для большинства дисциплин.

В настоящее время общая тенденция во многих странах заключается в том, что число женщин-студентов и аспирантов в университетах превышает число мужчин. Однако мужчины составляют 72% мирового академического пула. Россия занимает первое место в мире по доле женщин-преподавателей в системе высшего образования (60% общего преподавательского состава). Однако российские женщины менее представлены на высших академических должностях и в академическом менеджменте. Женщины в основном занимают более низкие должности, такие как доценты, преподаватели, ассистенты. Как следствие, гендерные различия наблюдаются в различных аспектах научной деятельности, начиная от заявок на гранты и присуждения грантов до моделей публикаций и показателей цитирования.

В последние годы в российской академии произошли существенные изменения:
1️⃣ развитие исследований в университетах;
2️⃣ новые форматы финансирования (например, мегагранты, более длительные исследовательские гранты от Российского научного фонда);
3️⃣ приглашение и возвращение ведущих зарубежных исследователей в исследовательские центры.
Такая модернизация способствовала вхождению молодых исследователей в академическую систему и активному развитию новых научных направлений и дисциплин, которые не были широко представлены в традиционной структуре исследований в России.

На иллюстрации ниже показано соотношение женщин и мужчин — авторов публикаций — в России по 21 области исследований за 2017-2019 годы.
Возможно разделение некоторых областей исследований на три группы:
1️⃣ дисциплины с преобладанием мужчин (STEM: физика, информатика, математика, инженерия, космонавтика, материаловедение);
2️⃣ области, которые стремятся к гендерному равенству среди авторов (фармакология и токсикология, неврология и поведение, клиническая медицина);
3️⃣ области, в которых доминируют женщины (психиатрия/психология, иммунология).
Эти результаты позволяют частично подтвердить традиционное деление областей исследований на женские и мужские.

Интересны также следующие наблюдения:
• процент женщин-авторов, опубликовавших только одну статью в 2017–2019 годах, превышает процент мужчин во всех дисциплинах. Однако доля женщин уменьшается и становится ниже по сравнению с мужчинами, когда количество опубликованных статей увеличивается.
• доля женщин-авторов, опубликовавших пять и более статей, сравнительно невелика по всем дисциплинам и составляет в среднем 2% (6% для мужчин).

На сегодняшний день мы видим гендерный дисбаланс среди ученых. Вероятно в российской политической и научной системах отсутствует гендерная политика и заинтересованность в ученых-женщинах.

#обзор #россия #гендернаяполитика
May 11, 2022
SJR 2021: изменения в квартилях Российских журналов

Несколько дней назад обновились квартили Scopus. Мы сделали динамику обновленного рейтинга 2021 по сравнению с предыдущим.
В целом число журналов растет, причем самый заметный рост произошел за счет первого (было 32 журнала — стало 53) и четвертого (было 160 — стало 181) квартилей. Остальные журналы в основном стабильны в квартилях. Уровень Q1 удалось удержать 27 российским журналам, Q2 — 44 журналам, а еще 14 журналов поднялись с Q2 на Q1. На том же уровне Q3 остались 52 журнала, на Q4 — 126 журналов. Понизили свой статус в общем 42 журнала, а повысили — 105 журналов.

#scopus #sjr #квартили #россия #журналы #инфографика
May 16, 2022
​​Вышка в журнале Nature

У Вышки только что вышла статья «ADAR1 masks the cancer immunotherapeutic promise of ZBP1-driven necroptosis» в одном из самых старейших и крутых журналов Nature. Давайте наукометрически посмотрим, насколько это значимый результат.

В Scopus у журнала Nature 325736 публикаций, 136328 всех публикаций типа article (40%) и review (2%). Далее мы будем рассматривать только публикации типа article и review. 53982 статьи находятся в открытом доступе. Рекордное количество статей было опубликовано в 1970 году — 3882. Среди организаций-лидеров по количеству публикаций в журнале Nature: Howard Hughes Medical Institute (2844), University of Cambridge (2645), Harvard Medical School (2374), University of Oxford (2226), Massachusetts Institute of Technology (2157). При этом на США приходится 35857 публикаций, 15916 — на Великобританию, 6265 — на Германию, 4399 — на Францию и 843 — на Россию. 304 публикации под аффилиацией РАН (607 вместе со всеми подразделениями), 98 статей — МГУ. Всего было опубликовано 10 статей с аффилиацией Высшей Школы Экономики (4 из них в 2021 году).
Начиная с 1996 года количество российских статей в Nature не опускалось ниже 10 в год, за исключением 2011 года. В 2020 году количество статей достигло 40, что на данный момент является максимумом для России.
Самая первая публикация с российской аффилиацией — это работа Д.И. Менделеева «Mendeleef's Researches on Mariotte's Law» (1877 год).
Самая цитируемая российская статья — 17 046 цитирований— «Two-dimensional gas of massless Dirac fermions in graphene» за авторством К.С. Новоселова (University of Manchester), С.В. Морозова (ИПТМ РАН) и других авторов была опубликована в 2005 году.

#обзор #scopus #университеты #россия
June 1, 2022
​​Динамика высокоцитируемых публикаций для ВУЗов трека «Исследовательское лидерство» в программе Приоритет 2030

В методике Приоритет для ВУЗов исследовательского трека есть (был?) параметр Highly Cited Papers — высокоцитируемые публикации. Он считается по WoS Core Collection и определенному классификатору ESI и определяется как число публикаций за 5 лет в 1% по цитируемости. Согласно методике, окончательные показатели для ВУЗов фиксируются на 1 июля соответствующего года. К сожалению, в виду отключения базы в РФ, нам не удалось достать все данные, но приводим динамику основного публикационного показателя программы по 14 ВУЗам из 17. В виду особенностей расчета показателя — именно эти данные пошли бы в отчет про программе.

#рейтинг #университеты #россия #инфографика #приоритет2030
June 8, 2022
​​Наукометрия vs экспертиза: сравниваем списки журналов

В России последнего десятилетия управление наукой велось с опорой на квартили по базам Web of Science и Scopus. Механическое применение квартилей противоречит как современным мировым тенденциям, так и критериям самой наукометрии, но имеет своих сторонников — в основном из числа представителей естественных наук, в которых журнальные метрики лучше отражают реальную значимость изданий.

Сейчас на фоне ухода WoS и вероятного ухода Scopus обсуждается создание российского национального списка учитываемых журналов, который придет на смену квартилям. Очевидно, для обеспечения плавности перехода на первом этапе его стоит формировать в основном из изданий, включенных в эти базы. Но также очевидно и другое:
• Списки WoS\Scopus необходимо проредить от изданий, не обеспечивающих должный контроль качества публикаций, в том числе откровенно «мусорных». Продолжать стимулировать и спонсировать симуляцию науки в текущих условиях просто недопустимо.
• Метрики цитируемости должны быть подспорьем для принятия содержательных решений по рангам конкретных журналов, а не подменять их. Решения с их учетом должны принимать специалисты-предметники — естественно, не местечковые, а мирового уровня.
• Многие авторитетные издания по целому ряду дисциплин — особенно гуманитарных — не входят в WoS\Scopus, и речь здесь далеко не только про российские журналы.

Чтобы лучше подсветить эти проблемы, мы решили сопоставить два списка журналов — Scopus (как больший из двух коммерческих списков) и национальный норвежский — наиболее известный из списков, составленных экспертами (с учетом, но не приматом наукометрии). Он давно и успешно применяется в Норвегии для распределения части финансирования науки среди университетов и вдохновил на создание аналогичных списков в других странах.
В норвежском списке есть три уровня:
• 0 — по сути, «черный список»: статья приносит ноль баллов (туда, например, недавно попал популярный в России Sustainability),
• 1 — учитываемые журналы, научному уровню, профессиональному охвату и рецензированию которых можно доверять (25,5 тысяч),
• 2 — ведущие журналы (немногим более 2 тысяч).
В рамках оценки за статью в журнале 1 уровня университет получит 1 балл, за статью в журнале 2 уровня — 3 балла, монографии приносят от 5 до 8 баллов, статьи в сборниках и труды конференций — до 1 балла.

Сопоставление списков мы проводили по ISSN (печатному и электронному), а если совпадений не было — по названию. Из-за ошибок и разночтений часть журналов могла не совпасть (погрешность мы оцениваем в <5%). В некоторых направлениях (прежде всего, Computer Science) на 1-2 уровни добавлены ведущие конференции, здесь мы их не учитывали.

В отличие от списков WoS\Scopus в норвежском соблюдается примерный паритет по числу изданий между крупными направлениями. Соответственно, процент журналов, индексируемых в Scopus, получается совершенно разный.

Цифры говорят сами за себя: полагаться на Scopus для оценки гуманитарных наук не стоит, да и с другими областями есть сложности, особенно на уровне «просто нормальных» журналов. С другой стороны, ведущие журналы по большинству дисциплин в целом индексируются в Scopus хорошо.

Очень большие различия наблюдаются также на уровне стран, причем хуже всего с индексацией в Scopus у скандинавских изданий, что отчасти объясняется высоким процентом гуманитарных изданий среди них (это обусловлено важностью локального контекста в этих областях).

#квартили #экспертныесписки #норвежскийсписок #scopus #россия
June 20, 2022
​​QS World University Rankings 2023

Хотим вам рассказать о методологии рейтинга QS, основанного на опросе экспертов из разных областей науки. Основной рейтинг QS — это рейтинг университетов мира, также есть отдельный рейтинг университетов по областям исследований.

В QS университеты оцениваются по шести показателям: академическая репутация и репутация работодателя, соотношение преподавателей и студентов, цитируемость исследований, доля иностранных студентов и преподавателей. Помимо основных показателей рейтинга, можно отфильтровать университеты по их уровню достижения целей в области устойчивого развития.

• Академическая репутация (традиционно являющая базой рейтинга — 40% веса) отражает качество преподавания и исследований в университете. Анализ на основе более 130 000 мнений экспертов из сферы высшего образования.
• Репутация работодателя (10% веса): какие учебные заведения выпускают наиболее компетентных, инновационных и эффективных выпускников.
• Соотношение преподавателей и студентов (20% веса)
• Цитаты на факультет (20% веса)
• Доля иностранных студентов и доля иностранных преподавателей
(5% и 5% веса)

В этом году рейтинг QS включает почти 1500 ВУЗов со всего мира. Одиннадцатый год подряд Массачусетский технологический институт (MIT) остается университетом номер один в мире. Кембриджский университет занимает второе место, при этом Стэнфордский и Гарвардский университеты стабильно занимают 3-е и 5-е места, как и в прошлом году, а Оксфордский университет находится на 4-м месте (по сравнению со 2-м местом в прошлом году). Китай достиг важной вехи: два его ведущих университета впервые вошли в число 15-ти лучших.
48 российских университетов вошли в рейтинг в этом году. МГУ занял 75 место, МГТУ им. Баумана — 230, НГУ — 260, ТГУ — 264, МФТИ — 267, СпбГУ — 270, РУДН — 295, ВШЭ — 308.

Каждый из узкотематических рейтингов QS, в том числе QS World University Rankings by Subject, составляется с использованием четырех источников. Первые два из них представляют собой глобальные опросы ученых и работодателей QS, которые используются для оценки международной репутации учебных заведений по каждому предмету. Вторые два показателя оценивают влияние исследований на основе цитирований исследований на статью и индекса Хирша по соответствующей тематике. Также для иногда применяется такой показатель, как международная исследовательская сеть (для крупных университетов).

В рейтинге QS World University Rankings by Subject применяется различное взвешивание показателей по каждому предмету. Например, в медицине, где уровень публикаций очень высок, цитирование исследований и индекс Хирша составляют 25% от общего балла каждого университета. А в областях с гораздо более низким уровнем публикаций, таких как история, эти показатели составляют только 15% от общего рейтинга. А в области искусства и дизайна, где опубликовано слишком мало статей для статистических данных, рейтинг основан исключительно на опросах экпертов.

ТОП-5 предметного рейтинга среди российских университетов на 2022 год представлен в иллюстрации.

#рейтинг #университеты #россия
June 22, 2022
Рейтинг публикационной активности университетов от аналитического центра «Эксперт»

На прошлой неделе мы рассказывали вам про рейтинг QS. Для сравнения предлагаем вам ознакомиться с методологией другого рейтинга, который не принимает в расчет опросы и учитывает только количественные показатели. Аналитический центр «Эксперт» с 2016 года проводит исследование публикационной активности российских университетов через призму публикационной активности, готовности университетов генерировать изобретения и воспитывать предпринимателей новой волны.

Расчет рейтинга осуществляется на основе четырех смысловых блоков:
Качество роста: качество цитирований университета, концентрация статей в журналах.
Востребованность: средний уровень журналов, где опубликованы статьи, среднее число цитат на одну статью, взвешенное с учетом предметной области число цитирований.
Масштаб: научный коллектив, индекс Хирша, доля публикаций.
Превосходство: объем публикаций Q1, средняя цитируемость статей Q1, представленность в подобластях Q1.

Показатели рассчитывались за 2018–2021 годы. В предметном рейтинге принимают участие университеты, опубликовавшие за четыре года не менее 0,5% всех российских публикаций в соответствующей области. Начиная с прошлого года в расчетах стали учитываться только журнальные статьи во всех предметах, кроме компьютерных наук и искусственного интеллекта (где в учете сохранились и тезисы конференций). Блок «Превосходство» включил в себя комбинацию показателей, которые рассчитываются по публикациям, вошедшим в первый квартиль Scopus и WoS (в гуманитарных вместо квартиля WoS использовалось вхождение в индекс AHCI).

За 10 лет в 2,8 раз увеличился объем статей с российской аффилиацией в международной базе Scopus, в 2,2 раза вырос вклад российских организаций в наиболее цитируемые публикации в мире — с 0,8% до 1,8%. МГУ, СПбГУ, КФУ и РУДН остаются представлены во всех 16 предметных областях.

Данные рейтинга можно посмотреть в таблице на сайте «Эксперта», там есть информация по 2021 и 2022 году с разделением баллов по категориям.

#рейтинг #университеты #россия
June 27, 2022
September 7, 2022
Чем российские журналы встречают иностранцев? Часть 2

На прошлой неделе мы начали говорить о том, какие трудности могут ждать иностранцев при подаче работ в российские журналы. Первое, с чем сталкиваются такие авторы там, где их вроде бы ждут: дискриминация по страновому признаку. Иными словами, требования для «граждан» или «резидентов России» существенно отличаются от правил для остальных. К сожалению или к счастью, хуже обычно авторам из России: им либо вовсе запрещается подавать статьи на английском (например, в Pattern Recognition and Image Analysis или «Оптический журнал»), либо наоборот вменяется в обязанность подать вместе со статьей ее перевод. По части перевода собственных текстов россиянам не доверяют: ряд журналов даже требует подтверждение из внешнего бюро переводов (например, «Проблемы социальной гигиены и история медицины»). Ненавязчивая альтернатива — заказ обязательного перевода у самих редакций.

В ряде случаев иностранцам запрещается подавать статьи на русском (например, Mendeleev Communications), в ряде — наоборот, встречаются особые поблажки для членов диаспоры. Так, один из старейших и уважаемых математических журналов «Функциональный анализ и его приложения» пишет: by agreement with the editorial team, authors residing in distant foreign countries may be allowed to submit a PDF scan of a hand-written manuscript in Russian. Оставшимся здесь такая странноватая по нынешним временам роскошь не позволяется. Еще более известный в мире журнал «Известия РАН, серия математическая» вовсе избегает свойственной этой науке ясности: All papers in Russian edition of "Izvestiya: Mathematics" are published in Russian. All questions, related to the translation of papers into Russian, should be settled down with Editorial Board immediately after the paper is accepted for publication. Как происходит settling down и стоит ли вообще пытаться подать что-то на английском? Загадка.

В ряде изданий иностранцам при подаче на английском требуются всего лишь резюме\ключевые слова\сведения об авторах на русском, а где-то, как в «Известия вузов: технология текстильной промышленности» предстоит перевести на русский и список литературы (впрочем, журнал все равно заблокировал все «недружественные» страны по IP).

#журналы #россия
September 14, 2022
September 21, 2022
September 26, 2022
September 28, 2022
October 24, 2022