Наукометрия: новое поколение

Цитата: DeC от 29.01.2020 11:20:49В январе (14-го числа) Минобрнауки разослало руководителям подведомственных научных организаций письмо «О корректировке государственного задания с учетом методики расчета комплексного балла публикационной результативности».

Документ этот по меньшей мере революционный, но обо всем по порядку.


Ключевым понятием становится комплексный балл публикационной результативности (КБПР), то есть от штучного счета (максимум с некоторыми коэффициентами) идет переход к полноценному фракционному счету – с разделением вклада авторов и организаций в научный результат и качества журналов (их квартильности). Также учитываются различия для статей, опубликованных в изданиях, которые индексируются в разных базах данных.

На данный момент КБПР распространяется только на научные организации и лишь для госзадания, а для вузов работа над методикой продолжается.

И отдельно стоит отметить, что данная Методика была согласована Российской академией наук.

Постараемся кратко и емко описать нововведения.

Источниками для показателей служат данные публикационного отчета за 2018 год, данные информсистемы управления НИР Минобрнауки, данные Web of Science.

Для каждой организации выбираются фундаментальные темы исследования – то есть те из классификатора ОЭСР, которым уделяется более половины рабочих часов. Остальным присваивается статус междисциплинарных.

КБПР высчитывается для всех направлений науки, представленных в организации.

Расчет КБПР рассчитывается на каждую комбинацию публикации и автора, указанных в публикационном отчете Организации.

Важные коэффициенты:
Аффилиация – статья учитывается только в том случае, если аффилиация в принципе указана, причем в том долевом соотношении, сколько таковых указано. Этот прием нацелен на борьбу с множественными, в том числе покупными и договорными аффилиациями.

Следовательно, работа над грамотным указанием аффилиации становится еще более важной, впрочем, она ведется уже не первый год, причем базы данных полностью открыты для всех корректировок.

Соавторы – общий балл делится на количество соавторов. Напомним, каждая комбинация статьи-автора учитывается отдельной строкой, поэтому потерь здесь не будет.

Качество журнала – основной акцент сделан на журналы Web of Science Core Collection. Коэфициенты (зачитывается максимальный из всех возможных):
Q1 = 19,7
Q2 = 7,3
Q3 = 2,7
Q4 = 1
Q = 1 (издания, входящие в WoS CC, но не имеющие импакт-фактора и, следовательно, квартиля – в частности, это журналы из индексов ESCI и AHCI, то есть амбициозные новички и чисто гуманитарные издания).
S = 1 (те публикации, что индексированы только в Scopus)
R = 0,75 (публикации, индексируемые только в Russian Science Citation Index (русская полка Web of Science)
V = 0,5 (журналы из перечня ВАК, нигде не индексируемые)
B = 1 (монографии зарегистрированные в Российской книжной палате).

В Методике отмечается, что в перспективе для монографий введут дополнительные коэффициенты в зависимости от объема и научной составляющей (новизна, актуальность и т.д).

https://www.facebook…446070196/

Цитата: DeC от 29.01.2020 11:20:49

 

Вроде бы присутствует ущемление гуманитариев – в самом профильным для них индексе WoS CC нет квартилей, Скопус ценится не выше, а уж про RSCI и ВАК говорить не стоит. С другой стороны, у гуманитариев есть важное преимущество – они как правило пишут статьи в одиночку или небольшими группами, что всерьез повышает их ценность. Также есть надежда на скорое введение дополнительных коэффициентов по монографиям.

Методика четко демонстрирует дрейф от перечня ВАК через RSCI к Скопусу и WoS. Пока что Перечень ВАК остается для защит и получения ученых званий, но далее он явно уступит свое место RSCI и иным более знаковым индексам. Также стоит ожидать, что рано или поздно, особенно для защит по докладу (по совокупности публикаций) КБПР станут играть очень важную роль.

Далее КБПР по отчету организации сравнивается с КБПР по данных самого Web of Science. Если по отчету выходит меньше 90%, чем по WoS – то присваивается значение по WoS с коэффициентом 0,9.

Если от 0,9 до 1,1 (в целом совпадает) – то за базовый принимается тот, что рассчитан по WoS.

Если же по отчету больше в 1,1 раза (или еще значительнее) – считается по WoS с коэффициентом 1,1.

Вот эта вся сложная арифметика нужна для того, чтобы блокировать возможные выбросы, а также дать некий переходный период для организаций – в плане работы с аффилиациями и т.п.

Естественно, итоговый КБПР складывается из оного по WoS и такового не по WoS (Scopus, ВАК и т.п.).

Далее идет выделение КБПР именно по госзаданию, причем с точки зрения финансирования откидываются только гранты РНФ и РФФИ. Здесь, конечно, есть некоторая слабость модели – в частности, выпадают те же мегагранты, хотя они и не вносят столь существенного изменения параметров.

В итоге получаются данные, позволяющие наконец-то от 2018 года перейти в 2020-й. В частности, вводятся коэффициенты:
KP1 – общий обязательный рост на 10%.
KP2 – корректирующий коэффициент для приводимости сумм госзадания.

А затем немного математики (предлагаем читателям поглядеть формулы самостоятельно) и мы получаем коэффициент KP3, который отражает общую публикационную производительность Организации в 2018 году по отношению к усредненной общей публикационной результативности организации. А говоря проще – переранжирование научных институтов на три группы: организации-лидеры, организации среднего уровня, догоняющие организации. Заодно с определением того, на каком уровне эффективности находится организация и какой сценарий развития ей необходимо использовать.

Подчеркнем – это чисто технический момент, который должен определить объемы роста публикационной активности, основываясь на точных расчетах. В итоге, требования к лидерам не столь и велики – более того в ряде случаев вводится коэффициент на замедление роста (в тех случаях, когда для увеличения количества публикаций необходимо привлечения дополнительных исследований). В общем случае, если КБПР такой организации превышает усредненное более чем на 50%, то перед ней ставится задача 10% роста, а если же при этом будет превзойден показатель KP3 = 1,5, то вообще ограничивается на отметке 6,7%.  

Организации среднего уровня в сумме должны продемонстрировать рост примерно от 10 до 20%.

Отстающие должны форсированно демонстрировать рост – не только на общие 10%, но и отыгрывая отставание ежегодно на 20%.

Есть еще пара частных случаев, но это уже действительно детали.

• +0.25 / 3

Цитата: DeC от 29.01.2020 11:25:27Вроде бы присутствует ущемление гуманитариев – в самом профильным для них индексе WoS CC нет квартилей, Скопус ценится не выше, а уж про RSCI и ВАК говорить не стоит. С другой стороны, у гуманитариев есть важное преимущество – они как правило пишут статьи в одиночку или небольшими группами, что всерьез повышает их ценность. Также есть надежда на скорое введение дополнительных коэффициентов по монографиям.

Методика четко демонстрирует дрейф от перечня ВАК через RSCI к Скопусу и WoS. Пока что Перечень ВАК остается для защит и получения ученых званий, но далее он явно уступит свое место RSCI и иным более знаковым индексам. Также стоит ожидать, что рано или поздно, особенно для защит по докладу (по совокупности публикаций) КБПР станут играть очень важную роль.

Далее КБПР по отчету организации сравнивается с КБПР по данных самого Web of Science. Если по отчету выходит меньше 90%, чем по WoS – то присваивается значение по WoS с коэффициентом 0,9.

Если от 0,9 до 1,1 (в целом совпадает) – то за базовый принимается тот, что рассчитан по WoS.

Если же по отчету больше в 1,1 раза (или еще значительнее) – считается по WoS с коэффициентом 1,1.

Вот эта вся сложная арифметика нужна для того, чтобы блокировать возможные выбросы, а также дать некий переходный период для организаций – в плане работы с аффилиациями и т.п.

Естественно, итоговый КБПР складывается из оного по WoS и такового не по WoS (Scopus, ВАК и т.п.).

Далее идет выделение КБПР именно по госзаданию, причем с точки зрения финансирования откидываются только гранты РНФ и РФФИ. Здесь, конечно, есть некоторая слабость модели – в частности, выпадают те же мегагранты, хотя они и не вносят столь существенного изменения параметров.

В итоге получаются данные, позволяющие наконец-то от 2018 года перейти в 2020-й. В частности, вводятся коэффициенты:
KP1 – общий обязательный рост на 10%.
KP2 – корректирующий коэффициент для приводимости сумм госзадания.

А затем немного математики (предлагаем читателям поглядеть формулы самостоятельно) и мы получаем коэффициент KP3, который отражает общую публикационную производительность Организации в 2018 году по отношению к усредненной общей публикационной результативности организации. А говоря проще – переранжирование научных институтов на три группы: организации-лидеры, организации среднего уровня, догоняющие организации. Заодно с определением того, на каком уровне эффективности находится организация и какой сценарий развития ей необходимо использовать.

Подчеркнем – это чисто технический момент, который должен определить объемы роста публикационной активности, основываясь на точных расчетах. В итоге, требования к лидерам не столь и велики – более того в ряде случаев вводится коэффициент на замедление роста (в тех случаях, когда для увеличения количества публикаций необходимо привлечения дополнительных исследований). В общем случае, если КБПР такой организации превышает усредненное более чем на 50%, то перед ней ставится задача 10% роста, а если же при этом будет превзойден показатель KP3 = 1,5, то вообще ограничивается на отметке 6,7%.  

Организации среднего уровня в сумме должны продемонстрировать рост примерно от 10 до 20%.

Отстающие должны форсированно демонстрировать рост – не только на общие 10%, но и отыгрывая отставание ежегодно на 20%.

Есть еще пара частных случаев, но это уже действительно детали.

Цитата: DeC от 29.01.2020 11:25:27

 

Подведем итоги.

Новая Методика касается научных организаций из числа подведов Минобрнауки, которые получают средства по государственному заданию на проведения фундаментальных и поисковых исследований.

Основная цель – обеспечить повышение качества публикаций при сохранении темпов роста их количества.

Главный плюс – она будет работать, причем в ней есть потенциал к развитию.

Достоинства системы очевидны – учитывается всё в долях (соавторы, количество аффилиаций у каждого и т.п.). Никто не будет забыт и ничто не будет забыто. А за отсутствие аффилиации или за ее неправильное указание теперь начнут строжайше карать. Впрочем, давно пора.

Заодно будет сильно снижено влияние ученых, имеющих многочисленные аффилиации, а следовательно – источники финансирования. В какой-то момент такого нахлебника, если он не пожелает поставить аффилиацию с российским научным институтом, из оного просто уволят, поскольку за те же деньги можно будет получить больше КБПР от других исследователей.

Самое важное – появляется возможность выстраивать баланс между уровнем журнала – количеством соавторов – количеством аффилиаций, то есть наконец-то можно будет напрямую измерить статью из Nature в статьях из журнала Перечня ВАК.

Salami slicing также должен постепенно уходить в прошлое при учете того, что нарезка бы уходила в бросовые журналы, а «цельный кусок» в более приличные.

И остается один вопрос – будут ли как-то учитываться журналы хотя бы не из перечня ВАК (входящие исключительно в РИНЦ). Если нет – то, пожалуй, это будет самый серьезный урон по журнальному бизнесу. В котором окончательно воцарится журнальный дарвинизм – кто не пробьется быстро в списки, погибнет в неравной схватке.

Методика, конечно, не лишена недостатков. Во-первых, многие коэффициенты умозрительны как и формулы (хотя спорить можно до посинения). Во-вторых, снижается смысл печататься в больших коллаборациях (скорее все же – только и исключительно в больших коллаборациях).

Самый главный минус Методики в том, что она сложна для понимания. Основной массе ученых придется принять на веру, что вот эта публикация весит 1,4, а вот та 0,06.

Также обязательно появятся мудрецы, которые освоят формулы и будут давать рекомендации, как и куда лучше подаваться. Впрочем, на больших массивах всё это будет нивелироваться.

Стоит отметить, что никак не регламентирован вопрос о приоритетности аффилиаций – каждая имеет равный вес.

Призываем коллег, если у вас есть соображения и сутевые замечания – пишите нам на почту или в бота. Будем разбираться вместе.

• +0.22 / 2