Реальная наукометрия

Цитата: DeC от 21.03.2019 15:40:471.  Наукометрические показатели России неуклонно повышаются.
2.  Они являются отражением повышения качества публикаций, а не только увеличения их количества.
3.  Российские авторы публикуются всё больше, во всё более качественных журналах и со всё большим эффектом (цитированием).

Цитата: DeC от 21.03.2019 15:40:47

 

Интересно было бы послушать мнение ученых насчет того, как соотносятся эти в общем-то формальные показатели с реальной научной ценностью работ, по которым сделаны эти публикации.
 
P.S. А то ведь пойманный где-то журналистом тот самый Хиггс сказал, что если бы 50 лет назад в науке были бы такие порядки как сейчас, он бы не смог сделать своего открытия.

• +0.37 / 17
• • 12
  • 5

Цитата: grizzly от 21.03.2019 17:01:34Интересно было бы послушать мнение ученых насчет того, как соотносятся эти в общем-то формальные показатели с реальной научной ценностью работ, по которым сделаны эти публикации.
 
P.S. А то ведь пойманный где-то журналистом тот самый Хиггс сказал, что если бы 50 лет назад в науке были бы такие порядки как сейчас, он бы не смог сделать своего открытия.

Цитата: grizzly от 21.03.2019 17:01:34

 

Неоднократно уже писала.
Повторю.

ЦитатаОсновные недостатки использования индекса цитирования:

1. Индекс цитируемости не учитывает личный вклад автора (при подсчете ИЦ все равно писались ли статья десятью авторами или автор был один).
   


2. В стандартной схеме ИЦ, используемой Web of Science, не учитываются ссылки на книги и другие публикации, отличные от журнальных статей см. Примеры 1–3). Не учитываются также ссылки в неанглоязычных источниках.
   


3. В индексе цитируемости учитываются даже те ссылки, где статьи автора подвергаются серьезной критике (см. Пример 4) и результаты считаются ошибочными или просто недостоверными (например, с подтасованными экспериментальными данными).
   


4. Некоторые пионерские работы незаслуженно забываются, а цитируются вторичные работы, опубликованные позже (см. Пример 5). В ряде случаев это связано с появлением различных приложений. См. также п. 11.
   


5. Цитирование сильно зависит от журнала, где публикуется статья. Нередко наибольшее цитирование приносят не научные, а научно-популярные статьи (см. Пример 6).
   


6. Если работа важная, но достаточно сложная для понимания, то её цитирование может откладываться на многие годы.
   


7. Совершенно не учитываются ссылки на статьи, приведенные даже в известных и хорошо цитируемых книгах (подобные ссылки в книгах учеными обычно ценятся значительно выше, чем ссылки в обычных статьях).
   


8. Мало цитируются статьи, опубликованные в переводных журналах (поэтому необходимо делать поправку при сравнении ИЦ российских и зарубежных ученых).
   


9. Цитирование часто зависит от личных отношений и других случайных факторов.
   


10. Существуют различные способы искусственного наращивания ИЦ (например, друзья и коллеги договариваются о взаимных цитированиях результатов друг друга и др.).
    


11. Встречаются случаи, когда специально игнорируются и мало цитируются (вообще не цитируются) работы ученых, не принадлежащих доминирующей научной школе.
    

Указанные и некоторые другие недостатки сильно снижают объективность и значимость индекса цитируемости для оценки эффективности деятельности научных работников и преподавателей вузов. Рассмотрим

несколько ярких примеров, подчеркивающих недостатки ИЦ.
Пример 1. Григорий Перельман был выдвинут на две самые престижные международные премии в области математики (но отказался их получать) за результаты, опубликованные в трех препринтах в arXiv.org. На эти работы имеется множество ссылок в журналах, индексируемых Web of Science, однако поскольку препринты не индексируются этой системой, то все ссылки на них не учитываются при подсчете ИЦ (сказанное в полной мере относится также к индексу Хирша, о котором пойдет речь ниже).
Пример 2. Статью Б.П. Белоусова в 1951 г. дважды отклоняли в редакциях советских журналов, поэтому опубликовать результаты исследований колебательной реакции (реакция Белоусова–Жаботинского) он смог только в сокращенном виде спустя 8 лет в ведомственном сборнике, выходившем небольшим тиражом. Впоследствии эта статья стала одной из самых цитируемых в данной области. Web of Science игнорирует подобные публикации и ссылки на них.
Пример 3. Книги обычно являются итогом многолетней работы, куда помимо обзора существующих публикаций авторы часто включают ряд новых результатов, не опубликованных в других источниках (включение в книгу новых результатов приносит несомненную пользу поскольку увеличивает число потенциальных читателей и тираж книги). Исключение книг при стандартной схеме подсчета ИЦ – очевидная нелепость, поскольку в ИЦ в полной мере учитываются обзорные статьи (по статистике именно эти статьи цитируются больше всего), вообще не содержащие новых результатов.
Если, например, не учитывать оригинальные и часто цитируемые книги акад. Л.В. Овсянникова, то его ИЦ по данным Web of Science составляет всего I=33 (начиная с 1980 года); если книги учитывать, то ИЦ см. в табл. 2. (Здесь и далее данные по индексам цитируемости и Хирша соответствуют середине декабря 2013 г.)
Пример 4. Один американский ученый китайского происхождения с высоким индексом цитируемости (назовем его W) недавно написал много статей, которые примерно назывались так: "Новые точные решения уравнения (далее шло название уравнения)". Мой коллега профессор (назовем его K) обнаружил, что во всех этих статьях нет новых решений. В результате он опубликовал ряд статей, в которых было доказано, что в статьях W нет новых результатов. Через некоторое время K получил от W письмо примерно следующего содержания: "Ну что ты ко мне привязался? Знай, что все твои публикации, направленные против меня, повышают мой индекс цитируемости!"
Пример 5. К сожалению, известны случаи, когда история выдающихся научных достижений забывается или ее полностью или частично пытаются переписать. Приведем пару ярких примеров.
Публикации А. Пуанкаре (1897–1905 гг.), связанные с созданием основ специальной теории относительности (включая известную формулу E = mc², условность понятия одновременности, принцип относительности, постоянство скорости света, преобразования Лоренца, инвариантность уравнений Максвелла и др.), предшествовали статье А. Эйнштейна & М. Марич (1905 г.), которую потом необоснованно стали считать основополагающей и многократно цитировали. Об объяснении этого парадокса и истории вопроса см., например, [7].
Китайские математики Цао Хуайдун и Чжу Сипин в 2006 г. предприняли неудачную попытку отнять приоритет доказательства гипотезы Пуанкаре у Г. Перельмана (2002–2003 гг.). Интересно отметить, что не содержащая новых результатов статья китайских математиков [9] цитируется более 100 раз по данным Web of Science (а оригинальные публикации Г. Перельмана вообще не учитываются)!
Пример 6. Наиболее престижные журналы Nature и Science часто помещают научно-популярные статьи, которые широко цитируются и индексируются Web of Science, но не содержат обоснованных научных результатов. По мнению Рэнди Шекмана (лауреат Нобелевской премии по медицине 2013 года) редакторов этих журналов, которые являются не учёными, а издателями, интересует прежде всего шумиха, сенсация и фурор.

Про индекс Хирша

ЦитатаУчёный, опубликовавший N статей, имеет индекс h, если h его статей цитируются не менее, чем h раз каждая, а любая из оставшихся (N–h) статей цитируются не более, чем h раз.

Для определения ИХ статьи автора нумеруют в убывающем порядке по суммарному числу ссылок на каждую из них (статьи с одинаковым цитированием произвольно располагаются одна за другой и последовательно нумеруются). Имеем C₁ ≥ C₂ ≥ C₃ ≥ ... (C_k – число ссылок на k-ю работу). Если есть статья, номер которой k совпадает с числом её цитирований C_k, то это и есть индекс Хирша: h = k = C_k. Если такой статьи нет, то индекс Хирша h равен номеру статьи k, для которой одновременно выполняются два неравенства: C_k > k, C_k+1 < k+1. Эти неравенства можно заменить одним условием: (C_k – k)(C_k+1 – k – 1) < 0.
Индекс Хирша имеет достаточно сложную и весьма неубедительную интерпретацию, которая непонятна подавляющему большинству специалистов далеких от физики (включая, в первую очередь, людей, работающих в гуманитарных науках).
Индекс Хирша существенно зависит от области исследований. Например, в математике он существенно ниже, чем в физике, а в физике существенно ниже, чем в биохимии и медицине.
ИХ многократно критиковался в различных работах (см. например [10–12]).


Основные недостатки использования индекса Хирша:

1. Индекс Хирша не учитывает информацию о наиболее важных высокоцитируемых работах.
   


Скрытый текст
2. Индекс Хирша не учитывает личный вклад автора (при подсчете ИХ все равно писались ли статья десятью авторами или автор был один).
   


3. В стандартной схеме ИХ, используемой Web of Science, не учитываются ссылки на книги авторов. Не учитываются также ссылки в неанглоязычных источниках.
   


4. В индексе Хирша учитываются даже те ссылки, где статьи автора подвергаются серьезной критике и результаты считаются ошибочными или просто недостоверными.
   


5. Cтандартная система подсчета ИХ не различает цитирования данного ученого другими учеными от его самоцитирования. Это открывает возможности для искусственного увеличения ИХ.
   


6. Два человека с одинаковыми ИХ могут иметь полную цитируемость (ИЦ), отличающуюся в десятки раз (см. Пример 7 ниже).
   


7. Сопоставление ученых по ИХ может приводить к совершенно абсурдным результатам (см. Пример 8 ниже).
   


8. Цитирование статей из переводных российских журналов происходит двумя различными способами: либо указывается англоязычное название журнала, либо латинскими буквами дается его русскоязычное название. Web of Science воспринимает цитирование такой статьи как цитирование двух различных статей (при этом ИХ может уменьшиться).
   


9. Другие недостатки ИХ аналогичны недостаткам ИЦ, описанным в пп. 4–11 в разд. 2.
   

Рассмотрим пару конкретных примеров, подчеркивающих существенные недостатки сопоставления деятельности ученых по ИХ.
Пример 7. Первый ученый написал в соавторстве 10 статей, каждая из которых цитируется 10 раз. Второй ученый один написал 10 статей, каждая из которых цитируется 100 раз, и 100 статей, каждая из которых цитируется 10 раз. Индексы Хирша первого и второго ученого одинаковы и равны 10. При этом суммарная цитируемость этих ученых отличается в 20 раз в пользу второго ученого (даже без учета соавторства первого).
Пример 8. Первый ученый написал 5 книг, каждая из которых цитируется более 200 раз, а второй – одну статью, которая цитируется один раз. У первого ученого ИХ равен нулю (поскольку книги не учитываются), а у второго – ИХ больше и равен единице. При этом суммарная цитируемость этих ученых отличается более чем в 1000 раз в пользу первого ученого.

подробности тут http://eqworld.ipmne…_2014.html

В реальности наукометрия привела к тому, что статьи пишут не затем, чтобы ознакомить коллег с результатами исследований, а для того чтобы отчитаться - по гранту, перед начальством и проч. При таком подходе планирование исследований летит к чертям зачастую - надо делать то, что побыстрее и попонтовее. И еще то, что раньше было бы в одной статье, нарубить на куски и опубликовать по-отдельности.

Если сравнивать статьи 70х-80х с современными, то хочется удавиться. Массив мусора "ради штук, ради хиршей, ради цитирования" ужасен.


При этом все минусы наукометрии за рубежом осознали гораздо раньше нас, ведь там индексы применяются дольше.

Примерчики дичи

ЦитатаВ России создан прецедент: впервые уволен из института сотрудник, который искусственно «накручивал» себе индекс
цитируемости для поднятия научного статуса. Мошенническую схему раскрыли в Институте теоретической и экспериментальной биофизики РАН (ИТЭБ). За компанию с уволенным доктором наук Сергеем Гудковым, возглавлявшим совет молодых ученых, также отстранен от должности ученый секретарь института.

Оба «отличились» тем, что вставляли в работы аспирантов ссылки на свои статьи. Причем к месту и не к месту. К примеру, в публикации о переработке навоза могла спокойно появиться ссылка на статью о... гнойном перитоните.

О способах накрутки индекса можно почитать тут https://yesint.livej…62239.html
Про штуки патентов и величие Китая

ЦитатаПо данным Министерства науки и техники Китая рейтинг цитируемости китайских научных работ в мире вырос в два раза, что позволило стране поднятсья на второе место в мире по этому показателю. С 2007 по 2017 годы работы китайских ученых цитировались в различных международных документах 19 млн раз. В 2017 году по сравнению с 2016 года количество цитирований увеличилось на 29,9%. В конце 2016 года по данным Всемирной организации интеллектуальной собственности (ВОИС) в Китае впервые в мире получен миллион патентов на изобретения. Около 40% всех заявок на патенты, поданных в мире за год, пришлось на Китай. В течение двадцати лет в Китае подано 209 344 патентных заявок, что в два раза больше, чем США, которые занимают второе место в мире по этому показателю. При этом китайские учёные опубликовали около 33% мировых научных статей по нанотехнологиям, что является рекордным показателем в истории.

При этом патенты в Китае выдают, видимо, не глядя. Например составы для 3D-печати на форумах обсуждаются с 2003 года, и то, что написано сто раз, запатентовано в Китае теперь. Может у них критерия "патентная чистота" нет?


Ну и все остальное так. Вал шелухи везде. Индексы, бляха-муха

Вот, в нацпроектах тоже индексы.

• +2.67 / 45
• • 45

Цитата: Kali от 21.03.2019 18:39:37В реальности наукометрия привела к тому, что статьи пишут не затем, чтобы ознакомить коллег с результатами исследований, а для того чтобы отчитаться - по гранту, перед начальством и проч.

Цитата: Kali от 21.03.2019 18:39:37

 

Вместе с тем необходимо признать, что благодаря материальному стимулированию публикационной активности люди реально стали писать неплохие статьи (потому что плохие в хороший журнал не возьмут). И оказалось, что многие делают вполне приличные работы. Ну а жулье от науки существовало и будет существовать независимо от критериев оценки.
Ну и для полноты картины про конкретный случай:

ЦитатаМошенническую схему раскрыли в Институте теоретической и экспериментальной биофизики РАН (ИТЭБ)... Оба «отличились» тем, что вставляли в работы аспирантов ссылки на свои статьи. Причем к месту и не к месту.

Будучи сотрудником вышеобозначенного института, имею сказать, что случай там намного более тяжелый. Господа эти организовывали конференции и принимали тезисы от ученых со всей страны. И при этом оставляли за собой право вносить в чужие(!) тексты "стилистические правки", а в результате вставляли в тезисы ссылки на свои статьи без ведома авторов.

• +3.28 / 54
• • 54

Цитата: Kali от 21.03.2019 18:39:37Неоднократно уже писала.
Повторю.

Цитата: Kali от 21.03.2019 18:39:37

 

Kali, вот не поверите, но специально для вас сохранила когда-то одну ссылку именно про тему грантов в нашей науке и на проблемы с обязаловкой к публикациям, поскольку вы часто здесь эту тему поднимали. Но повода не было ссылку приводить, а вот сейчас вы повод этот дали.  Ползунок в ссылке надо подвинуть на начало разговора 2:02:00.  Сначала будет немного о зарплате учёных, а потом много про систему грантов и публикаций. Вам должно быть интересно:

• +0.91 / 12
• • 12

Цитата: Вика от 22.03.2019 00:03:59Kali, вот не поверите, но специально для вас сохранила когда-то одну ссылку именно про тему грантов в нашей науке и на проблемы с обязаловкой к публикациям, поскольку вы часто здесь эту тему поднимали. Но повода не было ссылку приводить, а вот сейчас вы повод этот дали.  Ползунок в ссылке надо подвинуть на начало разговора 2:02:00.  Сначала будет немного о зарплате учёных, а потом много про систему грантов и публикаций. Вам должно быть интересно:

Цитата: Вика от 22.03.2019 00:03:59

 

Спасибо, канешн. Но я Соловьева на дух не переношу, со времен "Соловьиных трелей" на СерДожде

• +0.43 / 7
• • 7