Цитата7 февраля
«Статья может хорошо цитироваться потому, что она ошибочна»
Почему научную работу нельзя оценивать по ее цитированию
д.х.н., академик РАН Е.Свердлов
Почему библиометрия — плохой инструмент оценки работы ученого,Скрытый текст
Сегодня оценка ученых все в большей степени определяется уровнем престижности их публикаций. Эта политика пагубна для науки. Любые библиометрические данные, тем более импакт-фактор журналов, в которых ученые публикуются, не могут служить критерием эффективности исследований или ценности публикаций. Невоспроизводимость статей стала обычным явлением. Например, в области онкологии она достигает 75%. Растет количество статей, отзываемых из журналов ввиду допущенных ошибок или фальсификаций. Отзыв статей принял такие масштабы, что разрабатывается база данных Retraction Watch, которая уже содержит 16000 записей об отозванных статьях: более 1000 появилось только в 2017 году и 650 — в 2016 году. Стремление журналов повысить свой импакт-фактор приводит к тому, что статьи оцениваются не по их научному потенциалу и новизне, а по перспективе их цитируемости, в результате чего пионерские статьи зачастую отвергаются.
-----------
Самурай от науки
С тех пор как я опубликовал вышеупомянутую статью (которая никого не убедила), прошло меньше десяти лет и пришло трагическое событие: Йосики Сасаи покончил с собой. Это произошло 5 августа 2014 года. Вот как об этом рассказывает Дэвид Цираноски в Nature.
В дни, последовавшие за трагической гибелью Йосики Сасаи, ученые, журналисты и блогеры в Японии спекулировали о причинах этого события. 52-летний всемирно известный ученый, работавший со стволовыми клетками в Центре биологии развития (CDB) RIKEN в Кобе, был вовлечен в скандальное исследование. Две статьи по работам, выполненные под его эгидой и вызвавшие широчайший резонанс среди исследователей, занятых в очень модной области стволовых клеток человека и их применений в медицине, были опубликованы в Nature (импакт-фактор выше 40) в январе 2014 года.Скрытый текст
Однако очень скоро появились сообщения о подделках в опубликованных данных, и уже в июле 2014 года статьи были отозваны. Внутренняя комиссия по расследованию RIKEN в апреле обнаружила, что Харуко Обоката, молодая исследовательница, первый автор статей, виновна в фальсификации (этому посвящен специальный выпуск Nature «Рост и падение STAP» (The rise and fall of STAP). Внутреннее расследование также пришло к выводу, что Сасаи несет «серьезную ответственность» за невнимательное курирование работы, но невиновен в отношении любого прямого участия в получении подложных данных. Последовала целая серия отставок и широкое обсуждение причин случившегося. Сасаи не выдержал позора.
И это не единичный пример. Невоспроизводимость статей стала довольноСкрытый текст
Вынуждающее публиковаться давление понижает качество работы
Так названо эссе в Nature. Так написано, что если больше — это хорошо, то тенденции в науке благоприятны. Число публикаций продолжает расти экспоненциально; оно уже к 2012 году приближалось к двум миллионам. «Что более важно и вопреки общей мифологии, большинство статей цитируются. …Одна из вероятных причин роста ссылок — невероятные возможности поиска, которые теперь предоставляет Интернет. Казалось бы, это хорошая новость. Но что если больше — это плохо?» В 1963 году физик и историк науки Дерек де Солла Прайс посмотрел на тенденции роста в исследовательской деятельности и сделал вывод, что научные достижения обеспечиваются очень небольшим процентом исследователей, и поэтому число ведущих ученых будет расти гораздо медленнее, чем количество просто хороших, и это даст «еще большее преобладание исследователей, способных писать просто научные статьи, но не умеющих писать статьи выдающиеся».
В последние десять лет, прежде чем выбрать направление исследований, ученые в отделении гематологической онкологии биотехнологической фирмы Amgen в Калифорнии пытались подтвердить опубликованные результаты, связанные с этой работой. Пятьдесят три статьи, отобранных для анализа, были признаны «знаковыми» исследованиями. С самого начала ожидалось, что некоторые из данных могут не воспроизвестись, потому что были умышленно выбраны статьи, описывающие что-то совершенно новое: новые подходы в таргетной терапии рака или альтернативные клинические применения существующих терапевтических агентов. Тем не менее научные данные были подтверждены только в 6 случаях (11%). Даже принимая во внимание особенности доклинических исследований, это было шокирующим результатом.
В недавнем аналитическом обзоре Бегли и Иоаннидиса относительно ситуации с воспроизводимостью биомедицинских данных, авторы, известные специалисты в области статистической обработки результатов экспериментов, пишут: «Оценки частоты невоспроизводимости варьируют от 75% до 90%. …Скрытый текст
В 2016 году Nature провел опрос более 1500 ученых относительно невоспроизводимости результатов. Указывается причина опроса: более чем 70% исследователей пытались и не смогли воспроизвести эксперименты, опубликованные другими исследователями. В связи с этим было задано несколько вопросов. Среди них: существует ли кризис воспроизводимости (52% ответили «да, сильный»; 38% — «да, незначительный») и какие факторы играют роль в невоспроизводимости (публикация выборочных данных >60%; вынужденность публикации >60%; низкая статистическая сила или плохой статистический анализ >55%).Скрытый текст
Среди многих причин невоспроизводимости последнее время все большее место, особенно в высокорейтинговых журналах, занимают фальсификации, которые, при их обнаружении, приводят к отзыву статей. Боюсь, что многие подложные результаты остаются необнаруженными ввиду сложности и дороговизны проверок.
Средства огромные, качество данных вызывает сомнения
В Nature в 2012 году выразили, возможно в первый раз на форуме самого престижного научного журнала, тревогу не относительно того, что крупные проекты дают мало информации, поглощая огромные средства, а относительно получаемых при этом данных, качество которых вызывает много сомнений.Скрытый текст
Бойкот высокорейтинговых журналов
Рэнди Шекман, бывший главный редактор Proceedings of the National Academy of Sciences, лауреат Нобелевской премии 2013 года по физиологии и медицине, объявил, что он больше не будет отправлять статьи в «роскошные» научные журналы.......: «Эти журналы агрессивно курируют свои бренды, более способствуя продажам подписок, чем стимуляции наиболее важных исследований».
При этом высокая цитируемость конкретной статьи никак не связана со средней высокой цитируемостью всех статей, опубликованных в данном журнале. Если она есть, то это никак не связано с качеством статьи. Шекман пишет: «Статья может хорошо цитироваться потому, что она сообщает важный научный результат, или потому, что она привлекает глаз провокационным заголовком, или, наконец, потому, что она ошибочна. Редакторы журнала Luxury знают об этом, поэтому они принимают статьи, которые будут цитироваться, потому что они исследуют модные темы или содержат бросающиеся в глаза заявления».
------
Мы видим в России, как создается то, что Шекман назвал пузырями. Одни и те же исследователи, которые нашли способы опубликовать свои статьи в престижных журналах, у нас получают гранты, что способствует новым публикациям и, следовательно, новым грантам и т. д. Создается «пузырь», который часто не зависит от реальной значимости проблемы и который, возможно, отвлекает деньги от пионерских исследований, не набравших еще большой публикационной силы, то есть не вошедших в Гумбольдтовскую стадию «в этом что-то есть».
----Скрытый текст
Заключение
Я уверен, что большинство ученых все это понимает, и, более того, думаю, что и многие руководители науки тоже. Однако проще двигаться по пути формальных оценок, чем найти способы выработки объективных критериев оценки качества работ. В результате импакт-фактор стал единственным или основным критерием оценки. Хотя, если говорить об использовании библиометрических показателей, более корректным является использование индекса цитирования, при этом он тоже имеет свои недостатки. В результате люди, которые занимаются очень важными, но по тем или иным причинам непубликуемыми на данном этапе работами, оказываются обойденными.
Мне приходилось выполнять работы, в частности, по созданию первого отечественного рекомбинантного интерферона, которые очень мало публиковались, но сыграли существенную роль в отечественной медицине и, что немаловажно, помогая руководству Академии, в частности вице-президенту Юрию Овчинникову и академику-секретарю Александру Баеву, убедить руководство страны в том, что развитие биотехнологии и физико-химической биологии — это важно и что на эти направления следует выделить достойные деньги. Эта работа практически не цитируется, но я считаю ее одной из самых важных своих работ.
В моей лаборатории сейчас работает группа талантливых молодых людей, которые создали генно-терапевтический противоопухолевый препарат и сейчас пробивают лбом стену, проводя его доклинические испытания. Это требует гигантских усилий, поскольку в мировой практике только один препарат такого рода получил разрешение на использование, и у разрешительных инстанций нет соответствующего опыта и выработанных критериев оценки. Конечно, такая работа не может иметь многих публикаций, как в свое время и работа по интерферону. Я думаю, что в стране есть и будут впредь многие другие подобные примеры. Поэтому критерии значимости работы должны учитывать многие факторы, которые разумной экспертной оценкой несомненно могут быть учтены. Это поможет правильному, а не пузыреподобному развитию нашей науки.
Цитата: 1Norther12 от 28.02.2018 21:00:17Я бы Розенбергов американских дерьмом не называл, а Вы, как знаете...
В создании Советского ядерного щита и их заслуга есть.
И легко найти в Москве улицу, что носит имя куда менее достойных людей.
Цитата: Klette от 28.02.2018 22:08:07Давайте разложим ситуацию с Иваном Грозным по полочкам.
Герой битвы при Молодях и создатель первого устава пограничной стражи князь М. Воротынский происходил хоть и из князей, но худородных,
Цитата«Как видно, князь относился к той драгоценной породе русских людей, которая способна была, взвалив большое дело себе на хребтину, волочь его до полного исполнения, не щадя сил и не прося поблажек. Эти-то и поднимали великие царства. Отвагою своей, выносливостью, превосходящей всякое вероятие, и чудовищной энергией в деле»
Цитата: DeC от 28.02.2018 22:11:41Берлинская PTScientists, при поддержке Vodafone Germany, Nokia и Audi работают над миссией по покрытию Луны мобильной связью. С Землей связываться тоже можно будет.
Цитата: Ник_ от 28.02.2018 23:17:03Осада Полоцка (1563) - настолько важное событие в истории России, что я все время удивляюсь почему про это мало говорится...
Цитата: DeC от 17.08.2017 10:24:13Временным директором Белого дома по коммуникациям станет бывшая модель.
Пост директора по коммуникациям Белого дома, вакантный после ухода Энтони Скарамуччи, временно займет Хоуп Хикс – давняя соратница Трампа и бывшая модель Ralph Lauren.
28 лет.
Цитата
– Что касается внутренней безопасности, то сегодня я впервые услышал от вас термин "нулевая толерантность". Это ваше предложение?
– Вопросы внутренней безопасности всегда была частью моей ответственности. Государство обладает монополией на применение силы и должно гарантировать, что люди имеют право на безопасность, когда они встречаются в общественных местах. В нашей последней политической программе мы говорим не о "свободе и ответственности", а о "свободе и безопасности". Потому что свобода может быть реализована только в случае обеспечения безопасности.
– Что означает "нулевая толерантность"?
– Это означает, что, например, в Германии не должно быть никаких запретных областей. Не должно быть зон, в которые никто не смеет входить. Но у нас есть такие районы. Надо называть вещи своими именами и как-то решать эту проблему.
Цитата: Kali от 28.02.2018 21:48:24Как-те недавно мы обсуждали тут в привязке в Китаю вопрос относительно накрутки индексов цитирования, по которым во всем мире оценивают качество исследований.
Думаю, ниже приведенный материал должен появиться в БПМ, хотя бы потому, что дает возможность оценить всю жуть творящейся жути.
Прибежище последних идеалистов - наука...ну, фактически нету прибежища-то
Полностью статья тут https://indicator.ru…kt-faktor/
Про японца, который повесился от стыда - немного тут http://www.peoples.r…iki_sasai/
Йошики СасаиСкрытый текст
Его брехучая сотрудницаСкрытый текст
Такие дела(С)
Цитата: Куплю Гвоздодер от 29.03.2017 10:02:32Наукометрия не совершенна, но зато отлично показывает кто и чего представляет. И главное, что она показывает: насколько актуальной темой занимаются ученые.
А редакции журналов с хорошим ИФ будут ясное дело всю эту халтуру пропускать без счета. Ага.
У этого Козлова самого Хирш 14 https://www.scopus.c…7402207934, он типа не в курсе, что и куда пропускают. Да, бывает и халтура, но раз в год и палка стреляет.
Цитатаhttp://www.atominfo.ru/newsp/w0443.htm
В СССР наукометрия отсутствовала как класс. В России превый наукометрический список (индекс цитирования) был обнародован в 2001, первая публикация в СМИ была в 2002
http://www.ng.ru/science/2002-06-26/11_citate.html
Ядерная физика и физика высоких энергий всегда были в пионерах. Как хорошо известно, интернет с современным протоколом был создан в ЦЕРН-е (Европейском центре ядерных исследований) из-за утилитарных нужд обработки огромных массивов экспериментальных данных. Ровно так же первый некоммерческий центр наукометрии HEP SPIRES начал работать еще в 70-х в Стэнфордском центре линейных ускорителей. Как и электронный некоммерческий архив по физике был создан около 90-го при Лос-Аламосе теоретиками, занятыми т.н. решеточной квантовой хромодинамикой.
До взрывного развития науки в 60-х (во всем виноват спутник! а до него ядерное оружие!) все ученые были как бы персонально знакомы каждый со всеми. Когда круг лично знакомых стал каплей в море, возникла нужда в сравнении знакомых с незнакомыми. Потребовался аршин. Родилась идея индекса цитирования.
Вначале все было просто, как мычание.
Если ты в своей публикации в какой-то мере используешь результаты предыдущих авторов, то как честный человек ты на него ссылаешься. Автор той работы получает в свой послужной список, получивший название индекс цитирования, одну галочку. Чем чаще на работу ссылаются, тем она важнее --- т.е., можно выстраивать авторов по числу галочек, т.е., индексу цитирования. Все логично: если на твою работу никто не сослался, то это макулатура, много ссылок --- хорошая работа.
В целом корреляция между значимостью ученого и его научным авторитетом и индексом цитирования заведомо положительная. Работы с индексом цитирования за сотню, в полтыщи, за тыщу, в самом деле великие.
Но случаются и казусы: есть публикации с бешеной цитируемостью, в которой нет, по-существу, ни одного правильного ответа. Но автор взглянул на проблему под правильным углом и сформулировал правильный путь решения задачи. А вот владения математикой ему не хватило. Зато другие, кто никогда в жизни паровоза не придумали бы, смогли задачу раздраконить. Есть коллаборации теоретиков, которые лет по 10 публикуют только совместные статьи, и роль авторов в троице четко разделена: этот генерит идеи и вполне техничен, этот чистый технарь, а третий всегда впопад задает ехидные вопросы, спускает увлекшихся соавторов с небес на Землю до того, как они рухнули бы и разбились, и ставит на правильные рельсы, ведущие к успеху. Когда такие троицы по разным причинам распадаются, то становится ясно, что роль каждого их них была критически важной — поодиночке каждый из них намного мельче, чем трать от той троицы.
Далее оказывается, что все зависит от тематики. Расцвет кондовой ядерной физики, т.е., спектроскопии, изучения свойств конкретных ядер, ядерных реакций при низких и промежуточных энергиях --- это 50-60-70-е. С 80-х интерес сместился на экзотические ядра и процессы, важные для ядерной астрофизики. Число ядерных центров резко сократилось. Поэтому самые блестящие работы в этой области соберут цитирований на порядок меньше, чем работы по физике высоких энергий, а эти в свою очередь проиграют вдвое-втрое авторам по математической физике.
Итак, аршин оказывается неуниверсальным.
В физике высоких энергий ситуация временами смехотворна и драматична одновременно. На Большом Адронном Коллайдере все жаждут увидеть новое явление. Все время вылезают пупыри от трех до пяти стандарнтых отклонений, на которые голодные орды теоретиков изобретают полсотни объяснений и через две-три недели электронный архив уже завален полтыщей препринтов. Часть из них даже успевает прошмыгнуть в журнал, прежде чем экспериментаторы объявят, что это был статистический выброс. Нечто подобное в тогдашней физике элементарных частиц было в 60-е, когда каждую неделю в разных лабораториях открывали по одному новому резонансу. Тогда считалось приличным обсуждать эффекты, начиная с трех стандартных отклонений. Доведенный до отчаяния Леон Розенфельд, команда которого тогда отвечала за регистрацию таких открытий, объявил, что отныне ничего со статистической обеспеченностью менее пяти стандартных отклонений он даже читать не будет. И в целом он был прав. С тех пор, наперекор законам статистики, этот стандарт в пять стандартных отклонений стал почти законом.
В 97-м три автора из ПИЯФ, Гатчина опубликовали теоретическое предсказание экзотического бариона с положительной странностью. Его увидели в Японии. В российской прессе и на телевидении заговорили о нобелевской премии. Началась вакханалия подтверждений и закрытий. По теме за 4-5 лет было опубликовано под 900 (!) статей --- таков индекс цитируемости этой статьи из ПИЯФ. Дело закончилось окончательным доказательством, что такого бариона нет.
В 90-е и в начале 2000-х индекс цитируемости (индекс Хирша в "нормальной" ситуации мало чем отличается от средней цитируемости на одну публикацию) царил при приему на работу. С ним было так легко --- любой бухгалтер, ни ухом ни рылом не ведающий о разнице между физикой и физиологией, мог просчитать цену кандидату в профессора. Первыми спохватились мелкобриты, которые исключили этот критерий из главных.
Но у бухгалтеров из ФАНО шеей можно Землю по экватору обернуть трижды, а может и десять раз. До их голов дошел только один сигнал: всем на свете достижениям можно выставить цену в условных тугриках. И их интересует только эта цена.
Заключение: в индексе Хирша и индексе цитирования, с оглядкой на аршины разной длины в разных племенах, несомненно есть объективность. Но нельзя тупо сравнивать картоху с ананасами. Но нет в ФАНО мозгов, способных понять разницу между овощами, ягодами, фруктами, рыбой и мясом.
Цитата: Александр_С от 28.02.2018 12:27:15Источник
Я продолжаю оставаться при своем мнении. Нам нужна полная симметрия в действиях против США, иначе они ничего не поймут.
Цитата: Поверонов от 01.03.2018 08:18:01Для озимых нужен укрывающий их снег. В Германии снег выпадает редко и не держится - потому нет и озимых.