Конец науки во всем мире, Хирши и самураи

Цитата7 февраля

«Статья может хорошо цитироваться потому, что она ошибочна»
Почему научную работу нельзя оценивать по ее цитированию
д.х.н., академик РАН Е.Свердлов

Почему библиометрия — плохой инструмент оценки работы ученого,
как нерадивая ассистентка подтолкнула к самоубийству выдающегося биолога, почему статью с будущим нобелевским открытием не взяли в престижный журнал и зачем нобелевский лауреат призывает бойкотировать высокорейтинговые журналы, читайте в колонке доктора химических наук, профессора, академика РАН Евгения Свердлова. Колонка представляет из себя переработанный фрагмент из статьи, которая вскоре выйдет в «Вестнике РАН».


Сегодня оценка ученых все в большей степени определяется уровнем престижности их публикаций. Эта политика пагубна для науки. Любые библиометрические данные, тем более импакт-фактор журналов, в которых ученые публикуются, не могут служить критерием эффективности исследований или ценности публикаций. Невоспроизводимость статей стала обычным явлением. Например, в области онкологии она достигает 75%. Растет количество статей, отзываемых из журналов ввиду допущенных ошибок или фальсификаций. Отзыв статей принял такие масштабы, что разрабатывается база данных Retraction Watch, которая уже содержит 16000 записей об отозванных статьях: более 1000 появилось только в 2017 году и 650 — в 2016 году. Стремление журналов повысить свой импакт-фактор приводит к тому, что статьи оцениваются не по их научному потенциалу и новизне, а по перспективе их цитируемости, в результате чего пионерские статьи зачастую отвергаются.

-----------
Самурай от науки
С тех пор как я опубликовал вышеупомянутую статью (которая никого не убедила), прошло меньше десяти лет и пришло трагическое событие: Йосики Сасаи покончил с собой. Это произошло 5 августа 2014 года. Вот как об этом рассказывает Дэвид Цираноски в Nature.
В дни, последовавшие за трагической гибелью Йосики Сасаи, ученые, журналисты и блогеры в Японии спекулировали о причинах этого события. 52-летний всемирно известный ученый, работавший со стволовыми клетками в Центре биологии развития (CDB) RIKEN в Кобе, был вовлечен в скандальное исследование. Две статьи по работам, выполненные под его эгидой и вызвавшие широчайший резонанс среди исследователей, занятых в очень модной области стволовых клеток человека и их применений в медицине, были опубликованы в Nature (импакт-фактор выше 40) в январе 2014 года.
В них описан способ преобразования зрелых клеток мыши в эмбрионально-подобное (плюрипотентное) состояние под действием различных стрессовых воздействий, например, путем их погружения в кислоту — метод, получивший известность как «получение плюрипотентности, вызванной стимулом» (stimulus-triggered acquisition of pluripotency, STAP). Это чрезвычайно важное открытие как с теоретической, так и медицинской точек зрения, поскольку оно позволяет достаточно просто получать стволовые клетки для трансплантации.


Однако очень скоро появились сообщения о подделках в опубликованных данных, и уже в июле 2014 года статьи были отозваны. Внутренняя комиссия по расследованию RIKEN в апреле обнаружила, что Харуко Обоката, молодая исследовательница, первый автор статей, виновна в фальсификации (этому посвящен специальный выпуск Nature «Рост и падение STAP» (The rise and fall of STAP). Внутреннее расследование также пришло к выводу, что Сасаи несет «серьезную ответственность» за невнимательное курирование работы, но невиновен в отношении любого прямого участия в получении подложных данных. Последовала целая серия отставок и широкое обсуждение причин случившегося. Сасаи не выдержал позора.

И это не единичный пример. Невоспроизводимость статей стала довольно
обычным явлением, и в 2015 году Nature опубликовал специальный выпуск, посвященный этой проблеме. Вот что говорится во введении к выпуску: «Наука развивается быстрее, когда люди тратят меньше времени на то, чтобы стремиться к ложным целям. Ни одна исследовательская статья никогда не может считаться последним словом, но появляется слишком много таких, которые не заслуживают дальнейшего изучения. Объяснения включают повышенный уровень внимания, сложность экспериментов и статистики и давление на исследователей. Журналы, ученые, учреждения и финансирующие организации участвуют в решении проблемы воспроизводимости. Nature предпринял существенные шаги для повышения прозрачности и надежности того, что мы публикуем, и для повышения информированности в научном сообществе. Мы надеемся, что статьи, содержащиеся в этом выпуске, помогут в этом».

Вынуждающее публиковаться давление понижает качество работы
Так названо эссе в Nature. Так написано, что если больше — это хорошо, то тенденции в науке благоприятны. Число публикаций продолжает расти экспоненциально; оно уже к 2012 году приближалось к двум миллионам. «Что более важно и вопреки общей мифологии, большинство статей цитируются. …Одна из вероятных причин роста ссылок — невероятные возможности поиска, которые теперь предоставляет Интернет. Казалось бы, это хорошая новость. Но что если больше — это плохо?» В 1963 году физик и историк науки Дерек де Солла Прайс посмотрел на тенденции роста в исследовательской деятельности и сделал вывод, что научные достижения обеспечиваются очень небольшим процентом исследователей, и поэтому число ведущих ученых будет расти гораздо медленнее, чем количество просто хороших, и это даст «еще большее преобладание исследователей, способных писать просто научные статьи, но не умеющих писать статьи выдающиеся».

В последние десять лет, прежде чем выбрать направление исследований, ученые в отделении гематологической онкологии биотехнологической фирмы Amgen в Калифорнии пытались подтвердить опубликованные результаты, связанные с этой работой. Пятьдесят три статьи, отобранных для анализа, были признаны «знаковыми» исследованиями. С самого начала ожидалось, что некоторые из данных могут не воспроизвестись, потому что были умышленно выбраны статьи, описывающие что-то совершенно новое: новые подходы в таргетной терапии рака или альтернативные клинические применения существующих терапевтических агентов. Тем не менее научные данные были подтверждены только в 6 случаях (11%). Даже принимая во внимание особенности доклинических исследований, это было шокирующим результатом.
В недавнем аналитическом обзоре Бегли и Иоаннидиса относительно ситуации с воспроизводимостью биомедицинских данных, авторы, известные специалисты в области статистической обработки результатов экспериментов, пишут: «Оценки частоты невоспроизводимости варьируют от 75% до 90%. …
Присущая биологическим системам изменчивость означает, что не следует ожидать, что результаты будут обязательно точно воспроизведены в мельчайших подробностях. Тем не менее кажется логичным, что один или два основных вывода, которые возникают из научной работы, должны выдерживать проверку. Кроме того, эмпирические оценки доклинических исследований показали массу других проблем, в том числе то, что эксперименты не повторялись, что использовались некорректные методы контроля, что качество реагентов не тестировалось и что использовались неправильные статистические тесты. Кроме того, исследователи для публикации часто выбирают наилучший эксперимент, а не суммируют полный набор данных».

В 2016 году Nature провел опрос более 1500 ученых относительно невоспроизводимости результатов. Указывается причина опроса: более чем 70% исследователей пытались и не смогли воспроизвести эксперименты, опубликованные другими исследователями. В связи с этим было задано несколько вопросов. Среди них: существует ли кризис воспроизводимости (52% ответили «да, сильный»; 38% — «да, незначительный») и какие факторы играют роль в невоспроизводимости (публикация выборочных данных >60%; вынужденность публикации >60%; низкая статистическая сила или плохой статистический анализ >55%).





Среди многих причин невоспроизводимости последнее время все большее место, особенно в высокорейтинговых журналах, занимают фальсификации, которые, при их обнаружении, приводят к отзыву статей. Боюсь, что многие подложные результаты остаются необнаруженными ввиду сложности и дороговизны проверок.
Средства огромные, качество данных вызывает сомнения
В Nature в 2012 году выразили, возможно в первый раз на форуме самого престижного научного журнала, тревогу не относительно того, что крупные проекты дают мало информации, поглощая огромные средства, а относительно получаемых при этом данных, качество которых вызывает много сомнений.
«В действительности никогда не было так легко получать высокоимпактные ложнопозитивные результаты, как в геномную эру, когда массивные сложные биологические данные дешевы и доступны. Для ясности: большинство экспериментов в масштабах полного генома дает реальные результаты, которые было бы невозможно выявить путем исследований, направляемых гипотезой. Тем не менее охота за биологическими сюрпризами без должных мер предосторожности может легко давать богатый урожай артефактов и приводить к высокоимпактным статьям, основанным не более чем на систематическом экспериментальном шуме».

Далее авторы рассуждают, почему возникают ошибки. По их мнению, существует два источника. Во-первых, исключительно большой размер генома означает, что очень необычный результат может появляться случайно чаще, чем можно интуитивно ожидать. Здесь может помочь статистика. Во-вторых, все высокопроизводительные геномные технологии дают ошибки, некоторые из которых могут быть систематическими, и на неопытный взгляд могут показаться интересным биологическим явлением. В результате исследователи могут прийти к ложным заключениям.
Многие области наук о жизни в настоящее время имеют дело с массивными объемами данных, так что связанные с технологиями производства больших массивов данных артефакты не ограничиваются геномикой. В результате снова и снова биологи не планируют эксперименты правильно и подают в печать недоработанные материалы, например, полученные с недостаточным для статистического анализа количеством образцов, а затем возвещают о случайных результатах, как о биологических эффектах…


Бойкот высокорейтинговых журналов
Рэнди Шекман, бывший главный редактор Proceedings of the National Academy of Sciences, лауреат Нобелевской премии 2013 года по физиологии и медицине, объявил, что он больше не будет отправлять статьи в «роскошные» научные журналы.......: «Эти журналы агрессивно курируют свои бренды, более способствуя продажам подписок, чем стимуляции наиболее важных исследований».

При этом высокая цитируемость конкретной статьи никак не связана со средней высокой цитируемостью всех статей, опубликованных в данном журнале. Если она есть, то это никак не связано с качеством статьи. Шекман пишет: «Статья может хорошо цитироваться потому, что она сообщает важный научный результат, или потому, что она привлекает глаз провокационным заголовком, или, наконец, потому, что она ошибочна. Редакторы журнала Luxury знают об этом, поэтому они принимают статьи, которые будут цитироваться, потому что они исследуют модные темы или содержат бросающиеся в глаза заявления».
------

Мы видим в России, как создается то, что Шекман назвал пузырями. Одни и те же исследователи, которые нашли способы опубликовать свои статьи в престижных журналах, у нас получают гранты, что способствует новым публикациям и, следовательно, новым грантам и т. д. Создается «пузырь», который часто не зависит от реальной значимости проблемы и который, возможно, отвлекает деньги от пионерских исследований, не набравших еще большой публикационной силы, то есть не вошедших в Гумбольдтовскую стадию «в этом что-то есть».
----

«Публикация в престижном журнале может принести хорошую должность, приглашения на конференции, гранты и денежные вознаграждения»
Так говорится в статье в журнале Nature от 16 октября 2013 года. Я остановлюсь на этой статье более подробно. На мой взгляд, она несет информацию, над которой имеет смысл задуматься нашим администраторам разных уровней, да и для ученых она не безынтересна.

Исследователи говорят, что публикация в престижных журналах может помочь сделать карьеру. И в течение многих десятилетий наиболее популярными из этих журналов были Nature и Science — широко читаемые журналы, которые отвергают более 90% рукописей, которые они получают. Однако издательский мир быстро меняется, и ведущие издания сталкиваются с растущей конкуренцией. Движение за публикации с открытым доступом набирает скорость. С 2010 года появилось более 5000 (!) журналов с открытым доступом. Эти журналы привлекают все большую долю представлений, угрожая популярности ведущих журналов.

Заключение
Я уверен, что большинство ученых все это понимает, и, более того, думаю, что и многие руководители науки тоже. Однако проще двигаться по пути формальных оценок, чем найти способы выработки объективных критериев оценки качества работ. В результате импакт-фактор стал единственным или основным критерием оценки. Хотя, если говорить об использовании библиометрических показателей, более корректным является использование индекса цитирования, при этом он тоже имеет свои недостатки. В результате люди, которые занимаются очень важными, но по тем или иным причинам непубликуемыми на данном этапе работами, оказываются обойденными.

Мне приходилось выполнять работы, в частности, по созданию первого отечественного рекомбинантного интерферона, которые очень мало публиковались, но сыграли существенную роль в отечественной медицине и, что немаловажно, помогая руководству Академии, в частности вице-президенту Юрию Овчинникову и академику-секретарю Александру Баеву, убедить руководство страны в том, что развитие биотехнологии и физико-химической биологии — это важно и что на эти направления следует выделить достойные деньги. Эта работа практически не цитируется, но я считаю ее одной из самых важных своих работ.

В моей лаборатории сейчас работает группа талантливых молодых людей, которые создали генно-терапевтический противоопухолевый препарат и сейчас пробивают лбом стену, проводя его доклинические испытания. Это требует гигантских усилий, поскольку в мировой практике только один препарат такого рода получил разрешение на использование, и у разрешительных инстанций нет соответствующего опыта и выработанных критериев оценки. Конечно, такая работа не может иметь многих публикаций, как в свое время и работа по интерферону. Я думаю, что в стране есть и будут впредь многие другие подобные примеры. Поэтому критерии значимости работы должны учитывать многие факторы, которые разумной экспертной оценкой несомненно могут быть учтены. Это поможет правильному, а не пузыреподобному развитию нашей науки.