Эффективность VS формализм в управлении научными исследованиями
Российский эксперт по наукометрии компании Thomson Reuters Павел Касьянов опубликовал аналитический комментарий, в котором поведал о средней цитируемости и формализме в управлении научными исследованиями.
Если вы уже какое-то время читаете этот блог, то наверняка знаете, что такое средняя цитируемость, нормализованная по предметной области относительно среднемирового уровня (category normalized citation impact, CNCI). Есть ещё один интересный показатель, о котором я до сих пор особенно не рассказывал - это средняя цитируемость, нормализованная по журналу (journal normalized citation impact, JNCI). Он показывает, насколько лучше или хуже, чем в среднем по журналу (а не по миру, как CNCI), цитируется научная публикация.
Сам по себе индикатор JNCI мало о чём говорит, но как дополнение к показателю CNCI он позволяет понять, в тех ли журналах публикуется рассматриваемый автор или организация. Ещё 5 лет назад мы обратили внимание на тот факт, что для абсолютного большинства российских научных организаций показатель CNCI существенно ниже единицы, которая и является среднемировым уровнем, а вот тот же показатель, но на уровне журнала - вполне на среднем уровне или даже выше него, все картинки кликабельны.
 |
|
Показатели CNCI (единица - среднемировой уровень) и JCNI (единица - средний уровень по журналу) у десяти наиболее активно публикующихся российских организаций в период с 2005 по 2014 гг. Скриншот из InCites |
О чём это говорит? О том, что проблема низкой цитируемости российской науки (а тот же показатель CNCI для России в целом за последние 10 лет равен 0,65 - то есть, на 35% ниже среднемирового значения, - и по нему мы занимаем 136-е место среди 143х стран, которые
опубликовали за эти 10 лет хотя бы 1000 работ) - это результат не низкого качества самих публикаций. Проблема, как следует из этих наблюдений - в журналах, и если понимать, сколько человек во всём мире читает научную периодику, в которой больше всего любят публиковаться российские авторы, то прослеживается достаточно явная связь между размером аудитории журнала и цитируемостью работ.
опубликовали за эти 10 лет хотя бы 1000 работ) - это результат не низкого качества самих публикаций. Проблема, как следует из этих наблюдений - в журналах, и если понимать, сколько человек во всём мире читает научную периодику, в которой больше всего любят публиковаться российские авторы, то прослеживается достаточно явная связь между размером аудитории журнала и цитируемостью работ.
Теперь перейдём к чуть более сложным вещам. В 2014м году на конференции Science Online заместитель директора библиотеки ВШЭ и по совместительству один из лучших наукометристов в России Владимир Писляков представил идеальный способ визуализации описанного выше наблюдения: мы можем отложить на графике значения JNCI на одной оси, а значения CNCI - на другой.
Получается вот такой красивый график. Поместить на него мы теперь можем всё, что угодно - индивидуальные публикации, средние значения этих показателей для конкретных авторов, университетов или даже стран. Биссектриса здесь делит график на две части и буквально показывает, где цитируемость, нормализованная по журналу, равна цитируемости, нормализованной по предметной области: сильное отклонение от неё вниз и вправо будет с высокой вероятностью говорить о том, что низкоимпактовый журнал "тянет" цитируемость публикаций вниз, сильное отклонение вверх и влево - о том, что автору повезло опубликовать статью в журнале, уровень которого сильно превышает уровень статьи, и таким образом поддерживает её цитируемость. Давайте попробуем отложить на этом графике российские научные организации.
 |
|
Соотношение нормализованной цитируемости у наиболее активно публикующихся российских университетов. Источник: Thomson Reuters InCites |
Это - российские университеты, размер кружка - количество публикаций. Здесь и далее окно публикационной активности взято с 2005го по 2014й год. Как видно, основная масса оказывается именно снизу-справа от биссектрисы, то есть - публикуются преимущественно в низкоимпактовых журналах, и абсолютное большинство из университетов в целом цитируется хуже среднемирового уровня. Самый большой кружок - это, разумеется, МГУ, у трёх ВУЗов - МИФИ, СФУ и ВШЭ - ситуация с цитируемостью оказалась даже лучше среднемировой.
Теперь давайте посмотрим на российские исследовательские институты.
 |
|
Соотношение нормализованной цитируемости у наиболее активно публикующихся исследовательских институтов. Источник: Thomson Reuters InCites |
С институтами ситуация очень похожая - здесь абсолютно все проявили себя на уровне журнала лучше, чем в мировом масштабе.
Что мы увидим у ведущих мировых научных организаций? Тут, как видите, пришлось продолжить ось CNCI вверх, чтобы Гарвард и MIT уместились на графике. С ними всё понятно - публикуются в лучших журналах, да ещё и на фоне самих журналов отлично выглядят.
 |
|
Соотношение нормализованной цитируемости у ведущих мировых университетов. Источник: Thomson Reuters InCites |
Интересная картина - у лидеров оставшейся части BRIC, исключая Россию. Обратите внимание, что масштаб диаграммы другой, её пришлось увеличить, чтобы разглядеть, поскольку все организации - довольно близко к центру. Видно, что университет Сан-Паулу смотрится чуть хуже других, но, на самом деле, несильно отклоняется от биссектрисы.
 |
|
Соотношение нормализованной цитируемости у ведущих научных организаций BRIC. Источник: Thomson Reuters InCites |
Это было сравнение организаций. Очевидно, что более высокорейтинговые почему-то действительно оказываются выше и немного левее на графике. А вот теперь действительно интересные вещи. Что будет, если взять одну конкретную научную организацию и отложить на такой же диаграмме все их публикации в разбивке по журналам?
Начнём, пожалуй, с Университета Лобачевского - тем более что Евгений Владимирович Чупрунов, ректор Университета, на семинаре проекта "5top100" в Нижнем Новгороде в сентябре прошлого года сказал: "У нас рост публикационной активности происходит за счёт хороших журналов с хорошим импакт-фактором", - что было просто музыкой для моих ушей. Напомню, окно публикационной активности ограничено 2005м-2014м годами, то есть, периодом до того, как Евгений Владимирович озвучил это заявление.
 |
|
Соотношение нормализованной цитируемости у Университета Лобачевского. Источник: Thomson Reuters InCites |
Цифры в скобках - это место, которое журнал занимает по импакт-фактору среди остальных изданий в своей предметной области. К сожалению, видно огромное количество хороших публикаций, которым мировой научное сообщество уделило очень мало внимания, и пара высокоимпактовых жуналов - увы, только по физике - в которых публикации цитировались слабо по меркам журнала и сильно по меркам всего мира. Давайте посмотрим на какой-нибудь академический институт - например, Институт Теоретической Физики им. Ландау:
 |
|
Соотношение нормализованной цитируемости у ИТФ им. Ландау. Источник: Thomson Reuters InCites |
Снова прекрасно видно, что чем выше в своей предметной области журнал по импакт-фактору - тем лучше цитируются работы, и приятно видеть, что удачный выбор журналов (и, безусловно, ценнейшие результаты научных исследований) не ограничиваются сериями Physical Review/Physical Letters. Остались сомнения? Давайте посмотрим на лёгкие здорового человека аналогичную диаграмму для шести самых популярных журналов в Гарварде:
 |
|
Соотношение нормализованной цитируемости у Гарварда. Источник:
Thomson Reuters InCItes. |
Ну и какие выводы из этого мы делаем.
Первый: формализм в управлении научными исследованиями - плохо. Призывы "публиковаться только в индексируемых ведущими международными базами данных изданиях" - и особенно оценка деятельности по валу таких публикаций - заставляет многих учёных выбирать путь наименьшего сопротивления и публиковаться там, где проще, но при этом аудитория у таких изданий составляет не более тысячи человек. Это действительно увеличивает публикационную активность, но снижает цитируемость, по которой у России дела обстоят и вправду плохо.
Второй: решение "Мы добавим 5 наших журналов в ведущие международные базы данных" - верный способ потерять драгоценное время, и к 2020му году не то что не попасть ни в какие рейтинги, а испортить себе все основные показатели, связанные с цитируемостью. Оставьте инициативы по продвижению журналов редакциям самих журналов.
Третий: любая инициатива, смещающая акцент в управлении научными исследованиями с более активного и креативного продвижения научных результатов (которым, как правило, является научная публикация) на агрессивное продвижение научных журналов, гарантированно затягивает цитируемость научных исследований вот в этот квадрант:
Отдельное спасибо за подготовку этого материала моему коллеге и другу Сергею Парамонову, который уже добавил эту методологию к тем консалтинговым проектам, которые он реализовывает для российских организаций.
Интересный анализ, но...
не учитывается важный (иногда "роковой") параметр - стоимость опубликования статьи в том или ином журнале. В моей предметной области стоимость опубликования статьи в высокорейтинговых журналах составляет от 1000 баксов и выше, и человеку, у которого нет источника для оплаты (работодатель, грант и т.п.), невозможно изменить что-то в своей публикационной политике: он опубликует там, где ему будет по карману. В итоге ситуация, как в шоу-бизнесе: талантов полно, а известны единицы, причем часто не самые талантливые, а те, кому удалось найти спонсоров.
средние величины неуместны в наукометрии
конечная задача ученого - совершить новое открытие, создать новой научное знание. Конечно же такое получается не каждый год, и мы пишем нечто не столь новое в не самых блестящих журналах ибо нужно куда-то пристроить полученные промежуточные данные, отчитаться по гранту и т.д. Однако и общество ожидает от ученых единичных но ярких научных открытий. Хоть прикладные, хоть фундаментальные исследования ценны своими наивысшими достижениями. Довольно странно когда чиновники пытаются оценивать общий вал стаей, пересчитывают количество статей на научного сотрудника и т.д. Полагаю следует оценивать первые 5-10 % научных работ. Ведь иначе толпы ученых, не добившихся успеха, своим валом работ маскируют различные научные прорывы (которые и должны быть редкими).
В защиту наукометрии :)
Однако же в наукометрии есть масса показателей, она отнюдь не сводится к индексу Хирша, в частности, есть понятия высокоцитируемых статей и прочая, прочая.
Как раз таки смысл данного анализа в том, чтобы объяснить, что "лучше меньше, да лучше", что "тысяча мышей не заменит одного слона" и т.д.
Страницы