25
Апр
2015

Во вчерашней Nature: Лейденский манифест

Голландский город Лейден известен не только лейденской банкой, но и лейденским рейтингом вузов.  С недавних же пор он стал известен еще и лейденским манифестом. На конференции наукометристов в Лейдене в сентябре 2014 года профессор Диана Хикс из Georgia Tech предложила первую версию набора принципов, которые следует соблюдать при наукометрическом анализе организаций, исследовательских групп и индивидуальных исследователей. После нескольких месяцев обсуждения наукометристы пришли к консенсусу и вот 23 апреля 2015 года 10 заповедей принципов наукометрии были опубликованы в журнале Nature. Вот эти 10 принципов.

1. Количественное оценивание должно поддерживать качественную, экспертную оценку.

2. Измеряйте качество с учетом исследовательской миссии организации, исследовательской группы, индивидуального исследователя.
 
3. Защищайте исследования, лидирующие на местном (региональном) уровне.
 
4. Используйте открытые, прозрачные и простые процедуры сбора данных и анализа.
 
5. Давайте возможность проверяемым проверить данные и результаты анализа.
 
6. Учитывайте вариации в областях наук при анализе публикаций и цитирований.
 
7. При оценке индивидуального исследователя опирайтесь на качественный анализ его портфолио.
 
8. Избегайте излишней конкретности и чрезмерной точности оценок.
 
9. Распознавайте эффекты воздействия оценок и индикаторов на оцениваемую систему.
 
10. Регулярно обновляйте и  меняйте индикаторы.
 
Эти принципы на первый взгляд кажутся банальными, но почитав разъяснения в Nature, следует признать, что их соблюдение - необходимое условие того, чтобы наукометрическому исследованию можно было бы доверять. Обратите внимание, например, на комментарии к Принципу 3, говорящие о важности специальных индикаторов для оценки исследований, имеющих местное, региональное и национальное значение опубликованных в неанглоязычных журналах. Принцип 9 говорит об опасности оценки по единственному индикатору, приводящей к играм с ним и подмене цели исследования: целью исследования становится измерение. 
 
Прошу прощения за неточность выполненного в спешке перевода. Надо бы опубликовать перевод всей этой короткой заметки, разъясняющей "из первых уст" азы наукометрии и ее применения. Знание их пригодилось бы и научным, и чиновничьим массам.
 

4 комментарии

Отлично!

Спасибо за важную ссылку.

Нужно распечатать, оформить в позолоченные рамки и развесить на стенах во всех высоких кабинетах ФАНО, МОН и РАН.

Наукометрия необходима только для квалификационных критериев

И тех критериев всего лишь два.

Первый критерий - определяет возможность заниматься исследованиями. Это своеобразный допуск и определяется он по индексу источников. Этот критерий - две-три работы в WoS/Scopus.

Второй критерий - это право вести самостоятельные исследования. Определяется он по индексу ссылок, есть такой аналитический инятрумент SciVal.com. В нем определяются международные компетенции.  Есть компетенция - заслужил право.

Этой весной я много побегал по оформлению гранта РФФИ у себя в университете. И каково было мое удивление, что совпадение владельцев компетенций и грантов почти 100%. А кого долговременные компетенции, то это гранты РНФ.

При этом по экспертной российской оценке многие научные школы, в том числе и ведущие, не отражены в компетенциях. Есть и другие вопиющие расхождения.

Также интересно и то, что первый из предложенных мною критериев, в России уже научились преодолевать с легкостью за счет публикаций в журналах с нарушением научной этики. Второй критерий пока не пробит, но я на стаже, слежу за статистикой.

Смена индикаторов

"10. Регулярно обновляйте и  меняйте индикаторы."

Мысль конечно понятна. Но страшно подумать, во что этот пункт, взятый вне контекста, может превратиться в руках чиновников.  Они-то будут рады обновлять индикаторы, это же как раз для них деятельность - новые индикаторы разработать laugh

Новые индикаторы не нужны

Да, могут, конечно, придумать какой-то самопал, а  нас потом заставлять самих считать все, что они напридумают.

На самом деле новые индикаторы не нужны, их и так более, чем достаточно придумано. Речь идет  о том, чтобы переходить с одного на другой время от времени, чтобы оцениваемые не успевали приспособиться. Например, представьте, что ученого оценивают по Хиршу и полной цитируемости, или по числу статей в WoS и по числу статей в Q1 в WoS, а что важнее из двух показателей - не говорят. Тогда у тех, кто накручивает индексы нет ориентира!

Подробнее об этом см. например, в статье Gianluka Setti (Fellow, IEEE) Bibliometric Indicators: Why Do We Need More Than One?

Увы, объяснять, чиновникам что такое хорошо и что такое плохо -  это тяжелый малопроизводительный труд.

Страницы