27
Фев
2014

Еще раз о библиометрии и экспертизе при оценке ученых: документы

Читайте также другие материалы по теме: 

 


Библиометрия – важный исследовательский инструмент и подсобное средство оценивания.

Сводить к ней оценку – убийственно: науку разрушает смещение критерия с содержательных вещей на формальные.

Не говоря о неразрешимых, по-видимому (особенно – в условиях манипулирования), проблемах неоднородности научных направлений и журналов.

Цель данной заметки – опубликовать недоступные (или труднодоступные) в сети документы, связанные с экспертным подходом к оцениванию ученых и научных организаций. Они прицеплены.

А именно, к заметке прицеплены части перевода на русский язык документа «Panel criteria and working methods» английской системы аттестации REF-2014, которую я упоминал в позавчерашней статье в ТрВ. Перевод был организован при содействии сотрудников Математического института им. В. А. Стеклова РАН, Санкт-Петербургского отделения Математического института им. В. А. Стеклова РАН, Института системного программирования РАН, Института проблем передачи информации РАН и Института русского языка РАН. Поскольку переводчиков было несколько, терминология не всегда согласована.

Кроме того, приложен документ «Российская экспертная инфраструктура для оценки результатов деятельности научных организаций» – Заявление Совета по оценке результативности деятельности научных организаций Отделения математических наук  РАН.

В связи с этим упомяну также сборник «Игра в цыфирь» (М.: МЦНМО, 2011) и спецвыпуск журнала Управление большими системами «Наукометрия и экспертиза в управлении наукой» (М.: ИПУ РАН, 2013). А также – Постановление Бюро Отделения математических наук РАН «О наукометрических методах оценки научной деятельности (мировой опыт)» и Заявление совета молодых ученых и специалистов Математического института им. В.А. Стеклова РАН «О библиометрической оценке в математике».


 

Kafkan World of the British “Research Excellence Framework”

Не буду напоминать о том, что до REF14, было ускоренными темпами проведено RAE08, которое вызвало шквал критики так что программу оценки даже переименовали, что бюрократию в RAE14 уже называют The Kafkan World of the British “Research Excellence Framework”, что в Америке нет аналогов RAE/REF и не буду вслед за многими британскими учеными повторять критику RAE14. Остановимся на позитиве.

Итак, REF14 это программа оценки “research Impact in the broadest sense” у сотрудников Университетов, т.е.:
1. у людей, основной деятельностью которых является работа со студентами
2. у людей, которые внесли весомый вклад в науку и доказали это пройдя жесткий конкурс.
Эта программа призвана, в том числе, стимулировать Университеты оптимизировать свою структуру и начать зарабатывать деньги. Подчеркну, дополнительные деньги, так как основное финансирование идет через оплату обучения (государством и студентами) и через научные грантовые фонды.

Как следствие,  сотрудников оценивают по импакту - Impact in the sense of the REF meansall kinds of social, economic and cultural benefits and impacts beyond academia, arising from excellent research, that have occurred during the period 1 January 2008 to 31 July 2013”. Ключевым в этой фразе является “beyond academia”, так как далее поясняется, что “impact applying simply to another academic subject is not permissible for REF purposes”.

Т.е., для примера, археологи, проводящие плановые раскопки в Новгороде, будут иметь меньший импакт, чем археолог, выдающий разрешение на постройку Охта-центра на месте крепости Нийеншанц. Также это “beyond academiaозначает, что Перельман за свои статьи получил бы меньший импакт, чем математик, делающий рутинные расчеты для производства. Подчеркну, что в этом ничего плохого нет, так как это цель одной из программ  и те же археологи или Перельман спокойно получили бы финансирование в научном фонде.

Как следствие из этого “beyond academia”, импакт оценивают по par 105 -  “new materials, devices, images, artefacts, products and buildings; confidential or technical reports; intellectual property, whether in patents or other forms; performances, exhibits or events; work published in non-print media, and other types can be included....Reviews, textbooks or edited works (including editions of texts and translations) may be included if they embody research…” и далее “A confidential report may only be submitted if the HEI has prior permission from the sponsoring organisation that the output may be made available for assessment.” (par 115).

Естественно, что для оценки таких источников библиометрия не нужна, так как она большинство из них просто не считает за публикации. Тем не менее, в отдельных областях знаний цитируемость все-таки учитывается “Some sub-panels will consider the number of times that an output has been cited, as additional information about the academic significance of submitted outputs.” (par 131). Более того, практика как обычно расходится с законами и на местах библиометрию все же используют http://deevybee.blogspot.ru/2013/01/journal-impact-factors-and-ref-2014....

Еще раз подчеркну – программа REF14 направлена на вполне разумные цели развития Университетов и не направлена, например, на развитие фундаментальной науки.

Конечно, если в России закрыть глаза на то, что в Великобритании основное финансирование идет за преподавание и через научные фонды, закрыть глаза на предварительный конкурс с 10-20 претендентами на место, закрыть глаза на принцип “beyond academia” то остаток удовлетворит любого. А именно, если выплеснуть основное, то останется программа оценки ученых  экспертами по 4 работам, возможно даже не прошедшими внешнее рецензирование, по конфиденциальным и техническим сообщениям, внутренним отчетам и т.д. и т.п.   Нужен ли такой остаток  российской науке, вместо реального самоочищения и реального стимулировани действительно  работающих ученых? Предыдущий самооценка институтов РАН показывает, что именно такая профанация и нужна - теперь под прикрытием авторитета британских ученых и одной из программ их оценки.

Уточним.

Сначала главное.

REF – система оценки качества и влияниянаучных исследований по существу. Это можно делать с разными целями, но альтернативы этому пути нет. Все иное приводит к расцвету профанации – посредством «salami slicing» и целого ряда других имитационных «техник».

В любой стране при любой системе есть масса недовольных и обиженных. Последние и кричат громче всех. Но надо верно оценивать масштаб проблем. У англичан есть куча претензий к «лэндроверам» и «ягуарам», но это не основание предпочитать  «ладу» и «волгу».

 

Теперь конкретика.

1. «REF14 это программа оценки “research Impact in the broadest sense” у сотрудников Университетов»,  «сотрудников оценивают по импакту».

На самом деле, вес импакта в итоговой оценке по REF – всего 20%. 65% - оценка собственно публикаций, т.е. отражение качества и научного значения исследования.

Общие «Grading criteria» формулируются так:

Four star: Quality that is world-leading in terms of originality, significance and rigour.

…………….

One star: Quality that is recognised nationally in terms of originality, significance and rigour.

 Поэтому с тезисом «REF14… не направлена… на развитие фундаментальной науки» согласиться нельзя.

2. «у людей, основной деятельностью которых является работа со студентами». В английских университетах примерно 20–25% сотрудников занимаются только наукой.

3. «Подчеркну, дополнительные деньги».

На основании RAE/REF выделяется финансирование университетам на следующую пятилетку. При этом 16% денег идет на research, на учебу от государства – 30%, 30% идет от студенческих плат, остальное – дробно. Результаты RAE/REF влияют также на внутриуниверситетское распределение денег по направлениям исследований. Так что от RAE/REF зависит многое и относятся к этому очень серьезно.

4. «останется программа оценки ученых  экспертами по 4 работам, возможно даже не прошедшими внешнее рецензирование». Огромное большинство этих работ прошли внешнее рецензирование. А возможность учета других релевантных форм научной продукции – как раз преимущество экспертного подхода. Одна из проблем библиометрии – негибкость, т.е. узость охвата учитываемых форм научных результатов, что в ряде областей чревато существенными искажениями и потому крайне болезненно.

5. «Тем не менее, в отдельных областях знаний цитируемость все-таки учитывается». Цитируемость учитывается в следующих областях: науки о жизни, науки о Земле, химия, физика, информатика, экономика. Не так уж мало!

6. «Нужен ли такой остаток  российской науке, вместо реального самоочищения и реального стимулировани действительно  работающих ученых?» Это риторика. Как раз «путем», а не «вместо».

Ну Вам конечно виднее

Не буду с Вами спорить, Вам конечно виднее....

Приведу письмо  одного из моих коллег,  который в отличие от нас с Вами, видит все изнутри, а не снаружи. Подобных писем, статей и т.д. очень много, но Вы же пишете что обиженные есть всегда - так может тогда  для оценок  ученых  просто использовать рулетку? Одни будут обижены, другие довольны, но сколько средств сохранить можно :)

The extraordinary aspect of the rules on `Impact’ are that they are restricted to the period 2008-2013. It is quite unclear that the `impact’ of a paper in mathematics itself can be properly assessed in this period! The whole process is based on short termism. I am very pleased that some of my papers written in the 1970s on crossed modules and related structures are still being cited. Are we supposed to avoid writing papers which are or may be ahead of their time?

In 1987 I wrote a survey on `From groups to groupoids’, Bull. LMS – not an activity too high up in Research Assessment terms. In that paper I suggested that `n-dimensional phenomena require for their description n-dimensional algebra’. A search just now on “higher dimensional algebra” gave 129,000 hits. Adding `+ biology’ cut this to 84,000 hits. There thus has been clear indirect impact, but not necessarily within the space of 4 years!

The idea that all applicants for a position would be assessed only on their work over the last 4 years is patently ridiculous. What kind of nomenklatura has come up with this idea for research assessment?

Actually MathScinet has author profiles which give a very good idea of accomplishment.

This may be an indication that the LMS has not fought sufficiently for and broadcast widely what is and has been the contribution of mathematics to society and the economy over the centuries, and how this has come about; and that such a study is not a standard part of the education of mathematics undergraduates.

It seems to me that the whole Research Assessment is designed in a way which in software terms would be called `unfriendly’ – if you make a mistake, you get it in the neck (as happened with Bangor maths, which is no more!).

I am afraid this will not much help those filling in their REF; thank goodness I am well out of `the system’, and can follow up in peace such ideas as I still can!

Ronnie Brown

Не совсем понимаю, почему

Не совсем понимаю, почему Ronnie Brown называет период 2008-2013 4-летним, но да ладно, Это не так важно. Исходно вес "импакта" (появившегося, надо сказать, при лейбористах с их популизмом) в итоговой оценке был 25%, но ученые написали петиции с подписями, и вес снизили до 20%. Т.е. система может настраиваться. Возможно, через некоторое время решат для чистых математиков и теорфизиков вес импакта еще снизить. Но вообще, если какая-то математика применима, и даже быстро, то не грех дать ей дополнительные очки в рамках 20% общей оценки. А мы здесь, создавая экспертную систему, не обязаны всё до деталей копировать с REF - надо взять лучшее. Т.е. профессиональное экспертное оценивание, выполненное по четким регламентам, с четкими критериями. И основательно обсудить эти регламенты и критерии с учеными. Чтобы обсуждение было не для галки, а тоже по регламенту: с разработанной анкетой, публикацией статистики анкет и основных аргументов, дискуссиями, пробным оцениванием, необходимой реакцией на неодобрение каких-то положений заметными группами ученых. Англичане обсуждали REF более 6 лет - у нас разбуженные ученые даже за год, возможно, смогут систему прилично отэкспертизировать)

В России нет независимых экспертов. Какое RAE?

Повторю, что говорить о RAE/REF в России бессмысленно так как нет ни необходимого базового финансирования, ни связанного с ним отбора по конкурсу, ни системы научных грантовых фондов.

А само главное, в России нет независимых экспертов с приличной репутацией - и я не один так думаю:

"Учредительное собрание Вольного исторического общества состоялось сегодня, 28 февраля 2014 года, в Москве. Историки и другие исследователи исторического знания обсудили манифест общества и проект его устава. Председателем совета Вольного исторического общества был единогласно избран шеф-редактор журнала «Отечественные записки» Никита Соколов. 

В комментарии «Полит.ру» он подчеркнул, что новая профессиональная ассоциация призвана воссоздать историческое сообщество, разрушенное еще в советское время в идеологических целях. «В России историческая корпорация выбита, …ни ученые степени, ни принадлежность к научному институту или учебному заведению не гарантируют экспертного результата. Цель ассоциации – выстроить цепочку «гамбургского счета», чтобы создать точки в информационном пространстве, где люди могли бы находить научную, экспертную информацию, связанную с историческим процессом и проблемами», – заметил Никита Соколов."

Нет физиков, лингвистов, матем-в, биол-в с приличной репутацией?

"А само главное, в России нет независимых экспертов с приличной репутацией"

Такие люди в каждой области есть. В физике - много, в экономике и социальных науках - мало. Им надо создавать снизу экспертные структуры. И объединять их в общую структуру. 

"Цель ассоциации – выстроить цепочку «гамбургского счета», чтобы создать точки в информационном пространстве, где люди могли бы находить научную, экспертную информацию..."

Вольное историческое общество это и делает. 

Я думаю, что в этом как раз главная задача ОНР.  

P.S. Вы пишете: "и я не один так думаю". При этом Ваша позиция и позиция Никиты Соколова противоположны.

Ваша: Экспертная деятельность невозможна, т.к. нет экспертов и экспертных структур.

Никиты Соколова: Экспертная деятельность необходима, поэтому мы создаем ассоциацию.

Люди пока есть, но...

В.В. Поройков

... "в России нет ... необходимого базового финансирования, ни связанного с ним отбора по конкурсу, ни системы научных грантовых фондов".

А, значит, независимость этих экспертов весьма относительна.

И проблему нужно решать, начиная с обеспечения необходимого базового финансирования.   

заколдованный круг и энтузиазм

Пока платят гроши, наука хиреет. Когда повышают базу финансирования, возникает необходимость освободиться от бездельников и имитаторов, для чего нужны независимые эксперты. Но их независимость "весьма относительна", т.к. база еще не повышена. Поскольку это заколдованный круг, первый оборот надо проходить на энтузиазме. Как могут люди вроде историка Никиты Соколова.

Но дело осложнено тем, что власти оставляют фонд з.п. прежним, закачивая дополнительные деньги в безумные гранты, идущие по сговору тузам.

Энтуазизма недостаточно

Энтузиазм - вещь хорошая, но недостаточно массовая. Вы ведь много дискутировали по поводу формальных критериев. Сначала нужно обеспечить нормальное базовое финансирование для людей, соответствующих некоемому минимальному порогу в тех областях, где эти критерии применимы. Причем нужно гарантировать такое финансирование на достаточно продолжительный срок (4-5 лет), естественно, при условии, что за эти 4-5 лет человек подтвердит свое соответствие этим критериям. А уж затем заниматься "чисткой Авгиевых конюшень".

Иначе весь этот энтузиазм "будет пустою забавою" - (С) Козьма Прутков.    

Формальных критериев - тоже

 ...в тех областях, где эти критерии применимы.

А что предлагаете 4-5 лет делать в областях, где они неприменимы?

А вот там (по необходимости) придется начать с энтузиазма

Правда, энтузиазм без формальных критериев - вещь опасная: Соколов создал одно общество; его оппоненты создадут десяток (хватит и двух!) альтернативных обществ. И как же власти будут разбираться, чей "энтузиазм" правильнее? 

Из двух обществ -

Из двух обществ - международная экспертиза поможет выбрать.

Боюсь, что в гуманитарной области будут другие способы выбора

Как, например, у кинематографистов.

Тогда энтузиазм, отъезд, либо

Тогда энтузиазм, отъезд, либо смена деятельности.

Страницы