ФАНО собирает предложения институтов по оценке их эффективности

публикации.  Под  которыми в  проекте  понимается все   -   от    нормальной  статьи  до  заметок  на  пипифаксе.  Так  вот    главное   за  что  стоит  бороться  -   за    статьи,  а  не  за  публикации.  А  то        16   статей  в     журналах  WoS   на  самом  деле   являются  15  тезисами  конференций  (да.  опубликованными в  журнале)   и  одной  реальной  статьей  в   журнале.

Я   не  говорю  о  том,  что  тезисы  входят в  WOS.   Я  только  о  том,  что   тезисы  некоторых   конференций    печатают в supplement   выпусках  журналов.   В  мой  области  этой American   J.  of  Human Genetics   -   тезисы  ежегодной  конференции,   примерно  1500  штук,   спецвыпуск,  обычно   supplement  к  10  выпуску  журнала   за   текущий  год.  ПРи  этом   эти  тезисы  в  том  же  PubMed  обнаружить    нельзя.

При обсуждении в сети СКИ были высказаны некоторые предложения. Помещаю их ниже для дальнейшего обсуждения. Срок подачи предложений в ФАНО - 25 апреля, что, конечно, безобразие. Нельзя важнейшие дела решать в спешке.

Обнаружил в архиве предложения Совета ОНР от 14.08.2013 по доработке проекта Постановления 979.

Тогда проект этого постановления обсуждался, а сечас оно уже действует. Полезно освежить в памяти.

                                               ************** "" *****************

Предложения Совета Общества научных работников по доработке проекта постановления Правительства РФ «О внесении изменений в постановление Правительства Российской Федерации от 8 апреля 2009 г. № 312»

2 августа 2013 года опубликован проект постановления Правительства РФ «О внесении изменений в постановление Правительства Российской Федерации от 8 апреля 2009 г. № 312, разработанный Минобрнауки. Предполагается, что данным постановлением будет принята новая редакция «Правил оценки результативности и мониторинга деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (далее - Правила). Совет Общества научных работников полагает, что предложенный проект Правил нуждается в существенной переработке. Его принятие в предлагаемой редакции может привести к неоправданным сокращениям числа научных организаций из-за ошибок при их отнесении к категории «утративших научный профиль и перспективы развития». Вследствие этого страна может потерять сильные коллективы, научные группы и лаборатории, работающие, в том числе, в относительно слабых учреждениях. В результате станет невозможным выполнение Указа Президента РФ № 599 от 7 мая 2012 г. в части обеспечения роста доли публикаций российских ученых в общем количестве публикаций в научных журналах, индексируемых в базе данных Web of Science.

Согласно предлагаемым Правилам, ключевым органом системы оценки становится Межведомственная комиссия по оценке результативности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения (далее – Межведомственная комиссия). Предполагается, что Межведомственная комиссия будет формировать референтные группы научных организаций различной ведомственной принадлежности для проведения сравнительной оценки результативности работы, устанавливать пороговые показатели по референтным группам для отнесения организаций к одной из трех категорий, а также утверждать предложения ведомств и государственных академий наук об отнесении организаций к той или иной категории.

Оценку деятельности организаций предполагается проводить на основе типовой методики, включающей 25 – 30 показателей , что фактически будет служить оценкой результативности деятельности организаций по формальным показателям.

По итогам проводимой раз в 5 лет оценки организации в пределах каждой референтной группы, научные организации будут отнесены к одной из трех категорий:

а) 1-я категория – научные организации - лидеры;

б) 2-я категория – стабильные научные организации, демонстрирующие удовлетворительную результативность;

в) 3-я категория – научные организации, утратившие научный профиль и перспективы развития.

Для отнесенных к первым двум категориям предусматривается составление стратегий или программ развития организаций (укрепления лидерства/улучшения деятельности); результаты оценки также могут быть учтены при определении объемов финансирования организаций. Отнесенные к третьей категории организации подлежат реорганизации или ликвидации, в отдельных случаях возможна замена их руководства.

Концепция предлагаемых Правил исходит из того, что субъектом, производящим научную продукцию и подлежащим оценке и мониторингу, выступает исследовательский институт или подобная научная организация. Совет Общества научных работников считает, что подобная установка применительно к собственно исследовательской деятельности неверна. Основной рабочей единицей, «производителем результатов» в фундаментальной науке фактически выступает лаборатория, научная группа или отдельный ученый. Институты призваны решать иную задачу: они поддерживают и развивают организационную и материально-техническую инфраструктуру, предоставляемую научным группам для их исследовательской работы. По этой причине оценка научной организации как целого по единым формальным критериям принципиально не может отразить результативность работы научных групп, проводящих исследования на его базе. Такие показатели могут дать лишь усредненную оценку результатов работ десятков или даже сотен научных групп, работающих по разным научным программам и получающих финансирование из разных источников (таких как гранты, государственные контракты, хозяйственные договоры и т.д.). В одной и той же организации могут работать как сильные научные коллективы, так и группы, которые в действительности «утратили научный профиль и перспективы развития».

Совет Общества научных работников приветствует стремление сформировать референтные группы с учетом областей научных знаний (отраслей науки) и видов проводимых организациями научных исследований, но отмечает, что эта крайне сложная задача не всегда имеет однозначное решение. Так, различные научные направления даже в пределах одной области знания могут в несколько раз отличаться по публикационной активности и интенсивности цитирования научных работ. Из-за этого эффективные научные коллективы, работающие в одной области, будут иметь заведомо разные наукометрические показатели, а, значит, некоторые из них рискуют попасть в аутсайдеры только из-за тематики своих исследований. Кроме того, крупные структурные подразделения больших научных организаций нередко ведут исследования в столь различающихся направлениях науки, что их следовало бы оценивать индивидуально по критериям разных референтных групп. Таким образом, необходимо отметить, что формирование референтных групп – сложная и деликатная задача, цена ошибок в которой будет высока.

В этой связи Совет Общества научных работников считает, что в постановлении Правительства РФ не следует фиксировать общие для всех референтных групп жесткие пороги минимальных критериев, по которым научные организации будут разноситься по различным категориям. Первая процедура оценки должна носить в значительной степени тестовый характер. В отношении организаций, показавших худшие показатели в референтной группе, не следует в автоматическом порядке инициировать процедуры реорганизации и ликвидации. Низкие показатели должны стать основанием для проведения углубленной и независимой экспертной оценки работы лабораторий и научных групп, ведущих исследования в составе данной организации.

Межведомственная комиссия должна разработать порядок формирования экспертных комиссий, в состав которых войдут квалифицированные российские и зарубежные исследователи. Сформированные таким образом экспертные комиссии будут обязаны провести детальное обследование организаций, худших по формальным показателям, и составить заключение с указанием ответов на следующие вопросы:

– Обосновано ли отнесение данной организации к соответствующей референтной группе?

– Обусловлены ли низкие показатели недостаточной результативностью работ, ведущихся в организации, или же они определяются спецификой основных научных направлений, представленных в ней?

В том случае, если организация действительно показывает низкую результативность, экспертная комиссия должна провести детальный анализ научного уровня ведущихся в ней работ и сформулировать оценку квалификации ее сотрудников. Особое внимание следует уделить выделению отдельных работоспособных и квалифицированных подразделений и научных групп, которые необходимо сохранить в случае реорганизации данной научной структуры или ее ликвидации. Экспертная комиссия должна сформулировать свое мнение о дальнейшей судьбе организации, дать рекомендации о путях ее возможной реорганизации, а в случае необходимости ликвидации – о способах сохранения отдельных работоспособных групп и подразделений (возможности их перевода в иные исследовательские институты или вузы данного региона). Для того, чтобы научные группы, работающие в России на международном уровне не стали вымирающим видом, они должны быть занесены в «Красную книгу» и сохраняться вне зависимости от судьбы учреждения, в котором они работают.

Заключение и рекомендации экспертной комиссии должны быть представлены Межведомственной комиссии и федеральному органу исполнительной власти либо государственной академии наук, в чьем ведении находится научная организация. Именно результаты оценки независимой экспертной комиссией, а не мнение чиновников, должны быть основанием для решения о проведении реорганизации или ликвидации организации. Решение о ликвидации может быть принято только на основании заключения экспертной комиссии при условии непременного обеспечения нормальных условий для дальнейшей работы сильных научных коллективов, выделенных экспертами в составе ликвидируемой организации.

После завершения работы экспертных комиссий, при обязательном учете итогов широкого и гласного общественного обсуждения результатов оценки деятельности научных организаций, следует провести доработку типовых правил оценки, принципов формирования референтных групп и т.д. С учетом полученного опыта следует разработать и утвердить процедуру независимой экспертной оценки деятельности научных организаций. Результаты такой оценки позволят получить разумные рекомендации, касающиеся работы не только отстающих организаций, но также и «середняков» и лидеров. Такие рекомендации независимых экспертов будут гораздо более полезны, чем ведомственные программы развития. Как показывает опыт университетов, подготовка таких программ представляет собой особый вид бюрократической деятельности, имеющий весьма опосредованное отношение к реальной научной работе.

Совет Общества научных работников считает, что особое внимание при доработке Правил следует уделить процедуре формирования Межведомственной комиссии. С учетом того, что эта комиссия должна решать сложные вопросы формирования референтных групп, определения порогов между ними, а также формирования экспертных комиссий, необходимо включение в ее состав высококвалифицированных исследователей из научных организаций и университетов различной ведомственной принадлежности. Процедура должна описывать правила и принципы представления заинтересованными ведомствами и государственными академиями наук, а также научными организациями и вузами, кандидатов в состав Межведомственной комиссии и квоты на участие в составе комиссии, которые обеспечивали бы сбалансированное участие представителей различных ведомств, академий наук и организаций в составе Межведомственной комиссии. В состав Межведомственной и экспертных комиссий должны включаться специалисты, имеющие авторитет в международном научном сообществе и не занимающие высоких административных постов (не являющиеся руководителями или заместителями руководителей научных и образовательных организаций, председателями наблюдательных или попечительских советов научных и образовательных организаций и т.п.).

Совет Общества научных работников предлагает внести в Правила изменения, учитывающие представленные выше предложения.

Принято Советом ОНР 14.08.2013.

С любезного разрешения ак. А.Н.Паршина публикуем его письмо от 25.04.2014 с предложениями по взаимодействию с ФАНО и оценке деятельности научных организаций, а также  сопутствующие материалы по критериям оценки институтов.

.***************************************************************

Уважаемые коллеги !

В течение этой недели в сотнях институтов Академии сотрудники ломали себе голову, как ответить на вопросы по оценке эффективности научных организаций, составленные для нас сотрудниками Экспертно-аналитического управления ФАНО (руководитель Елена Ивановна Аксенова,  данные о ней и ее работах см.  на http://sarmedinfo.ru/list/16378 ). Ровно в это же время мы должны были  ознакомиться, дополнить и представить в ФАНО новые Уставы институтов, кардинально меняющие нашу жизнь.  

Эти базовые документы, составляющие основу  нашей будущей жизни, нам пришлось делать в условиях крайней спешки. Документы по оценке эффективности поступили, к примеру, в математические институты 16 апреля, срок ответа в письме ФАНО определен до 25 апреля (заметим, что документ подписан 10 апреля -!- ). И если работа над уставом была для нас не новой, то продумывание ответов на поставленные вопросы по оценке нашей деятельности – это задача более сложная и требующая  взвешенного и длительного обсуждения.

После отсылки наших предложений 25 апреля, нам предлагается собраться  22 мая на общественное обсуждение проекта оценки эффективности деятельности научных организаций в ФАНО. Представьте себе, что на этом «обсуждении» будет присутствовать примерно около тысячи  человек. Ясно, что такое собрание  вряд ли будет особенно эффективным. 

После 25 апреля ФАНО будет иметь груду сырого, не слишком продуманного материала, где мнения сотен институтов никак не согласованы и зачастую противоречат друг  другу. Трудно представить как сотрудники ФАНО смогут «свести» эти мнения в единую систему, которая могла бы нас удовлетворить.

Представляется, что в этой ситуации необходимо предпринять некоторые

действия.  Мои предложения:

1. Институты отправляют письмо руководителю ФАНО с указанием на следующие  обстоятельства, связанные с  подготовкой этих данных:

а) сильный временной прессинг, что не могло не отразиться на качестве работы,

б) продготовленный документ ФАНО использует материалы, подготовленные Минобрнауки и которые не согласованы с требованиемпостановления Правительства РФ от 1 ноября 2013 г. 979. В нем говорится, что материалы, подготовляемые Минобрнауки должны, помимо прочего «учитывать Минобрнауки, неоднократно заявлявшее об отсталости нашей наука по сравнекния с западной, сознательно или по неведению грубо игнорирует в своей деятельностимеждународный опыт организации и оценки научный деятельности именно экономически развитых стран.

В связи с этим просьба к М. М. Котюкову: материалы, посланные в ФАНО до 25 апреля, не считать окончательным выражением позиций институтов по вопросам оценки и институты производят их дальнейшие уточнение и доработку. Насколько мне известно, некоторые институты уже послали такие письма.

2. В нашей дальнейшей работе по подготовке принципов оценки институтов учитывать  опыт Великобритании (www.ref.ac.uk ). Вот его особенности, особенно впечатляющие на фоне моновских таблиц:

1. Оценка научной деятельности основана прежде всего на научной экспертизе, проводимой профессионалами в соответствующих областях науки.
2. Предметом оценки научных групп служат их публикации за определенный  срок (в данном случае 5 лет), выбранные в ограниченном количестве (в данном случае 4 публикации) из всех публикаций группы. Общее количество публикаций НЕ  играет никакой роли.
3. Формальные численные показатели допускаются к рассмотрению в качестве дополнительного средства лишь для части наук (физика, химия, биология и ряд других) и не допускаются для остальных (математика, инженерные и гуманитарные науки). Их ОТСУТСТВИЕ  не может служить основанием для негативных выводов.
4. Использование импакт-фактора журнала, в котором опубликована работа, не разрешается ни для каких наук. Это положение было введено в правила оценки после  многочисленных дискуссий в научном сообществе в результате постановления Комитета по науке Палаты общин Британского парламента.

Я не предлагаю буквальное копирование этой системы, но это очень продуманная и взвешенная система, которая создана людьми, заботящимися о развитии науки в своей стране и готовившими и тестировавшими еев течение нескольких лет, а не восьми дней.

3. Действия  ДО  22 мая. Не дожидаясь пока начальство создаст нам правила нашей жизни, по которым нас будут исчислять, реорганизовывать и сокращать, начать определять САМИМ эти правила. Это прежде всего относится к референтным группам.

Создание референтных групп требует особой осторожности всилу последующего их использования для разделения институтов на три категории (см. постановление Правительства РФ 979 и заявление ОМН РАН по этому вопросу). В имеющейся ситуации мы вряд ли сможем добиться отказа от такого разделения институтов.Дело в том, что их создание предусмотрено постановлением Правительства РФ 979 и ФАНО будет настаивать на следовании этому постановлению. С другой стороны, приказ МОН (тем более проект) менее значим в бюрократической иерархии и следовательно доступен для критики.

Я предлагаю институтам САМИМ начать работу над созданием СВОИХ референтных групп и прикидывать как может происходить в них оценка и к каким последствиям она может привести в данной референтной группе.В каждой такой группе подбор показателей длясравнения должен быть СВОЙ.

Приведу возможные примеры условий для институтов, которые можно использовать в качестве исходных, но необязательно окончательных, для создания референтных групп:

Теоретические/ прикладные

Относящиеся (преимущественно) к одной области/  мульти-дисциплинарные

Большие по численности/ небольшие

С большим бюджетом/ с небольшим

Зарабатывающие деньги/ не занимающиеся этим

Сюда можно добавить и другие, но хорошо бы иметь несколько базовых, пригодных для всей науки в целом, к