18
Июн
2014

Итоги конкурса научных групп РНФ: рецензии

Читайте также другие материалы по теме: 

Коллеги, до меня дошли два вопиющих случая, когда проекты, поданные на секцию 01 (математика, механика, информатика и, прости господи, наука о системах) были отклонены как не соответствующие тематике секции 01. Все три рецензии у обоих проектов положительные, баллы (про которые неизвестно, как они вставлялись) высокие 322 и 298, соответственно. Оба, безусловно, относятся к современной механике: динамика течений жидкости вблизи анизотропных супергидрофобных поверхностей и механические задачи вулканологии. У обоих авторов чрезвычайно высокая публикационная активность и высокие библиометрические показатели, намного превосходящие показатели многих победителей. Создается ощущение, что ЭС этой секции проявил не только беспринципность, присудив гранты лицам, не удовлетворяющим формальным критериям (А.Л. Афендиков), но и научную некомпетентность, проявившуюся в банальном незнании новых актуальных областей современной механики: физико-химической гидродинамики и механики природных процессов.

Обращаюсь к коллегам по ОНР и посетителям сайта с призывом сообщать об известных им случаях, когда решение ЭС находилось в резком противоречии с мнением рецензентов и основная причины отклонения заявки не была связана с ее научным уровнем и научным содержанием. Какова ситуация в других Экспертных советах?

Если таких свидетельств наберется достаточное количество, полагаю, что Совет ОНР должен инициировать компанию по ротации дискредитировавших себя экспертных советов РНФ.


 

статья Галины Цирлиной в ТрВ-наука про конкурс РНФ
Рецензии на проекты научных групп в РНФ: некоторые комментарии

С интересом прочел статью Г.А. Цирлиной в ТрВ. Впечатляет неангажированность автора и тщательность проведения ею экспертизы, которая включала в себя перекрестную проверку приведенной в  заявках информации (которая, в некоторых случаях, оказывалась дезинформацией).

Думаю, что многие недочеты экспертизы, упомянутые в статье, обусловлены тем, насколько быстро все это затевалось и проводилось. Поскольку мне также пришлось поработать в качестве эксперта, до начала проведения экспертизы я позвонил в Фонд и спросил, должен ли я ждать заключения "договора", прежде чем приступить к экспертизе. Ответ был: "Нет, мы просим Вас провести экспертизу как можно скорее, чтобы мы смогли определить победителей и объявить результаты уже в мае.  

Среди заявок, которые мне довелось рецензировать, доля добротных проектов была значительной (20-25%). Очевидно, что было крайне затруднительно провести между этими проектами "тонкую дифференциацию" и выделить "наиболее достойные". Неизбежно должны были остаться "обиженные". Собственно, это было отмечено и в интервью А.В. Хлунова, который сказал, что число проектов, заслуживающих финансирования, примерно в 2,5 раза больше, чем тех, которые удалось профинансировать.

Но были и откровенно "халтурные" проекты, которые писались "на коленке" путем "копипастинга" из каких-то других ранее подготовленных заявок (по стилистике угадывается, что во многих случаях это заявки в ФЦП Минобрнауки).

Особенно плохо, и это отмечалось в статье Г.А. Цирлиной, во многих проектах были подготовлены разделы, связанные с описанием современного уровня исследований в данной области и основными конкурентами. Действительно, хотелось бы видеть не только общие фразы, но и ссылки на конкретные публикации последних лет. А в случае анализа "конкурентов" - в чем именно авторы заявок видят собственные примущества? Ирония Г.А. Цирлиной в отношении заявок, где в качестве конкурентов указывались IBM, General Motors, BASF и т.п., мне представляется вполне уместной (мне также приходилось проводить экспертизу подобных заявок).

Относительно качества некоторых экспертных заключений (с точки зрения автора заявки): мне удалось ознакомиться с экспертными заключениями на три проекта, содержание которых мне также было доступно. Один из этих проектов был принят, два - отклонены. Содержание всех девяти экспертных заключений (по 3 экспертизы на каждый из проектов) - вполне разумное. Часть замечаний связана с недостаточно ясным изложением материала авторами заявок; так, чтобы он был понятен "широкой научной общественности" (ведь наивно предполагать, что все эксперты будут "узкими специалистами" именно в той области, в которой работает автор проекта). Но были и замечания, которые носили достаточно общий характер - чувствуется, что в некоторых случаях экспертам хотелось показать свою "объективность" (а то, вдруг, в Фонде решат, что эксперт недостаточно критичен). Отчасти это объясняется краткостью сроков проведения экспертизы и значительным числом проектов, которые пришлось рецензировать экспертам за эти две недели. 

Бесспорно, что предоставление авторам заявок возможности ознакомления с заключениями экспертов является ОГРОМНЫМ шагом вперед, поскольку позволяет понять, в чем именно были недостатки, допущенные при подготовке заявки. Какие из этих "недостатков" связаны с объективными обстоятельствами (например, отсутствием опыта руководства проектами за последние годы), а какие - недостаточной ясностью изложения материала в конкретных разделах заявки. Осознание этого повысит эффективность работы авторов заявок в будущем. Для достижения еще большей эфективности следовало бы не ограничиваться лишь предоставлением "общего заключения" по заявке, но предоставить возможность авторам заявок ознакомиться с комментариями экспертов по всем пунктам экспертного заключения.

формальный отвод

Нашу заявку, оформленную через систему отклонили через несколько месяцев как неподходящую по форме (это было одновременно с результатами конкурса).  Безобразие: если система оформления приняля заявку, как ее можно формально отклонить?

По форме или из-за несоответствия требованиям конкурса?

Это - две разные вещи. Если в первом случае можно ожидать, что "отказ" будет в момент ввода заявки в информационную систему, то во втором (если какие-либо из требований конкурсной документации не соблюдены), заключение об этом делается экспертами и утверждается экспертным советом. Я, правда, не "погружен" в процедурные детали РНФ, поэтому вышесказанное - это мое "оценочное суждение". 

скопирую смысловую часть

скопирую смысловую часть записи из своего ЖЖ http://naukarus.livejournal.com/441311.html

 

Наш проект РНФ по группам получил три оценки - 90, 99 и 104 балла (кто знает, какой максимальный балл?) с хорошими и местами восторженными словесными оценками и был отклонен особым мнением секции экспертного совета "Проект не рекомендован. В коллективе исполнителей нет ни одного специалиста в области гидросферных процессов. Все публикации коллектива посвящены проблемам геохронологии, вулканизма, метаморфизма, сейсмики. Нет задела по теме исследования." Вишенка заключается в том, что это особое мнение является банальным враньем, поскольку у нас в проекте есть и специалисты в области гидросферных процессов и публикации по именно этой теме, о чем впрямую написано в соответствующих разделах проекта, что отмечено в том числе и в словесных комментариях экспертов. 

принципы формирования Экспертного совета РНФ

Было бы неплохо, если бы Совет ОНР обратил внимание и на принципы формирования Экспертного совета РНФ, благодаря которым этот совет и оказался таким какой он есть.

Согласно интервью Клименко, первые 17 членов совета были напрямую назначены шестью академиками, приглашёнными в попечительский совет РНФ, а остальные подбирались в первую очередь по публикационной активности (т.е. просто по валовому числу статей), но с фильтрацией кандидатур уже назначенными членами совета, а потом и попечительским советом. Правда граждане с большим числом статей имели право вместо себя порекомендовать кого-то ещё, но опять работал тот же самый узкий фильтр. На фоне более демократичной системы, которую  реализует и пропагандирует  "корпус экспертов", такой подход выглядит слишком однобоким и даже клановым.

Состав ЭС РНФ

Например в совете 01 было чуть-чуть чистых математиков, ни одного механика и много вычислителей. Отчасти этим, видимо, объясняются некоторые "косяки" списка победителей по этому разделу.

Рецензии

Главная  проблема -  в  том,  что  эксперт  не  ставит  итогового  балла. И  откуда   этот  балл  появаляется,  как  считается  -   не ясно в  принципе.  Ведь  балл  рождается  явно  ни  из  доступной     автору  заявки   текстовой   рецензии  -  а  из  точечек,  которые  ставятся  в  ответы  на  вопросы.   в  этом  плане в  РФФИ    заметно  лучше  ситуация  -  эксперт  ставит  итоговый  бал.    свою  интегральную  оценку.  И  даже  (не    кидайтесь  стульями)  в  лотах МОН  ситуация    для  эксперта  прозрачнее -  он  четко  знает,  сколько  стоит в  баллах  тот  или  иной  вопрос  анкеты.

Да.   я  на  грант РНФ  подавал.  Не  получил.   Все  три  рецензии  -  ни  одного  дурного  слова,  но  одна  очень  краткая. Суммараная  оценка  - 289  баллов.  То есть  если  максимум  был  120 -  то  верхние  20%  распределения.   Но    мы  не  понимаем,  что  это  значит.  Каков  был  средний  балл ?  какой  проходной ? Какое   вобще   было  распределение ?   У  нас  нет  бальной  оценки  победителей  -  правда,   она  мало  что    даст в  ситуации,  когда  этот  балл  генерится  не явным  образом.  

Конкретизация предложений РНФ

Коллеги,

Хотелось бы конкретизировать и структурировать дискуссию об экспертизе грантов РНФ, чтобы по ее результатам можно было составить пакет предложений для руководства фонда. Поскольку приближается пора отпусков, времени для этого остается немного.

Просьба вносить конкретные предложения по следующим пунктам, сформулированным коллегами в результате обсуждения на сайте, в печати и в частной переписке:

1. Коррекция формулировок в экспертной анкете.

2. Расклад баллов по разделам анкеты.

3. Процедурные вопросы для отражения в документах фонда:

(А) исправление классификатора

(В) ограничения полномочий экспертного совета при принятии решений

(С) ужесточение требований к членам экспертных советов, конкретизация понятия «конфликта интересов» для членов ЭС

(D) дополнительная экспертиза в спорных случаях

(E) взаимодействие с авторами заявок (обратная связь, предоставление полных заключений)

4. Персональный состав экспертного совета

(А) обеспечение представительства крупных направлений, задаваемых рубрикатором 2-го уровня

(В) регулярная ротация

(С) приглашение координаторов по каждому разделу рубрикатора.

А можно ли вообще сделать нормальную экспертизу в этой ситуации?

Под ситуацией я имею ввиду такое огромное количество заявок. Безусловно нужно совершенствовать процедуру, но если, скажем, в следующем году будет столько же заявок, сколько в этом, то никакая процедура все равно не спасет. Может нужно предлагать каую-нибудь двухступенчатую процедуру, или проведение конкурса два раза в год?

Интересная идея:

Интересная идея:

мне приходилось участвовать в двухступенчатых грантовых конкурсах (не в России). На первом этапе краткая "декларация о намерениях", пара страниц со списком свежих публикаций. Это существенно облегчило бы работу экспертов и сэкономило бы время заявителей и экспертов. Только те, кто прошел первый этап, подают полновесные заявки. По своему опыту эксперта скажу, что большинство заявок было явно непроходными, что неизбежно при таком высоком конкурсе.

Re: Интересная идея

Мне тоже кажется, что двухступенчатая система была бы полезна. В Португалии сделано именно так. Подается грант, зачвка состоит из двух частей. В первой части краткое описание ваших достижений (СВ), краткое описание целей гранта и результатов, которые хотите получить и перечислены основные статьи, по которым будет, видимо, вестить экспертиза ваших результатов. Во второй части исследовательская часть (заявка на грант) описывается подробно. 

На первом этапе происходит оценка только первой части, т.е.

На первом этапе краткая "декларация о намерениях", пара страниц со списком свежих публикаций. Это существенно облегчило бы работу экспертов и сэкономило бы время заявителей и экспертов.

И создается рейтинг. У нас от 1-9. Рейтинг становится доступен всем заявителям через электронную систему подачи заявки. Те, кто набрали 8-9 переходят во второй тур, где заявки  на грант рассылаются уже международным экспертам. По времени получается так: подава заявки в мае-июне, результаты первого тура - сентябрь-октябрь и результаты второго тура - конец ноября-декабрь. Контракт  с 1го января.

Вот здесь можно подробно почитать про такие конкурсы. http://www.fct.pt/apoios/contratacaodoutorados/investigador-fct/2014/ind...

Смысл двуступенчатости может быть разным

С двуступенчатым конкурсом нужно быть осторожнее. Если мы хотим организовать некоторое подобие программы МКБ, где главным критерием являются предыдущие результаты, то это может сработать хорошо (и такие конкурсы имеют право на существование, конечно). Однако, нам в РФ остро не хватает приличнных (дающих гранты, сопоставимые с реальной ценой небольшого проекта) программ, которые бы были основаны больше на конкурсе идей, чем заслуг. Это даст некоторые шансы и молодым, и тем, кто хочет сменить тематику или по каким-то причинам переживал не лучший для творчества период и пр. Вообще поддержит разнообразие оставшейся у нас науки.

Если мы построим по пре-пропозлам рейтинг, то шансов конкурировать с более известными учеными за счет оригинальных и хорошо подготовленных проектов не будет. По-моему, предзаявки должны использоваться для отсечения заведомо негодных проектов, в том числе по причине того, что руководитель не может толком подтвердить квалификацию, но планка прохода во второй тур не должна быть слишком высокой. Прошедшие же туда заявки нужно бы оценивать  только по содержанию, или хотя бы в основном по содержанию, не принимая во внимание  (или принимая с очень ограниченным весом) итоги первого этапа.

Впрочем, все это лирика т.к. РНФ подобные радикальные предложения даже рассматривать не будет. Тут хотя бы добиться внятной обратной связи, чтобы руководитель проигравшей заявки ясно понимал, в чем именно его недоработка. 

 

Баллы - кто их ставит?

Хотелось бы понять, по какому принципу в РНФ выставляются баллы? Руководитель рецензировал проекты РНФ, но с его слов я понял, что рецензия была, а цифры баллов проставляются кем-то еще. Так ли это и если да, то это очень странная ситуация, когда рецензент только косвенно влияет на то, будет заявка поддержана или нет.

 

Собственно, если дело обстоит так, что рецензент баллов не ставит, а их расставляет экспертный совет фонда - то я бы предложил уйти от такой системы, т.к. субъективное мнение члена ЭС может полностью перекрывать мнение рецензентов, которые явно должны быть более компетентны в теме проекта.

Баллы, видимо ставили автоматически

при этом алгоритм был неизвестен не только экспертам, но и, по видимому, членам ЭС - при выработке решений они видели заявки с уже проставленными баллами

Ответ РНФ на обращение ОНР

как вы помните, заявление ОНР было направлено в РНФ после объявления итого конкурса научных групп, но до публикации рецензий. 

 

Страницы