Последние комментарии

Просто текст из ссылки в предыдущем посте:

Комм. РR: скажу одно, кажущееся радикально честным решение сделать открытым вообще всё (и тексты заявок, и личности экспертов, и их рецензии) приведёт к войне всех против всех. 

Telegram: Contact @trueresearch_chat

по "методу Андрея Михайловича" - у меня 2 экспертизы со ср. баллом 4,3 и4,5 - в обеих написано "рекомендовать к поддержке". Однако, конечно, оценки довольно сильно разнятся: что один оценивает на "3" - другой ставит "5". Но, в принципе, экспертиза (которая словами) вполне адекватная.

Тут сам вопрос именно к "опроснику". Как, например, решить о "способности руководителя управлять проектом" - какие критерии? Меня, например, явно "подкосило" отустсвие руководства. Ну да это мы и в ОНР обсуждали, есть ли "жизнь не-молодого учёного". И если для "молодого" шанс заиметь свой грант составляет примерно 1/3, то для "старого" этот показатель сразу снижается минимум раза в два. Но кто-то ведь должен и проигрывать - не могут же все кругом быть сплошные гении.

Другой, очень "оценочный" показатель - "масштабности и комплексности поставленных задач". Вот тут как - должен быть масштаб "вся Галактика", или наоборот "третья лапка у блохи"? Опять же у меня, для одного р.Волга - вроде бы мало, а для другого - более чем достаточно.

Но в целом, лично по-моему опыту, экспертиза была нормальная (в приснопамятном РФФИ мне писали совершенно хамские рецензии в духе "дурак и уши холодные"). Понятно, что нужно добавить (как указал эксперт "замечания к качеству оформления заявки"). Ну и надо где-то искать "опыт руководства". И писать снова, хотя число подаваемых в РНФ хороших проектов явно превышает возможности едиственного оставшегося научного фонда. К сожалению, ныне актуально высказываение Великого Вождя: "другого народа у меня для вас нет".

А где вы вообще количественные оценки увидели? У меня эксперты оперирировали только словами: отлично, хорошо, средне. Это 5, 4 и 3? Один эксперт указал, что считает, что в общем - "хорошо". заявка не прошла.

С одной стороны субъективность экспертизы - это плохо. Но если по всем оценкам установить чёткие критерии, то и эксперт не нужен - машина сможет посчитать баллы, исходя из заявки. Мне кажется, что система оценивания у РНФ не совсем удачная. Все оценки имеют равный вес при по существу совершенно разной значимости. В каком месте эксперт должен выражать своё мнение о проекте? Вот он и выражает всюду, систематически завышая и занижая все оценки. По моему мнению оценка должна состоять из двух примерно равных по значимости частей: объективной, где не эксперт, а простой клерк расставляет галочки и экспертной, где эксперт оценивает научную составляющую заявки в совокупности.

это черный оппонент. Который сразу приступает к рецензии с заданием максимально снизить баллы.

В принципе выявить такого несложно, если пожелать Его средняя оценка заявки будет ниже, чем у других оппонентов балла на 2 или больше. Так как желающих выступать в роли черных оппонентов немного, то каждый из них должен зарубить несколько заявок. Все это легко устанавливается средствами статистики. Не знаю, проводится ли такая статистика или нет. Но черный оппонент возможен только в секциях, где руководитель сам назначает экспертов на заявки.

Второй тип статистики, который хотелось бы увидеть, это распределение заявок по первому коду классификаторов. А также распределение победителей по этим же кодам.

Хотелось бы верить, что руководство РНФ собирает и анализирует подобную статистику

Суровость требований компенсируется необязательностью им следовать. Насколько я могу судить оценка "хорошо" за опыт руководства может быть поставлена во всех остальных случаях.

Но тут еще проблема и в том, что это всё должно быть за 5 последние лет. ;) То есть если ты когда-то руководил международным грантом, а последние 5 лет- нет, то такого опыта у тебя и нет. 

1) Есть случаи, когда заявки приходили на рецензию в ту самую группу, где заявители и работают. И далеко не факт, что все отказываются такие заявки рецензировать, а это явный и однозначный конфликт интересов. 

2) Ходят упорные слухи, что каким-то образом некоторым заявителям еще во время экспертизы становятся известны рецензенты заявки. Возможно сами эксперты коллегам сообщают, что они рецензируют их заявку, а может быть все еще хуже и в самом РНФ где-то есть утечка. Это может создавать поле для давления, договоренностей и махинаций. Я надеюсь, что это только слухи, но дыма без огня не бывает. РНФ, мне кажется, стоит обратить внимание на этот момент и принять меры, иначе это уже не конкурс. 

3) Эксперты продолжают грубо ошибаться и/или "мухлевать". В тексте рецензий пишут одно, а оценки написанному никак не соответствуют. В этом конкурсе был случай, когда эксперт написал в оценке "не соответствует приоритетным направлениям РФ", что сразу зарубает заявку без дальнейшего рассмотрения. Но вот в тексте рецензии написал "соответствует", что неудивительно, поскольку речь шла о наноструктурах и сенсорике, которые в НТР даже явно прописаны. Ошибся типа эксперт, не там галочку просто поставил... А заявка убита.  

4) Действительно, непонятны критерии оценки, ряд пунктов оценки просто вызывают недоумение. Например, странные критерии: опыт руководства (максимальная оценка только при руководстве международынми грантами, если есть хоть мегагрант, но нет гранта международного фонда, то максимум будет "хорошо"), и, в особенности, опыт преподавательской деятельности (для максимальной оценки нужно иметь и аспирантов, и читать лекции, желательно за рубежом-какое это имеет отношение к научной значимости проекта, особенно если выполнены все условия по молодежи и, например, в коллективе есть и преподаватели со всем опытом? если это не только научный, но и образовательный проект, тогда почему про образование в самой заявке нет пунктов?). 

Как указано в заявке, новым в предлагаемом подходе является то, что «анализироваться будет не входящий трафик целиком, а ограниченная выборка пакетов входящего трафика», что подтверждает отсутствие фундаментальной инновационной научной составляющей исследования, и то, что велика вероятность дублирования старых научных результатов. Разработки членов коллектива по заявленной тематике подтверждаются имеющимися статьями, в том числе международными, и полученными РИД по данной теме проекта. В этой связи актуальность, востребованность и научная новизна проекта видятся не обоснованными. Кроме того, ландшафт текущих исследований, ведущихся мировыми группами по этой тематике, также не представлен в заявке в разрезе решаемой научной проблемы, так как перечисляются лишь успехи отдельных международных групп и ведущихся разработок, но что нового планируется относительно известных научных (не прикладных) результатов, не ясно. При расчете пороговых значений базу составляют экспериментальные проверки и тесты, что также является сугубо экспериментальной задачей. При этом, собственно, сама научная (фундаментальная) проблема в постановке работы не сформулирована.

К недостаткам проекта можно отнести то, что в целом он представляется больше практическим, чем теоретическим. Так результаты второго года исследований представляют собой разработку стенда, тестирование запрограммированного решения, патентный поиск и сравнительный анализ полученного решения с аналогичными решениями. Несмотря на высокую актуальность и значимость данной тематики именно научная значимость предлагаемых решений вызывает сомнения.

всегда пишут, что РНФ это фонд фундаментальных исследований, и мне всегда хотя бы один оппонет ставит в вину возможность приложения результатов на практике.

При беглом просмотре возникает впечатление, что большая часть из 179 поддержанных проектов по 01 - это математическое моделирование чего угодно. То есть математика+механика+компьютерные науки составляют меньшую часть проектов. А большая часть - это приложение этих наук к разным задачам. С одной стороны возникает вопрос: в каком экспертном совете нужно оценивать матмодели, например, в биологии? Мне кажется, что биологам виднее. С другой стороны, вероятно, раздел "чистой математики" в РНФ вообще невозможен, поскольку это не фонд "фундаментальных исследований".