Есть ли претензии к экспертизе РНФ?
Заявители на конкурс научных групп РНФ получили, наконец, возможность ознакомиться с рецензиями экспертов.
Какие впечатления и эмоции? Ясно, что большинство подававших проиграли и вряд ли эмоции будут положительными. Но есть ли объективные претензии к качеству рецензирования? Есть ли признаки недобросовестности или некомпетентности экспертов? Многие из нас (и я в том числе) были экспертами и нам интересно, какие мнения сообщества о работе экспертов в целом.
Наконец, первые шаги РНФ говорят о его открытости к предложениям и о готовности вести диалог с научным сообществом. Так что есть надежда, что претензии и предложения могут быть учтены. Если, конечно, они конкретны и обоснованы.
Возможно, есть объъективные претензии к списку победителей. Все ли они удовлетворяют обязательным требованиям к заявителям?
5 комментарии
О предназначении рецензий
Вначале не хотелось ничего писать. Однако, рассуждая от противного, если ничего не писать, то получилось бы, что все хорошо и все устраивает. Не все.
Получил от руководителя проекта 3 рецензии для ознакомления: проект был по 01. Баллы 98+82+108=288. Не дали. Прочитал рецензии и не очень понял, что они мне дают. Почему баллы такие, а не другие, что надо бы улучшить и так далее. В одной рецензиии, наиболее развернутой, были критические элементы, но вывод - "проект нужно поддержать" и дано максимальное количество баллов из полученных - 108. Вторая рецензия у меня на экране занимает 3 строчки с выводом "Проект удовлетворяет условиям конкурса и может быть поддержан", с минимальной оценкой - 82 бала. Ну и первая рецензия занимает промежуточное положение - критики нет, баллов 98. Ну и что? Понятно, что конкурс большой, что желающих много, а грантов мало, что эксперты рецензировали 20 проектов за 2 недели.
Тем не менее, от рецензии хотелось бы 2 вещи: 1) вывод дать или не дать. Это есть - не дали; 2) обоснования и рекомендации, что было плохо, руководитель, исполнители, их количество, тема, публикации, имеющиеся или обещанные публикации, или что-то еще. И вот этого нет. А если нет, то зачем мне читать три строчки с аннотацией проекта и выводом поддержать. Аннотация мне известна, с выводом согласен :)
Претензии имеются. Я не буду
Претензии имеются. Я не буду здесь обсуждать то, что я читал или слышал, хотя статья Г. Цирлиной и дискуссия по ее поводу меня очень заинтересовала (http://trv-science.ru/2014/06/17/pokayannoe-zametki-ob-ehkspertize-proek...). Только по личному опыту:
1) По моему проекту получено 3 положительных рецензии. Все рецензии неглубоки, фактически бессодержательны, в двух из трех открытым текстом рекомендовано проект поддержать. Ни одного (совсем ни одного!) явного замечания не сормулировано. При этом баллы 73, 71, 76. Единственный мессидж, который можно извлечь из подобной обратной связи - как хорошо ни пиши проект, а все равно не дадим т.к. рылом не вышел. При этом, повторяю, претензий по качеству рыла (публикаций, преподавательского опыта, руководства проектами и пр.) в явном виде не высказано. Привожу худший из трех отзывов (остальные совсем позитивные):
Количество баллов:
71
Общее заключение:
В работе планируется изучить несколько систем фаг-хозяин. Для изучения выбраны фаги ALT-63 и G7C, а также планируется выделить новые изоляты фагов. Основное направление исследования - совместное культивирование фагов и бактерий в разных условиях выращивания и наблюдение за их коэволюцией с помощью методов метагеномики. Данная модель представляется достаточно интересной как для понимания процессов эволюции, так и для лучшего понимания взаимодействия фагов с бактериальной клеткой. Публикации коллектива заявителей неплохие, но в основном за счет одного из исполнителей. Хотя область исследования достаточно узкоспециализированная, результаты работы могут быть интересны специалистам в смежных областях.
К слову, сущность работы изложена экспертом не вполне точно. Я прекрасно понимаю, что эксперты были загружены и, если проект нравится, рецензия может быть короткой и без особого анализа. Но при этом баллы должны быть высокими. Если эксперт за что-то их снижает (выбирает не самые высокие пункты меню оценки) - это должно сопровождаться критическим замечанием, по-моему. Иначе для дальнейшей работы рецензии бесполезны и честность конкурса вызывает сомнения. К слову, названные экспертами пост-фактум в сети типичные погрешности заявок, как, например, неконктетное, без ссылок, изложение состояния проблемы, произвольное указание конкурентов и пр. нашей заявке были не свойственны. Так что я в недоумении по поводу итогов.
2) Мой коллега подавал проект, получивший 2 полностью положительных и 1 отрицательный отзыв. В отрицательном эксперт недоволен его публикациями (хотя его достижения по меркам раздела Сельскохозяйственных наук весьма приличны), после чего следует нелепое и не вполне понятное замечание по сути (лучше было бы не так, а эдак без всякого обоснования почему). Бессодержательная отрицательная рецензия вызывает подозрение, что имел место скрытый экспертом конфликт интересов.
В этой ситуации вообще не понятно, зачем нужны 3 эксперта. Если при резком несогласии 1 с оставшимися 2 делали бы "демократический выбор" или привлекали бы 4-го, все понятно. А так, когда 1 отрицательной рецензии достаточно, чтобы угробить проект, можно ограничиться и одним экспертом. уровень субъективизма будет таким же.
3) Посмотрел несколько рецензий на проекты других коллег. Обращает внимание очень произвольная оценка качества публикаций авторов (которая, полагаю, конвертируется в заметное число баллов). Вероятно, рецензент подсознательно сравнивает их уровень со своим в соответствующем возрасте. На мой взгляд должны быть согласованы какие-то общие для экспетров критерии с возможностью от них отступить, пояснив это текстом (например, сказав, что публикаций мало, но они открывают новое направление, либо много, но они носят чисто технический характер или явно представляют начальственную ренту и т.п.)
Уточнение к Вашему комментарию
Если Вы внимательно прочли статью Г.А. Цирлиной, то из нее видно, что баллы начислялись за конкретные варианты отнесения экспертом проекта к одной из трех перечисленных в анкете квтегорий по различным пунктам (уровень ранее полученных результатов руководителем проекта, уровень научных публикаций, наличие опыта руководства проектами, участие в образоваетельной деятельности, научная значимость проекта, актуальность тематики, достижимость целей, степень владения информацией по тематике, степень новизны подходов, материально-техническая база, соответствие мировому уровню, и т.п.).
При этом экспертам не были известны ни "цена" каждого отдельного пункта в общей балльной оценке, ни "стоимость" каждой отдельной категории.
Так что, без ознакомления с комментариями экспертов по каждому отдельному пункту экспертной анкеты, невозможно понять, из чего "сложились" суммарные баллы оценки конкретного проекта.
Безусловно. Я полностью
Безусловно. Я полностью поддерживаю идею выдать заявителям полностью ответы экспертов кроме их конфиденциальных комментариев. Тем не менее полагаю, что если эксперт чем-то не вполне доволен, то должен отметить это в заключении. Например, сказать, что слабой стороной проекта является отсутствие у коллектива значимых результатов в области и т.д. Некоторые эксперты так и делали. Я видел у коллеги комментарий: слабая сторона - остуствие преподавательской деятельности руководителя. Я полагаю, вы не станете спорить с тем, что рецензия должна давать возможность написать следующий проект лучше?
Не просто "не буду спорить", но настаиваю на этом
Не просто "не буду спорить", но настаиваю на этом:
http://onr-russia.ru/comment/8217#comment-8217
Только ведь в момент подготовки экспертных заключений эксперты не знали, что авторам будет представляться лишь "общее заключение", поэтому иногда избегали "ненужного дублирования".
Страницы