Новый конкурс мегагрантов: снова об экспертизе

Какова цель конкурса? От этого зависят те или иные предложения.

Одно из основных замечаний касается функционирования системы подачи грантов. Проблема даже не в том, что система отвратительная, проблема в том, что она приводит к несуразностям, которые делают экспертизу полностью неадекватной.

1) Формы для заполнения публикаций ведущего ученого функционируют неправильно. Они не позволяют вносить все публикации ведущего ученого. Точнее, внести их можно, но они при генерации pdf файла иногда обрезаются, а иногда не обрезаются и это вообще странно. По всей видимости публикации обрезались на числе 100. Это в моем случае (у ведущего учено было больше 100 публикаций за 5 лет из Q1-Q2) привело к следующим двум комментариям от двух разных экспертов: а) "Unfortunately, presented list of publication, probably taken from some previous application, is limited by the year 2014", b) "

Articles and reviews published by the leading scientist in 2011 – 2016…), the lists of the publications of applicant corresponds to the timeframe of 2011-2014. I assume, this part was copied from some older application and was not revised, which slightly reduces the overall impression about the quality of the present application".

Система просто "обрезала полный лист публикаций", а мы из-за этого недосчитались баллов. При этом, заметьте, те у кого публикаций существенно меньше, такой проблемы не получили. Налицо "отрицательный отбор". 

2) В списке форм есть 2 формы для Институтов и Университетов. При этом регистрации заявки без генерации обеих этих форм появлялось замечание. Было непонятно к чему приведет игнорирование этого замечания. В нашем случае в самом начале, когда поняли, что система выдает замечание на отсутствие формы для Институтов, мы сгенерировали 2 формы и для Институтов и для Университетов (хотя мы Университет). При этом форму для Институов, конечно, не подписывали. Но на последнем этапе мы поменяли бюджет. Форму для Институтов при этом не "перегенерировали" (хотя, как оказалось, было нужно это сделать тоже, хотя казалось бы зачем?). В результате получили вот такие однотипные комментарии от экспертов: 

а) "some inaccuracy in the forms, however, the main one appears in form 1, which is actually submitted twice in English and twice in Russian. In one of the form, the budget splitting over three years is 41 mln+ 24,5 mln + 24,5 mln, in another form it is 30+30+30 mln. The former form has later date and may be considered as a new version. Unfortunately, in form 5 this is again 30+30+30 mln, but in form 7 - 41 + 24,5 + 24,5 mln . Such kind of inconsistencies makes evaluation of the project even more difficult"; b) "The proposal documentation include two different Forms 1. One of them contains request of funding splitted in three years as 41 MRUR, 24.5MRUR and 24.5MRUR, whereas another one: three times per 30MRUR. Moreover, the Form 5 presents “Research project implementation plan” based on budget distribution in the form of 30MRUR/year, whereas the Form 7 describes the “Research Project Budget” with 41MRUR spending in year 1 followed by 24.5MRUR spending in years 2 and 3".

То есть экспертам (иностранным) отправили 4шт формы_1: две на русском и две на английском как для Институтов, так и для Университетов!!! Нафига, извините? В результате эксперты просто не смогли провести адекватную экспертизу в части финансов. Плюс еще и в формах 5 и 7 данные повторяются (финансовые). Мы в полях, которые потом пошли в форму 7, поменяли данные уже перед отправкой, решили внести изменения, а в полях, которые пошли в форму 5, не обратили внимания, что тоже нужно синхронно менять в точности те же самые данные (нельзя разве там данные брать из одних и тех же полей?). И что-то еще из этого "улетело" в форму 1, даже не знаю из какой из этих форм. Частично наш собственный "косяк", конечно, но если так все неудобно сделано когда нужно многократно одни и те же данные вносить в разных местах, то никто от этого не застрахован особенно в режиме спешки. При этом, заметьте, каждая форма генерируется нажатием своей собственной кнопки. То есть если что-то где-то поменял (не в формах, а в данных, которые идут в формы-еще нужно предварительно  понять что куда пойдет из вносимых данных, поскольку конечные формы и формы для заполнения не соответствуют друг другу), то нужно сесть и 20 раз нажать на кнопки "перегенерации" (9 форм на русском и английском+ 2 формы для Институтов), ибо в противном случае нет гарантии что все данные обновятся. И так каждый раз при любом минимальном изменении. Бред в общем. . 

3) Совершенно неадекватно составлена форма с финансовым обоснованием (форма 5). В ней заполняется только финансирование от правительства, но туда нельзя вносить деньги, которые нам орагнизация обещала как софинансирование, иначе система не пропускала заявку из-за большего объема средств, чем максимально возможное. То есть в форме на сайте мы написали софинансирование, но в формах из комплекта документов этой информации нет (ни в форме 5, ни в форме 7). Мы расписали куда пойдут деньги от софинансирования в форме 8, поскольку в форме 5 этого сделать было нельзя, там не было поля для софинансирования, а в форме 7 эта информация с сайта просто не была добавлена, и у экспертов это, опять-таки, вызвало недоумение: 

а) "The co-funding contribution of the host organization (Siberian Federal University) is high (more than 50% from the requested grant support). Otherwise, the tasks attribution for this money is not explained as the Form 5 includes only the grant money spending explication and do not contain explications related to co-funding spending; b) The commitment of SibFU is very high. Among others, around 45 mln roubles will be added to the project budget. Unfortunately, it is not seen to which tasks of the project this money will be added. Indeed, Form 5, which is summarizing allocation of funds as related to the project tasks, contains solely main project budget and no any information about additional funding. Form 8 describes splitting of this funding by categories (e.g. 32 mln for salaries), however again does not provide any information about the relevance to particular project tasks. I can conclude once again, that this project is salary and not research oriented".

Заметьте, первый эксперт даже не заметил, что эта информация есть в форме 8. А во втором  комментарии кроме собственно непонимания куда пойдут деньги продемонстировано также непонимание экспертом российской специфики и неадекватное, на мой взгляд, понимание условий конкурса. У нас на зарплату запланировано было около 50% бюджета (по условиям конкурса на зарплату можно было использовать 60%) на порядка 40 человек. По сути это меньше чем требуется даже в ГЗ. Поэтому претензии эксперта просто не соответствуют условиям конкурса и здравому смыслу. Так что экспертам нужно четко объяснять условия конкурса, иначе вот такое пишут. При этом на зарплату у нас была взята ровно та сумма (даже чуть меньше), которую обеспечивал университет как софинансирование (вот они эти 32млн руб на зарплату), с тем, чтобы сохранить кадры когда грант закончится (университет обещал продолжить финансирование и после завершения гранта). То есть по сути у нас почти все деньги от самого мегагранта шли на оборудование и поездки. Эксперты вообще ничего не поняли из этой катавасии с формами. Мы также написали, что будем привлекать иностранных постдоков и аспирантов. На это эксперты напсиали, что уровень предлагаемых зарплат не позволит привлечь иностранных аспирантов. Полная ерунда. Я и без мегагрантов привлекаю в группу иностранных постдоков. Мы, конечно, не ориентируемся на европейских или американских постдоков, но китайцы, индийцы и иранцы и тп вполне заинтересованы ехать даже в Сибирь. И за куда меньшие чем в Европе деньги. Мы, конечно, не можем платить 2к евро постдоку. Но столько и не нужно как оказалось. Эксперты просто этого представить не могут? Или считают что международный уровень не может быть у китайцев? Или у китайцев, которые едут в Сибирь на зарплату меньше чем в Европе? Сочуствую им если так думают. Наверное такие спорные вещи они вообще не должны в качестве критериев оценки использовать, нет? 

Вообще экспертиза от двух иностранных экспертов, что видно даже из приведенных примеров (это, кстати, примерно половина всего их отзыва, остальное это в основном похвалы ведущему ученому и критика проекта в плане его слишком большой "широты" (мы охватываем своей командой очень широкую область связанную со спектроскопией на наноуровне- плазмоника, квантовые точки, фотонные кристаллы, апконверсия, резонансная рентгеновская спектроскопия для биофотоники, биосенсорика и оптическая биоизуализация-действительно широко, но мы это все делаем и большинство людей в команде вовлечены срау в несколько из этих направлений, к тому же многие методы пересекаются- возникает синергетический эффект при взаимодействии направлений и людей) наводит на мысль что писал их если не один человек, то, по моим ощущениям, люди, которые этот проект обсуждали, как будто под кальку замечания сделаны немного разными словами. Мне кажется это видно невооруженным взглядом аргументы просто один в один, это очень странное на мой взгляд совпадение. Злые языки, конечно, могут сказать, что раз 2 эксперта пишут одно и то же, то может быть действительно проблема есть. Я с этим могу согласиться только в плане "технических" несуразнсотей системы подачи заявок. Все остальные существенные вопросы экспертов снимаются после внимательного прочтения проекта и некоторого обдумывания предлагаемого. Вероятно чтение не было достаточно внимательным. 

Но основная проблема возникла из-за чисто технических и организационных вещей, которых в такого уровня конкурсах быть просто не должно, поскольку приводит к неадекватной экспертизе и случайному отбору, поскольку понятно, что кто-то этой проблемы счастливо избежал (особенно те, кто подавал не в первый раз), а кто-то с легкостью наступил на эти грабли.  

Еще один момент с экспертизой. По своим рецензиям я четко вижу, что эксперты оценивавшие проект достаточно узкие. Они не могут увидеть упомянутый выше синергетический эффект от взаимодействия научных направлений. Ничего почти в проекте нет насчет научной части проекта. Один, например, написал следующее: 

"The reviewer should not be necessarily an expert in any particular field of science to evaluate this project, as the project looks like a mixture of many highlights and keywords from modern nanoscience. The authors promised to do a lot of things in many different directions in only 3 years and simultaneously forgot to mention anything specific, any product which will be delivered at the end and can be evaluated as a particular success of this particular work".

Дело в том, что у нас проект действительно очень широкий и действительно закрывает большую часть научных областей в нанотехнологии, но, вероятно, эксперт не является экспертом ни в одной из них, о чем по сути честно и пишет. В противном случае он понял бы, что предлагаемое реально к исполнению и то, что в проекте есть очень четкие и конкретные вещи. Вплоть до протоколов. Ну как так можно читать? И это даже не обращая внимания на тот факт, что, по крайней мере как я это понимаю, мегагранты ориентированы даже не на получение какого-то конкретного продукта или технологии, а на создание научной и образовательной среды, которая в дальнейшем даст возможность проводить исследования на мировом уровне и, может быть (только может быть, потенциально) приведет к созданию каких-то технологий. Если у экспертов такого понимания нет и они ожидают что за 3 года мы выдадим какой-то продукт помимо публикаций или даже просто будем обещать какой-то прорывной научный результат, (хотя у нашего ведущего ученого есть мировой рекорд по преобразованию солнечной энергии в конверсионных приборах в ИК области и это тоже было частью проекта, был также еще ряд вещей, которые, если бы эксперты были внимательнее, означают получение очень сильных научных результатов-как минимум 2 результата мы так и так получили к концу прошлого года (Sci rep, вероятно Nat comm), но уже, увы, без мегагранта), то их, наверное, не стоит больше к экспертизе привлекать? Публикаций мы, кстати, обещали по 25-30 в год и минимум половину из 1-2 квартилей, и это более чем реально, мы и за меньшие деньги и более узкой командой почти столько выдаем (порядка 2.5 статей Q1 за год на сотрудника, в число которых включаю и аспирантов). Какой "результат" эксперту еще нужен или нужно пообещать, что мы получим какой-то сверхнаучный прорыв или технологию или даже процесс для технологии, за 3 года? Это ведь не вполне корректно такие обещания давать, нет? Да и не соответствует это все целям программы на мой взгляд. Ошибаюсь? В команде люди, которые имеют результаты мирового уровня, опубликованные даже в последние годы в журналах с импактами выше 20-30 (при среднем по области науки 1-2), несколько ппрорывных научных результатов за последние годы. Ребята, мы пишем что мы еще будем делать. Вероятность новых прорывов высока. Но обещать это никто не может и не должен. Я так думаю... 

4) В системе крайне неудобно вносить данные. Каждую публикацию нужно забивать отдельно. При этом для авторов, названия статьи, журнала, тома, номера, страниц и т.д там отдельные поля. В результате у меня аспирантка сидела неделю и забивала более 200 публикаций вручную, да еще как потом оказалось все было зря, поскольку система их "обрезала" (см. пункт 1). Нельзя разве по DOI или, например, по .ris файлу публикации вносить. Импорт данных из файла публикаций казалось бы несложное для программистов дело...

5) После нажатия кнопки "подписать" система не выдает ничего. Хоть бы написали "заявка принята", а то поседеть можно...

6) Перед конкурсом заявлялось, что экспертиза будет двухступенчатой, однако, по факту это было реализовано достаточно странно и, кстати, мне до сих пор не вполне понятно как именно это было реализовано. Изначально заявлялось, что на первом этапе будут оцениваться только показатели ведущего ученого. Это написано в конкурсной документации! Но Александр Львович выше написал, что проект уже на первом этапе оценивали 2 эксперта. Они оценивали ведущего ученого или проект? Если ведущего ученого, то какой смысл было всем писать полноценные заявки, если половина вылетело? Если оценивали уже сам проект, то это противоречит конкурсной документации, там было четко написано, что на первом этапе оценивается только ведущий ученый.  

Смысл двухступенчатой экспертизы не в том, чтобы облегчить жизнь чиновникам, а в том, чтобы облегчить жизнь участникам конкурса. После первого этапа "вылетело" 50% заявок. Им действительно нужно было писать полные тесты заявки? Это ведь огромные затраты времени. Или можно было ограничиться описанием ведущего ученого? 

Поэтому, я бы предложил  изменить систему подачи заявок и сделать ее реально многоступенчатой, так, чтобы людям не приходилось делать ненужную работу. Может быть даже 3-4 этапа сделать: 1) наукометрические показатели ВУ (отсечь скажем 70%), 2) "короткие проекты с формулировкой задач и заявляемыми целями и результатами" (еще минус 15%), 3) "оценка "программы развития (staffing plans)" лаборатории в соответствии с мировыми критериями" (еще минус 7.5%), 4) полный научный проект (отсекать только если совсем все плохо).  На первые 3 этапа дать 1-2 месяца. На 4й этап тоже 1-2 месяца, этого будет достаточно.  

7) Провести для экспертов и участников вебинар, на котором четко объяснить цели и задачи программы. Мне до сих пор непонятно является ли эта программа чисто научным проектом или это научно-организационный проект? На первый взгляд, если смотреть на цели программы, это все-таки больше научно-организационный проект (и мы об этом тут говорили), но после получения рецензий я засомневался.

8) Дать возможность апелляций, хотя бы с тем, чтобы отсечь неадекватных экспертов. Сейчас ситуация, насколько я понимаю, такова, что эксперты получают за экспертизу неплохие деньги и никто от экспертизы не отказывается даже не будучи экспертом. Когда я пишу "система апелляций" я имею ввиду облегчение подачи апелляции. В конкурсной документации это должно быть четко прописано, с адресами для связи и т.д. А по хорошему нужно организовывать взаимодействие между экспертами и заявителями. Многие вопросы можно было бы снять. Наверное это будет дороже, но при таких деньгах цена ошибки может быть еще более высокой- просто деньги на ветер. 

9) При этом по своим проектам я вижу, что эксперты не всегда понимают значительную часть проекта. По сути в наших рецензиях собственно о научной части не написано почти ничего. Только общие фразы, имеющие мало смысла. Наверное для экспертов нужно создать специальную форму, в которой они должны честно указать в каких из рубрикаторов проекта они являются экспертами. Грубо говоря если у меня в проекте стоит 5 кодов рубрикатора, а эксперт является экспертом только в одном из них, то этого недостаточно, нужно как минимум совпадение 3-4 кодов, а лучше всех 5. Если таких нет, то тут нужно думать что делать, поскольку мультидисциплинарные проекты явно проигрывают тем, которые нацелены на решение конкретных узких задач именно из-за экспертов, а решение узких задач это не самое лучшее вложение денег с точки зрения науки (зато может быть лучшее вложение с точки зрения технологий- но это уже последний пункт целей "программы").   

10) Мне непонятен еще один момент. В целях программы четко написано, что программа расчитана на привлечение ведущих ученых из-за рубежа. При этом если ученый уже состоит с какой-то российской организацией в трудовых отношениях, то он подавать не может. При этом, однако, он может быть ведущим ученым в другой организации. На мой взгляд здесь налицо противоречие: если он уже состоит в трудовых отношениях с организацией, то зачем его привлекать пусть и в другую организацию.  Это уже не привлечение, а перетасовка. Тоже дело нужное, но как это соответствует целям программы, там ведь четко написано о "привлечении", а не о мобильности? С другой стороны, чем плохо, если кто-то например приезжает читать лекции в Россию и таким образом трудоустроен по крайней мере на короткие периоды? Грант позволил бы человека привлечь еще и в плане научного руководства и дал бы возможность создать инфраструктуру. В общем масса противоречий в этом моменте.

11) поднимал по поводу РНФ вопрос по срокам отправки бумажных версий заявок. Считаю, что нужно смотреть по срокам отправки быстрой почты (DHL, например) на конверте, иначе дискриминация по территориальному признаку. То же самое и тут. А вообще хорошо бы и почту оплачивать победителям. И до момента подписания соглашения принимать сканы подписей, а не оригиналы. Или считать датой отправки заявки электронную версию и начинать с ней работать, и спокойно ждать когда придет бумажка. если это не противоречит законодательству, что возможно.

Есть еще много замечаний и предложений по экспертизе. Но это чуть позже. И так много написал.

Почему Украина тратит на академическую науку бóльшую долю ВВП, чем Россия

https://www.gazeta.ru/science/2017/02/05_a_10510685.shtml

Если России нужна продуктивная и конкурентоспособная фундаментальная наука, необходимо уже в ближайшие годы начать выделять из федерального бюджета на ее финансирование средства, в отношении к ВВП сопоставимые хотя бы с Грецией, Польшей, Португалией и пр., а в качестве долгосрочной цели установить уровень в 0,35–0,4% ВВП.