26
Ноя
2019

Без «дамок»: о новой системе назначения экспертов в РНФ

Читайте также: 

Кого автоматическое назначение избавит от нелегкого труда, какие проблемы оно поможет решить, а какие нет, как противостоять некомпетентности и избежать предвзятости экспертов Российского научного фонда — «злых» и «добрых», читайте в репортаже Indicator.Ru.

У многих научных фондов процесс принятия решения покрыт мраком: заявки поступают внутрь, а наружу выходят решения о победителях. Все, что находится между этими этапами, напоминает черный ящик. Российский научный фонд сделал еще один шаг к открытости экспертизы и на заседании экспертного совета по Президентской программе исследовательских проектов рассказал об опробованной в этом году автоматической системе распределения заявок, которую некоторые участники заседания даже предложили назвать системой поддержки принятия решений. Рассказываем, что это за механизм и какое значение он имеет для тех, кто назначает экспертов и желающих получить грант.

«40% назначений идут впустую»

Доклад о новом методе представил заместитель генерального директора, начальник управления программ и проектов РНФ Андрей Блинов. Для начала каждой заявке нужно назначить от двух до пяти рецензентов, которые должны быть квалифицированными в теме проекта и не иметь конфликта интересов. Решение о том, кому достанется заявка для оценки, принимает координатор секции экспертного совета. Очень часто этот человек знает экспертов, а иногда и заявителей — если не лично, то по их работам и публикациям.

С одной стороны, это даже хорошо: например, координатор может сразу понимать, какой эксперт действительно разбирается в теме заявки, независимо от того, указал ли он в списке научных интересов ключевые слова или нет. Но здесь включается субъективный фактор: к примеру, координатор лично не согласен с гипотезой автора заявки и постарается направить его к строгому и взыскательному эксперту, а заявку, которой он желает победы, пошлет к более лояльному. При этом задача координаторов настолько объемная, что добросовестная проверка всех экспертов, списков их публикаций, чтобы понять, что им тема подойдет, — это нелегкий труд.

Картинка: количество назначений за время работы Фонда. Источник: РНФ

«За 6 лет (работы РНФ — прим. Indicator.Ru) координаторы назначили около 250 тысяч экспертиз. Если посчитать, это в среднем 12 экспертиз в день на каждого координатора — колоссальное количество. И около 40% этих назначений идут впустую — эксперты не отвечают, оказываются заняты или больны, отказываются по разным причинам. В итоге труд координатора просто пропадает, — посетовал Блинов. — Естественно, что при назначении нескольких тысяч экспертиз начинаются человеческие ошибки. И этих самоотверженных людей еще и обвиняют, что они назначают "нужных" экспертов на "нужные" заявки».

От кода до автоматического назначения

В этом году было принято решение попробовать автоматизировать эту ступень, чтобы высвободить время координаторов и уменьшить влияние субъективных факторов на оценку заявки. Но к современной схеме пришли не сразу. Процедуру подбора экспертов дорабатывали пошагово, добавляя все новые и новые параметры. В 2014 году, в первый год работы фонда, для подбора предлагаемого координатору пула экспертов на заявку информационно-аналитическая система РНФ использовала только коды классификаторов, например 01-105 — топология. В 2015 году ИАС стала учитывать конфликты интересов, например не предлагать экспертов из той же организации, где работает автор заявки. Позже добавили ограничение и для экспертов, участвующих в качестве руководителей в рассматриваемом конкурсе, чтобы в их руки не попала власть над судьбой заявок конкурентов. 

В 2016 году был введен учет нагрузки на эксперта, путем проб и ошибок выяснили максимальную нагрузку на одного человека — не более десяти проектов одновременно (в работе или на согласовании). Это помогает избежать ситуации, когда эксперт смотрит заявки в спешке и невнимательно или набирает их побольше ради оплаты своего труда, не переживая за качество своей оценки. Понятно, что есть рецензенты, рассматривающие одну заявку плохо за тот промежуток времени, пока другие отлично справляются с десятками. Сейчас у эксперта на руках в большинстве случаев находится одновременно до пяти проектов, хотя, если человек быстро завершает работу над одним из них, он может получить еще. Кроме того, совсем недавно добавили возможность самому эксперту определять тот максимум, который он может рассматривать одновременно. Если эксперт считает, что больше пяти заявок сразу он не осилит, компьютер не будет номинировать его на шестую.

Автоматическая схема назначения экспертов работает в два этапа: сначала система подбирает от 50 до 100 потенциальных экспертов на проект. Компьютер отсеивает неподходящие кандидатуры по нагрузке (если у человека в работе более десяти проектов), их принадлежности к организациям, соответствию кодам классификатора и ключевым словам, участию в рассматриваемом конкурсе. Затем система ранжирует всех кандидатов по совпадению их научных интересов с темой проекта и уровню их нагрузки и назначает экспертов на заявку. При этом не допускается назначение на одну заявку экспертов из одной организации. Все числовые параметры подбора и назначения могут быть уточнены — например, адаптируясь под очень узкую или, наоборот, широкую научную область.

Такой подход в сравнении с обычным позволяет ускорить сам процесс назначения экспертов и, соответственно, срок принятия или отказа экспертов от оценки заявок, а также увеличить скорость проведения экспертизы, так как компьютер быстрее переназначает экспертов при отказе.

Картинка: на распределение экспертов по регионам автоматическое назначение не очень повлияло: где больше ученых, там больше экспертов (и, соответственно, заявок). Источник: РНФ

При любом назначении баллы оказались схожими — а значит, на качество экспертизы нововведение не повлияло. Зато снизился разброс баллов: в 16% случаев все три рецензента оценили заявку одинаково. Конечно, для учета разносторонних мнений и подбирают троих экспертов на каждый проект, но если разброс баллов слишком большой, то это свидетельствует либо о разном уровне квалификации экспертов, либо о недостаточной методической работе с экспертами. Поэтому каждый случай с полярными оценками отдельно рассматривается секцией экспертного совета.

Картинка: причины отказов при обычном и автоматическом назначении. Источник: РНФ

При компьютерном назначении выросло количество отказов от проведения экспертизы. Правда, если посмотреть на их причины, можно понять, что по критериям конфликта интересов и неудобных сроков это число, наоборот, уменьшилось. Да, компьютер хуже координатора знает компетентность экспертов, но зато он тщательнее проверяет аффилиации и не пропустит их по невнимательности.

«Все сталкивались с ужасными случаями»

Пока что автоматическое назначение не обязательно: любой координатор может продолжать работать вручную. Но среди ученых, заявки которых анализировали по новой методике, оказалось меньше недовольных результатом: процент возражений упал с 0,32% до 0,28%. Так что пока автоматические назначения выглядят полезным новшеством.

Однако академики, эксперты и другие участники собрания выразили различные опасения и перечислили доработки, которые улучшили бы такую систему. Во-первых, как предостерег академик Вадим Кукушкин, не нужно переходить к полностью автоматической оценке, ведь при ошибке системы или атаке на нее результаты будут сильно искажены. Во-вторых, стоит следить, как долго эксперт занимается одним проектом, и, если он постоянно задерживает ответ на целый месяц, возможно, он замедляет работу фонда, и нужно учитывать это при отборе. С другой стороны, это поможет избежать ситуации, когда человеку одновременно приходит на оценку сразу шесть-семь заявок прямо перед дедлайном. Кроме того, нужно уточнять информацию о самих экспертах — их кодах классификаторов, ключевых словах, возможно, оставить тонкую настройку для разных рубрик. Не решен пока вопрос о «злых» и «добрых» проверяющих. Однако в планах фонда — разработка системы учета поведения экспертов, чтобы сделать оценку еще объективнее.

Большой — и пока нерешенной — проблемой сегодня можно назвать размер экспертного пула. В базе РНФ сейчас пять тысяч российских и 1,5 тысячи зарубежных рецензентов. Не все из них активны и имеют выдающиеся научные достижения. Фонд регулярно приглашает к экспертной деятельности руководителей поддержанных проектов, но даже при таком подходе экспертов недостаточно, поэтому сейчас перед РНФ стоит дилемма: или набирать практически всех желающих, удовлетворяющих формальным признакам, или остаться с нехваткой рецензентов, которым приходится очень много работать (а из-за нагрузки может расти частота ошибок). Конечно, эксперту можно сделать замечание или даже лишить его этого поста, но система отбора новых рецензентов, скорее всего, нуждается в модификации.

Однако, по словам главного научного сотрудника НИУ «Московский энергетический институт», председателя экспертного совета по научным проектам, академика РАН Александра Клименко, главной цели система автоназначения все же достигла. 

«В 2017-м все жаловались: вы говорите об объективности, о том, что все в "ажуре", но у конкретных людей колоссальная власть. Они могут утопить любую заявку или провести заявку "в дамки". Что-что, а эту претензию мы снимем во многом», — резюмировал он.

https://indicator.ru/humanitarian-science/o-novoi-sisteme-naznacheniya-ekspertov-v-rnf.htm?utm_source=indifb&utm_medium=social

http://rscf.ru/ru/node/novoy-sisteme-naznacheniya-ekspertov-v-rnf

12 комментарии

0 / 0
Хм

Достаточно, процитированного ниже, чтобы все остальное посчитать декорацией.

"Решение о том, кому достанется заявка для оценки, принимает координатор секции экспертного совета. Очень часто этот человек знает экспертов, а иногда и заявителей — если не лично, то по их работам и публикациям."

2 / 0
Не столь приглаженные впечатления Ивана Стерлигова

Для тех, кто по каким-то причинам не бывает в группе ОНР в Фейсбуке, ссылка на гораздо более информативный рассказ о том же мероприятии известного многим здесь наукометриста Ивана Стерлигова в его телеграм-канале:

https://t.me/science_policy/451

0 / 0
Доступа нет

Доступ запрещён

Доступ к этой странице запрещён, т.к. она попала в "Единый реестр запрещённых сайтов",

содержащий информацию, распространение которой в Российской Федерации запрещено,

либо в «Федеральный список экстремистских материалов» на сайте Минюста.

0 / 0
Я вошёл

Вот текст:

Сегодня посетил заседание РНФ (спасибо Александру Балышеву), где послушал очень интересный доклад замдиректора Андрея Блинова про то, как они переходят к автоматическому подбору экспертов.

Напомню, речь про самый обсуждаемый процесс грантовой экспертизы в России.

Если вкратце, есть база экспертов с ключевыми словами и классификатором, и есть заявки с ключевыми словами и аннотациями. Система начиная с 2019 г. подбирает экспертов по совпадению авторских и извлеченных из аннотаций КС, а также кодов классификатора, БЕЗ каких-либо метаданных публикаций. Есть простенькие проверки на конфликт интересов (например, эксперт сам подался на тот же конкурс), но нет проверки на соавторство (sic!). Я специально уточнил: только если сам эксперт сообщит, что он соавтор. А зачем ему это сообщать, если а) за экспертизу платят копеечку б) надо поддержать соавтора? Кхм.

У руководителей секций есть (довольно дикий) вариант вовсе не влезать в автоподбор, и отношение к нему разное. Так, начальник одной секции товарищ Ильин (математика и матфизика, Курчатник) влезал постоянно, а товарищ Кукушкин (химия, СПбГУ) не влезал вообще, т.е. насколько я понял, по химии всех экспертов подбирали автоматом.

Сопоставление результатов экспертизы по предыдущему периоду и по 2019 г, когда сие заработало, вроде бы показывает, что разницы нет никакой.

Полагаю, дело в том, что продолжается чудовищный для РНФ и видимо заданный либо Кремлем, либо общетрусливо-рациональным отношением самих ученых (ой, они ж нас оценят по всей строгости! а у нас тут особые условия! и вообще!) фактический запрет на привлечение иностранных экспертов. На практике, насколько понял, запрет работает через требование физически подписать какую-то бумажку. Так или иначе, автоподбор работает только по 5 тысячам российских экспертов, включенных в базу. Блинов прямо говорит, что нужно минимум 10 тысяч, насчет привлечения иностранных устало оправдывается, ссылаясь на необходимость подписать бумажку, собравшихся в зале (всякие профессора РАН) это не интересует, так как у них либо опустились руки, либо самим нужны гранты РНФ.

Добрать российских экспертов можно, по моим оценкам у нас порядка 15 тысяч ученых, работающих на должном уровне в естественных науках (в свое время делали с Ростовцевым соответствующую базу), но без иностранцев это все конечно пфуй. По куче областей у нас дай Бог 1-2 лабы на мировом уровне, без иностранцев не обойтись, с этим никто не спорит, но как-то, знаете, не вспоминает: себе дороже.

Далее я спросил, как насчет автоматических библиометрических систем подбора экспертов от Эльзевира и т.д.? Нет, не планируют пользоваться, в основном из-за той самой "невозможности" привлекать иностранцев. Особенно обидно, что в мегагрантах-то привлекали раньше...

А под конец состоялась настоящая напряженная дискуссия!

надо кратко пояснить, как у них там все устроено:

Зачем-то сделали два совета: по научным проектам (Макаров, ИМБ РАН, всегда был при Минобре) и по президентской программе (Клименко, такой же старый фурсенковский кадр). Первый вроде бы рассматривает проекты покрупнее, второй - поменьше, которых побольше (могу ошибаться), но суть в том, что своеты совершенно одинаковые: и там, и там примерно треть (имхо) ученых мирового уровня, представлены все области. Автоматизация затронула второй совет и соответствующие конкурсы, а первый совет в лице своего председателя резко против. Блинов и там, и там секретарь, так что выглядела эта разборка необычно.

 

2 / 0
Запрет доступа иностранцев?

"фактический запрет на привлечение иностранных экспертов"

Когда наш проект РНФ был поддержан в 2017 году, то из 4-х отзывов, один был иностранный. Что-то с тех пор изменилось?

2 / 0
Проблема иностранцев в РФ многогранна

Видимо, в Вашем случае иностранный эксперт имел российское гражданство. Вообще эксперт может получиль деньги за работу, только если подпишет договор, т.е. вступит в трудовые отношения с российской организацией. Если он иностранный гражданин, то для этого он должен получить разрешение на работу в РФ. А это долгая-долгая история. Но это еще не все. Как правильно (хотя и в некорректном стиле) замечает Иван, российская научная элита сама не заинтересована во внешнем рецензировании и по объективным, и по субъективным причинам. Даже такие гиганты как А.П.Кулешов, Л.Д.Фаддеев публично высказывались в духе, "не допущу, чтобы иностранец проверял мой институт", "если меня придут проверять, я спущу проверяющих с лестницы" и т.д.

ОНР всегда последовательно стояла за международную экспертизу. Но сейчас проблема заморожена и сдвиг ее с мертвой точки требует, прежде всего, изменения настроений в обществе. Сейчас, к сожалению, подозрительность к иностранцам разжигается самой властью, см. например новый закон о людях-иноагентах. Здесь роль ученых может быть очень важной, и поэтому очень важным является единодушное выступление Общего собрания РАН против пресловутого приказа Минобрнауки об иностранцах.

1 / 0
Одна грань

Просто для примера приведу одну маленькую грань. Вопрос оплаты - эксперту часто нужно завести счет в банке, чтобы ему туда заплатили, с карточкой "Мир" и все такое. Потому что сделать перевод на его счет часто невозможно. И тут начинается заполнение документов. Естественно, по-русски. В последнем виденном документе стоят пункты - 1) является ли будущий клиент резидентом США, 2) является ли только резидентом России. Если ответы 1 - да, 2 - нет, то наступают трудности - надо заполнять еще бумаги. Теоретически это все преодолеваемо. Хотя если иностранец не знает русского, как-то будет трудно ему заполнить все это и далее это уже вопрос доверия. 

Естественная реакция немотивированной бухгалтерии - "как бы чего не вышло". Все зависает, иностранец говорит "да пошли вы со своим утюгом"... А приглашающая сторона с облегчением вздыхает. 

P.S. Навеяно вполне конкретной реальной ситуацией со знакомым русским американцем. 

0 / 0
слово "проверять" можно понимать различно

Для суждения о научной деятельности незасекреченного института нет никакой необходимости в его посещении. Достаточно ознакомится с публикациями его сотрудников в открытой печати. "Не допускать" и "спускать" возможно только если проверяющие лично изучают документы отдела кадров, бухгалтерию или состояние пожарной безопасности. В последнем случае действительно можно обойтись без иностранных спецов.

0 / 0
Вообще-то речь шла о проектах

Речь шла о экспертизе проектов. Там достаточно удаленного доступа. что вовсе не отменяет проблем с оплатой для иностранцев. 

Действительно, если же оворить о проверке пожарной безопасности, то боюсь, что попытки глубокоуважаемых спустить кого-то с лестницы приведут к вполне понятному результату. 

1 / 0
Это же телеграм

Соответственно, для доступа нужно либо установить приложение Телеграм на телефоне, планшете или обычном компьютере, либо заходить через vpn. Или же можно просто прочитать текст ниже в комменте ЭС (но от этого, конечно, не появится доступ к другим материалам того же Ивана Стерлигова и к прочим телеграм-каналам.

0 / 0
Прочел на сайте ОНР

Согласен с формулировкой Александра Львовича: "Несколько некорретктно".

3 / 0
Что важно

Важно то, что в РНФ работают, на мой взгляд, в правильном направлении. Практически все, что мы здесь на сайте обсуждали, так или иначе реализовывается. Понятно, есть российская специфика, куда-ж без нее. Но тем не менее... 

Что касается фразы Ивана Стерлигова:

"Есть простенькие проверки на конфликт интересов (например, эксперт сам подался на тот же конкурс), но нет проверки на соавторство (sic!). Я специально уточнил: только если сам эксперт сообщит, что он соавтор. А зачем ему это сообщать, если а) за экспертизу платят копеечку б) надо поддержать соавтора? Кхм",

то нужно сказать, что эксперты реально подписывают бумагу о конфликте интересов, в которой и момент соавторства должен быть отражен. Конечно, остается вопрос, что делать с экспертом, который подписывая такую бумагу, сообщает недостоверную информацию. По идее, он 1) должен быть исключен из состава экспертов, 2) не может подавать заявки на конкурсы РНФ, например, 5 лет, 3) эта информация должна быть доведена как минимум до всех государственных фондов. Срока давности у такого нарушения быть не должно. Если эти пункты 1-3 существуют или их хотя-бы планируют ввести, то документа об отсутствии конфликта интересов, который подписывают эксперты РНФ, вполне, на мой взгляд, достаточно. Есть ли эти механизмы,- ключевой вопрос. 

Страницы