Кого автоматическое назначение избавит от нелегкого труда, какие проблемы оно поможет решить, а какие нет, как противостоять некомпетентности и избежать предвзятости экспертов Российского научного фонда — «злых» и «добрых», читайте в репортаже Indicator.Ru.

У многих научных фондов процесс принятия решения покрыт мраком: заявки поступают внутрь, а наружу выходят решения о победителях. Все, что находится между этими этапами, напоминает черный ящик. Российский научный фонд сделал еще один шаг к открытости экспертизы и на заседании экспертного совета по Президентской программе исследовательских проектов рассказал об опробованной в этом году автоматической системе распределения заявок, которую некоторые участники заседания даже предложили назвать системой поддержки принятия решений. Рассказываем, что это за механизм и какое значение он имеет для тех, кто назначает экспертов и желающих получить грант.

«40% назначений идут впустую»

Доклад о новом методе представил заместитель генерального директора, начальник управления программ и проектов РНФ Андрей Блинов. Для начала каждой заявке нужно назначить от двух до пяти рецензентов, которые должны быть квалифицированными в теме проекта и не иметь конфликта интересов. Решение о том, кому достанется заявка для оценки, принимает координатор секции экспертного совета. Очень часто этот человек знает экспертов, а иногда и заявителей — если не лично, то по их работам и публикациям.

С одной стороны, это даже хорошо: например, координатор может сразу понимать, какой эксперт действительно разбирается в теме заявки, независимо от того, указал ли он в списке научных интересов ключевые слова или нет. Но здесь включается субъективный фактор: к примеру, координатор лично не согласен с гипотезой автора заявки и постарается направить его к строгому и взыскательному эксперту, а заявку, которой он желает победы, пошлет к более лояльному. При этом задача координаторов настолько объемная, что добросовестная проверка всех экспертов, списков их публикаций, чтобы понять, что им тема подойдет, — это нелегкий труд.

Картинка: количество назначений за время работы Фонда. Источник: РНФ

«За 6 лет (работы РНФ — прим. Indicator.Ru) координаторы назначили около 250 тысяч экспертиз. Если посчитать, это в среднем 12 экспертиз в день на каждого координатора — колоссальное количество. И около 40% этих назначений идут впустую — эксперты не отвечают, оказываются заняты или больны, отказываются по разным причинам. В итоге труд координатора просто пропадает, — посетовал Блинов. — Естественно, что при назначении нескольких тысяч экспертиз начинаются человеческие ошибки. И этих самоотверженных людей еще и обвиняют, что они назначают "нужных" экспертов на "нужные" заявки».

От кода до автоматического назначения

В этом году было принято решение попробовать автоматизировать эту ступень, чтобы высвободить время координаторов и уменьшить влияние субъективных факторов на оценку заявки. Но к современной схеме пришли не сразу. Процедуру подбора экспертов дорабатывали пошагово, добавляя все новые и новые параметры. В 2014 году, в первый год работы фонда, для подбора предлагаемого координатору пула экспертов на заявку информационно-аналитическая система РНФ использовала только коды классификаторов, например 01-105 — топология. В 2015 году ИАС стала учитывать конфликты интересов, например не предлагать экспертов из той же организации, где работает автор заявки. Позже добавили ограничение и для экспертов, участвующих в качестве руководителей в рассматриваемом конкурсе, чтобы в их руки не попала власть над судьбой заявок конкурентов. 

В 2016 году был введен учет нагрузки на эксперта, путем проб и ошибок выяснили максимальную нагрузку на одного человека — не более десяти проектов одновременно (в работе или на согласовании). Это помогает избежать ситуации, когда эксперт смотрит заявки в спешке и невнимательно или набирает их побольше ради оплаты своего труда, не переживая за качество своей оценки. Понятно, что есть рецензенты, рассматривающие одну заявку плохо за тот промежуток времени, пока другие отлично справляются с десятками. Сейчас у эксперта на руках в большинстве случаев находится одновременно до пяти проектов, хотя, если человек быстро завершает работу над одним из них, он может получить еще. Кроме того, совсем недавно добавили возможность самому эксперту определять тот максимум, который он может рассматривать одновременно. Если эксперт считает, что больше пяти заявок сразу он не осилит, компьютер не будет номинировать его на шестую.

Автоматическая схема назначения экспертов работает в два этапа: сначала система подбирает от 50 до 100 потенциальных экспертов на проект. Компьютер отсеивает неподходящие кандидатуры по нагрузке (если у человека в работе более десяти проектов), их принадлежности к организациям, соответствию кодам классификатора и ключевым словам, участию в рассматриваемом конкурсе. Затем система ранжирует всех кандидатов по совпадению их научных интересов с темой проекта и уровню их нагрузки и назначает экспертов на заявку. При этом не допускается назначение на одну заявку экспертов из одной организации. Все числовые параметры подбора и назначения могут быть уточнены — например, адаптируясь под очень узкую или, наоборот, широкую научную область.

Такой подход в сравнении с обычным позволяет ускорить сам процесс назначения экспертов и, соответственно, срок принятия или отказа экспертов от оценки заявок, а также увеличить скорость проведения экспертизы, так как компьютер быстрее переназначает экспертов при отказе.

Картинка: на распределение экспертов по регионам автоматическое назначение не очень повлияло: где больше ученых, там больше экспертов (и, соответственно, заявок). Источник: РНФ

При любом назначении баллы оказались схожими — а значит, на качество экспертизы нововведение не повлияло. Зато снизился разброс баллов: в 16% случаев все три рецензента оценили заявку одинаково. Конечно, для учета разносторонних мнений и подбирают троих экспертов на каждый проект, но если разброс баллов слишком большой, то это свидетельствует либо о разном уровне квалификации экспертов, либо о недостаточной методической работе с экспертами. Поэтому каждый случай с полярными оценками отдельно рассматривается секцией экспертного совета.

Картинка: причины отказов при обычном и автоматическом назначении. Источник: РНФ

При компьютерном назначении выросло количество отказов от проведения экспертизы. Правда, если посмотреть на их причины, можно понять, что по критериям конфликта интересов и неудобных сроков это число, наоборот, уменьшилось. Да, компьютер хуже координатора знает компетентность экспертов, но зато он тщательнее проверяет аффилиации и не пропустит их по невнимательности.

«Все сталкивались с ужасными случаями»

Пока что автоматическое назначение не обязательно: любой координатор может продолжать работать вручную. Но среди ученых, заявки которых анализировали по новой методике, оказалось меньше недовольных результатом: процент возражений упал с 0,32% до 0,28%. Так что пока автоматические назначения выглядят полезным новшеством.

Однако академики, эксперты и другие участники собрания выразили различные опасения и перечислили доработки, которые улучшили бы такую систему. Во-первых, как предостерег академик Вадим Кукушкин, не нужно переходить к полностью автоматической оценке, ведь при ошибке системы или атаке на нее результаты будут сильно искажены. Во-вторых, стоит следить, как долго эксперт занимается одним проектом, и, если он постоянно задерживает ответ на целый месяц, возможно, он замедляет работу фонда, и нужно учитывать это при отборе. С другой стороны, это поможет избежать ситуации, когда человеку одновременно приходит на оценку сразу шесть-семь заявок прямо перед дедлайном. Кроме того, нужно уточнять информацию о самих экспертах — их кодах классификаторов, ключевых словах, возможно, оставить тонкую настройку для разных рубрик. Не решен пока вопрос о «злых» и «добрых» проверяющих. Однако в планах фонда — разработка системы учета поведения экспертов, чтобы сделать оценку еще объективнее.

Большой — и пока нерешенной — проблемой сегодня можно назвать размер экспертного пула. В базе РНФ сейчас пять тысяч российских и 1,5 тысячи зарубежных рецензентов. Не все из них активны и имеют выдающиеся научные достижения. Фонд регулярно приглашает к экспертной деятельности руководителей поддержанных проектов, но даже при таком подходе экспертов недостаточно, поэтому сейчас перед РНФ стоит дилемма: или набирать практически всех желающих, удовлетворяющих формальным признакам, или остаться с нехваткой рецензентов, которым приходится очень много работать (а из-за нагрузки может расти частота ошибок). Конечно, эксперту можно сделать замечание или даже лишить его этого поста, но система отбора новых рецензентов, скорее всего, нуждается в модификации.

Однако, по словам главного научного сотрудника НИУ «Московский энергетический институт», председателя экспертного совета по научным проектам, академика РАН Александра Клименко, главной цели система автоназначения все же достигла. 

«В 2017-м все жаловались: вы говорите об объективности, о том, что все в "ажуре", но у конкретных людей колоссальная власть. Они могут утопить любую заявку или провести заявку "в дамки". Что-что, а эту претензию мы снимем во многом», — резюмировал он.

https://indicator.ru/humanitarian-science/o-novoi-sisteme-naznacheniya-ekspertov-v-rnf.htm?utm_source=indifb&utm_medium=social

http://rscf.ru/ru/node/novoy-sisteme-naznacheniya-ekspertov-v-rnf