Предложения для РНФ
Коллеги, напоминаю, что перед ОС ОНР мы получили письмо от РНФ, в котором говорится о готовности сотрудничать с ОНР, в первую очередь по двум направлениям: разработка Кодекса этики эксперта и процедуры автоматического назначения экспертов (они тесно связаны с наполненностью классификатора РНФ). Хочется активизировать обсуждение, поэтому ниже еще раз приводится это письмо от РНФ. Этический кодекс обсуждается в другой ветке, (она тонет, поэтому можно обсуждать и здась). Вот письмо от РНФ. Просьба не стесняться выступать с предложениями.
Российский
научный
фонд
ул. Солянка, д. 14, стр. 3. Москва, ГСП·2. 109992
19.05.2017 №02-02/599
на №17-03 от 16.05.2017
Об обращении ОНР Сопредседателю Совета ОНР
А.Л. ФРАДКОВУ
Уважаемый Александр Львович!
По представленным Вами вопросам сообщаю:
Процедура экспертизы заявок описана в Порядке проведения экспертизы
научных, научно-технических проектов и программ. Первый этап экспертизы
заключается в оценке представленных материалов заявок экспертами Фонда и
подготовке ими экспертных заключений по каждому проекту. Ответы на вопросы
экспертной анкеты оцифровываются, по согласованию с экспертным советом или
с его бюро Фонд утверждает как форму анкеты, так и распределение баллов в ней.
Смысл балльной оценки заключен исключительно в том, чтобы в итоге первого
этапа экспертизы сформировать перечень проектов, выносимых на экспертизу
панелей экспертного совета. В указанный список включаются проекты,
набравшие максимальные баллы, при этом число таких проектов, как правило, не
менее чем троекратно превышает прогнозируемое исходя из финансовых
ограничений Фонда число победителей того или иного конкурса. Именно с таким
перечнем проектов на втором этапе работают и принимают окончательное
решение экспертный совет и его панели. Они вправе учесть мнения экспертов
первого уровия, но могут И перераспределить итоговые рейтинги заявок.
Ключевым вопросом обоснованности решений экспертного совета является
научная репутация его членов. Именно экспертный совет по закону наделен
правом принять окончательное решение о перечне победителей. В этом смысле
баллы, полученные заявками на первом этапе экспертизы, выполняют
исключительно техническую функцию по формированию перечия заявок,
допущенных ко второму этапу экспертизы.
Фонд действительно сообщал в 2014 году заявителям результаты
экспертизы их заявок в баллах, но впоследствии столкнулся с многочисленными
вопросами типа «а как же я не победил, если у меня высокие баллы». Несмотря
на публичные разъяснения процедуры, такие вопросы не прекращались. В этой
связи было принято решение баллы из состава раскрываемой заявителям
информации исключить.
Фонд, безусловно, обладает информацией по распределению баллов по
всем заявкам, но, в связи с вышесказанным, такая информация физического
смысла не имеет.
2
Что касается распределения экспертов по кодам, то каждому коду
соответствует от 2 до более чем 250 экспертов. Понятие «основного» кода не
существует, все регистрируемые экспертом коды равноценны. Фонд планирует
осуществить мероприятия по верификации кодов экспертов на этапе их
одобрения экспертным советом. Фонд отмечает, что малое количество экспертов
имеется только в некоторых кодах, по которым Фонд до настоящего времени не
получал ни одной заявки. Тем не менее, системной проблемой является
относительно малое количество экспертов по медицинским наукам. Фонд
осуществляет постоянный набор экспертов, процедура и условия набора
опубликованы. Вместе с тем Фонд с сожалением отмечает, что в последнее время
интерес к вхождению в состав экспертного корпуса Фонда снизился.
Фонд ведет работу по введению автоматического распределению заявок по
экспертам, при этом нам следует минимизировать риски обоснованных отказов
экспертов от проведения экспертизы. В этой связи Фонд заинтересован в
направлении в наш адрес предложений по детализации алгоритмов машинного
распределения.
По итогам экспертизы заявителям предоставлено право обжаловать
экспертные заключения экспертов Фонда. Несмотря на их сравнительно малое
число таких рекламаций (не превышает 1 % числа экспертиз) Фонд проводит
«разбор полетов» по каждой жалобе и иногда соглашается с доводами о низком
качестве экспертизы. Фонд отмечает, что иногда эксперты Фонда используют
недопустимые аргументы в своих заключениях, иногда - аргументы, которые
никак не могут относиться к существу вопроса, в некоторых случаях эксперты
излишне эмоциональны, что также наносит ущерб качеству заключения. В этой
связи Фонд планирует разработать Кодекс или Памятку для эксперта и готов к
обсуждению конкретных предложений. Фонд будет признателен за
предоставление информации о положительном опыте в таких документах,
который имеется у российских или зарубежных грантодателях.
Отмечу, что по закону о Фонде ключевые решения принимаются
попечительским советом Фонда и часто согласуются с его экспертным советом.
Поскольку правление Фонда выносит на рассмотрение советов конкретные
формулировки в конкретные документы, Фонд заинтересован в предельно
конструктивном сотрудничестве с научным сообществом, предполагающем
направление в наш адрес текстовых поправок в конкретные пункты документов
Фонда. В этом смысле Кодекс (Памятку) нам предстоит сделать как
совершенно новый документ.
С уважением,
Заместитель генерального директора С. Лебедев
5 комментарии
Предложения в кодекс эксперта - для критики
Вот некоторая сборка для кодекса эксперта, собрано по инициативе А. Л. Фрадкова из разных документов: правила для рецензента, подготовленные международным комитетом по публикационной этике (Committee on Publication Ethics -(COPE), документы РНФ, http://sovet-po-nauke.ru/info/31012017-expert_evaluation, и обсуждения на сайте ОНР
Собственно предложения:
Эксперт должен:
1. отказаться от подготовки экспертного заключения, если он не согласен с правилами, принятыми в Фонде;
2. отказаться от проведения экспертизы, если есть какие-либо обстоятельства, препятствующие сформировать справедливую и беспристрастную оценку проекта;
3. если недостаточно хорошо знает предмет исследования, прямо заявить об этом до начала процесса экспертизы;
4. рецензировать только те работы, которые не попадают в категорию потенциального конфликта интересов; заявлять обо всех возможных конфликтах интересов (связанных с личными, финансовыми, интеллектуальными, профессиональными, политическими или религиозными интересами) и отказаться от проведения экспертизы, если он:
– состоит в трудовых отношениях с организацией-заявителем, в трудовых или гражданско-правовых отношениях, в которой состоит, по крайней мере, один из основных исполнителей рассматриваемого проекта;
– состоит или состоял в близких родственных отношениях с одним из основных исполнителей рассматриваемого проекта;
– является научным руководителем одного из основных исполнителей проекта либо имеет совместные научные работы (публикации) с одним основных из исполнителей рассматриваемого проекта за два года, предшествовавших дате объявления конкурса;
– является участником представленной для участия в конкурсе заявки, потенциально способной конкурировать с рассматриваемым проектом;
- имеет какие-либо финансовые взаимоотношения с заявителем за последние 5 лет;
– имеет по иным причинам личную заинтересованность в результатах экспертизы, которая может повлиять на объективность рассмотрения проекта.
5. не соглашаться на экспертизу проекта только лишь для того, чтобы прочитать его, без намерений подготовки экспертного заключения;
6. помнить, что экспертиза должна быть объективна, конструктивна, основана на знании предметной области и здравом смысле; в экспертном заключении должна содержаться честная и справедливая оценка сильных и слабых сторон Заявки;
7. быть конкретными в своей критике и подтверждать доказательствами и соответствующими ссылками свои общие выводы;
8. соблюдать нормы академического языка, этические нормы при оценке проекта, не допускать в экспертном заключении переход на личности, унизительные персональные комментарии или безосновательные обвинения; не изображать в экспертном заключении других людей в негативном свете или необъективно;
9. не подвергать огласке никакие детали проекта и экспертного заключения, как во время процесса экспертизы, так и после подготовки экспертного заключения.
Перед началом экспертизы эксперты должны подписать юридически обязывающий документ о правилах поведения при возникновении ситуаций, связанных с конфликтом интересов.
Нарушение кодекса должно повлечь за собой:
а) запрет участия в экспертных функциях,
б) запрет участия в конкурсах грантов,
в) информирование иных Фондов о нарушении конфликта интересов конкретными персонами,
г) информирование редакций российских и, по возможности, зарубежных журналов о допущенном конфликте интересов,
д) информирование работодателя о нарушении,
е) штрафы экспертам и членам панелей
Кодекс эксперта ?
Выложили итоги конкурса РНФ для молодых и совсем ведущих лабораторий мирового уровня.
В лабораториях в медицине есть очень-очень-очень странный вариант. И при чем тут экспертиза ???
Мобильность
Как я и предсказывал мобильность в этих конкурсах убили. не без участия Совета по науке между прочим. Изначально регамент конкурса для молодежи был в плане мобильности хоть и плох, но был лучше.
Поддержано РНФ)))
Автовыбор экспертов
Другая важная тема: предложения по снижению возможности лоббирования при назначении экспертов за счет автоматического их назначения. Некоторые считают, что это невозможно. Но на крупных (1000 и более участников) международных конференциях рецензенты (reviewers) или ведущие экспертизу статьи (Associate Editors, AE) часто назначаются автоматически. При этом используются ключевые слова из стандартного (для данной конференции или для данной области наук) списка. В моей области - теории управления, например, их около 100, они составляются и утверждаются не 2-3 энтузиастами, а соответствующими комитетами всей международной организации. Это, по сути - форма рубрикатора-классификатора.
Заранее каждый автор и потенциальный рецензент выбирают по три ключевых слова: 1-го, 2-го и 3-го приоритета. При подаче статьи авторы назначают ей также три ключевых слова 1-го, 2-го и 3-го приоритета. Дальше начинаются догадки, поскольку механизм распределения скрыт. Точнее, алгоритм выбора элемента из конечного множества вариантов открыт, это стандартный генератор псевдослучайных чисел. А вот как выбрать это множество - возможны варианты и возникают вопросы. Важно, чтобы выбор был из достаточно большого множества. А что значит большого? Выбор из двоих - плохо. А из 10 - уже неплохо (по-моему). Но 10 рецензентов, у которых со статьей совпадают все три ключевых слова может и не найтись. Тогда потенциальных рецензентов надо упорядочить по близости к статье и выбирать, скажем, трех из пяти самых близких. Понятие близости наборов ключевых слов можно обсудить отдельно, но здесь большой проблемы нет, для математиков это мелкий вопрос (имеющий несколько ответов, но в первой версии программного обеспечения их можно реализовать все). Вот, собственно, и все, осталось добавить, что если заменить всюду "статьи" на "заявки", "конференция" на "конкурс грантов" и "организация" на "фонд", то суть не изменится.
Прошу критиковать и предлагать другие версии.
Страницы