15
Фев
2013

А.Л.Фрадков. БЛЕСК И НИЩЕТА ФОРМАЛЬНЫХ КРИТЕРИЕВ (Троицкий вариант, 13(122N) 12.02.2013).

Читайте также: 

БЛЕСК И НИЩЕТА ФОРМАЛЬНЫХ КРИТЕРИЕВ

А.Л.Фрадков

(ИПМаш РАН, член Совета по грантам при Правительстве РФ)

В наш век падения авторитета науки в обществе вопросы рецензирования научных работ и экспертизы научных и технологических проектов приобретают особое значение. Когда большинство в обществе, в том числе большинство лиц, принимающих решения не понимает большинства результатов деятельности ученых, возникает естественный вопрос:  а зачем нужны эти ученые, зачем нужна наука вообще?

Осмелюсь предположить, что  из немногих вариантов ответа особого внимания заслуживает следующий: наука суть способ сохранении в обществе понятий об истине и лжи, а ученые – люди, которые способны отличить истину от лжи в окружающей нас реальности. Сохранение такой группы людей в обществе, в котором ключевые слова «прогресс» и «мораль» вытеснены словом «интересы» важно, чтобы общество не потеряло стратегические и моральные ориентиры.

Но чтобы подобные уникальные качества касты  ученых не обесценивались, понимание научной истины и морали внутри группы  должно быть безупречным и очевидным для всех – иначе ученые потеряют доверие общества. Вот почему так важны понятность и безупречность процедур экспертизы -  механизмов установления научной истины.

В заметке обсуждаются проблемы критериев экспертизы на примере недавно завершенного   конкурса на продление первой волны мегагрантов. Предполагалось продлить  примерно половину из поданных заявок на продление. Критерием успешности проекта было достижение основной цели: создать за два года лабораторию мирового уровня. Но как, по каким критериям определить, достигла ли лаборатория мирового уровня?  Новый состав Совета по грантам при Правительстве РФ должен был выработать эти критерии и принять решение на их основе.

Отметим, что если прошлый состав Минобрнауки собирал Совет по грантам по статусному принципу и большинство в нем составляли академики РАН, то новый состав собирался совсем иначе. По академиям, вузам и общественным организациям было разослано письмо с предложением номинировать членов этого Совета. К кандидатам  предъявлялось всего лишь два требования: наличие авторитета в мировом научном сообществе (публикации в ведущих международных журналах, приглашенные доклады на международных конференциях, членство в редколлегиях международных журналов  за три последних года и т.п.) и отсутствие административного статуса: должности руководителя научного или образовательного учреждения или его заместителя. Было подано около 200 предложений, из которых МОН отобрало 18, примерно соответствующих 20  областям наук, определенным условиями конкурса. Вместе с председателем (министром), заместителем председателя  и представителем МОН они и составили новый Совет.

Неудивительно, что речь о критериях мирового уровня зашла на первом же заседании Совета. Удивительно то, что у собравшихся специалистов не было серьезных разногласий по ним. Это важно, потому что предстояло оценить в сопоставимых терминах 37 поданных заявок на продление из 17 различных областей наук. В основу были положены простые критерии, обсуждавшиеся ранее на сайте Scientific.ru. Эти же критерии использовались и при разработке рекомендаций экспертам  для новой волны конкурса, поэтому подробнее о них позже.

Как соединить  достоинства формальных показателей и экспертных оценок? Казалось бы, просто: каждую заявку оценивает множество независимых экспертов (в конкурсе мегагрантов два российских и два иностранных эксперта). Каждый эксперт ставит балл от 1 до 5  по каждому показателю, а затем баллы суммируются. Совету остается только упорядочить заявки по убыванию суммы баллов и выбрать для продления  первые N заявок, где N определяется либо заданным числом победителей, либо заданным бюджетом конкурса. Однако формальный подход имеет целый ряд недостатков. Основные из них:

  1. Никакой эксперт не может быть абсолютно объективным, т.е. его оценка имеет погрешность и отличается от истинной (предполагаем, что таковая существует). Значит, упорядочивание по баллам также отличается от истинного. Поэтому правильнее отобрать заявки «с запасом», т.е. имеющие не только «проходной» балл, но и «полупроходной»., и «полупроходные заявки рассматривать отдельно, анализируя оценки экспертов. При этом важно, чтобы полупроходная зона не содержала слишком много заявок, так как иначе не хватит времени на их детальное рассмотрение.
  2. Еще более опасными могут быть погрешности, порожденные необъективностью отдельных экспертов. Мы столкнулись с несколькими случаями, когда трое из четверых экспертов дают примерно одинаковые суммы баллов, а оценка четвертого  резко отличается.  Причиной может быть конфликт интересов (четвертому выгодно, или наоборот, невыгодно ставить высокую оценку). Или наоборот: четвертый эксперт нашел ошибку или слабость заявки, которую не заметили остальные.

В обоих случаях требуется детальный анализ заявки одним или несколькими членами Совета, желательно до решающего заседания.  Именно так все и происходило. Члены Совета, заметив неоднозначность оценки, вникали в заключения всех экспертов, а иногда даже смотрели саму заявку, причем не только из «своей» области знаний.  Дополнительную информацию давало мнение руководителя группы экспертов, играющего роль модератора и составляющего общее заключение по рецензиям четырех экспертов для всех проектов из данной области наук. Такое заключение может помочь Совету,  но может и внести дополнительную погрешность.  Во всех спорных случаях члены Совета обращались к первичным формальным показателям заявки, прежде всего – к публикациям. Кроме уровня публикаций оценивалась место их выполнения: если большая часть работ  была выполнена за рубежом, то  мирового уровня достигла не российская лаборатория, а зарубежная. Наконец, важную роль играла развитость инфраструктуры созданной лаборатории. Перечисленные неформальные рассмотрения дополняли формальный показатель «сумма баллов экспертов» и позволяли снизить влияние недостатков, присущих формальной экспертизе. Для продления были отобраны 24 проекта, причем, чтобы уложиться в допустимый объем финансирования сумму, выделяемую на каждый грант,  уменьшили на 10%.

В ходе работы произошел следующий казус, поучительный для  дискуссии о соотношении формальных показателей и  экспертных оценок. Перед итоговым заседанием Совета аналитическая группа МОН подготовила ведомость оценок и заключений экспертов по каждой заявке на продление. Оценки выставлялись по 10 частным критериям, разбитым на две группы. Первая группа оценивала значимость достигнутых результатов (6 критериев, в т.ч. соответствие результатов плану, уровень публикаций, уровень выступлений на конференциях, кадровый состав лаборатории), а вторая группа - перспективность дальнейших исследований по проекту (4 критерия, в т.ч. актуальность, достижимость целей и т.п.). Каждому частному критерию соответствовал вес, в которым значение критерия входит в итоговую. В первой группе у первых двух критериев был вес по 30%, а у оставшихся – по 10%, а во второй группе веса всех частных критериев были по 25%. Далее, вклад первой группы умножался на 0.7, а вклад второй группы – на 0.3. На предыдущем заседании Совета веса обсуждались, менялись, а в одном случае даже голосовались. Так вот в первом варианте подготовленной ведомости оценок, разосланном членам Совета накануне по недосмотру все веса были взяты равными и именно этот вариант использовался нами для анализа. Однако потом ошибка была исправлена и за 2-3 часа до заседания была разослана исправленная ведомость, которая раздавалась и на самом заседании. Так вот курьез заключается в том, что изменение весов практически не повлияло на порядок  расположения заявок в списке по убыванию рейтинга! Сами итоговые суммы, конечно, изменились, а вот порядок остался практически тем же, за исключением 2-3 <<полупроходных>> заявок, которые все равно бы рассматривались на заседании.  На мой взгляд эта история подтверждает вывод, в котором я был убежден и раньше: если формальные критерии разумны, то и результат они дадут объективный, слабо зависящий от того, какой субъективный вес назначат им эксперты.

Параллельно с оценкой проектов на продление нам приходилось обсуждать и принимать правила и критерии для нового конкурса (третьей волны) мегагрантов.  Здесь возникают те же проблемы, но, поскольку конкурс еще не начался, была возможность заранее принять меры, чтобы правила, по которым  эксперты будут выставлять свои оценки (они лежат в диапазоне от 1 до 5) были сопоставимы для различных наук. Для этого было решено по каждому критерию выдать рекомендации, в каких случаях эксперт должен ставить высший балл. На первый взгляд, такая задача неразрешима: единые рекомендации для разных наук выдать нельзя. Судите сами, в какой мере мы справились с задачей.

Было установлено еще на прошлых конкурсах, что критерии оценки заявки делятся на три группы [1]:

1. Уровень ведущего ученого

2. Уровень (качество) заявки

3. Уровень подготовленности принимающего коллектива.

Такое деление разумно, поскольку оно выделяет три ключевых, независимых между собой фактора успеха будущего проекта. В первой группе три частных критерия:

  1. Уровень научных публикаций. По нему оценку «5» предлагается ставить при обязательном  выполнении двух условий:

1) ведущий ученый за последние 3 года ежегодно публикует не менее 1-2 статей в ведущих международных журналах;

2) ведущий ученый имеет индекс цитируемости или Н-индекс не менее 40% от показателей лидеров по данной области науки.

Заметим, что определение того, является ли журнал ведущим и какова цитируемость лидеров в данной области наук полностью отдается на откуп экспертов. Для ориентировки экспертов мы предложили ориентироваться на список ведущих журналов, принятый при расчетах стимулирующих выплат в МГУ и содержащий верхние 25% журналов по импакт-фактору из числа индексированных Web of Science,  а также все журналы из базы Thomson Reuters Arts & Humanities Citation Index [2].

  1. Опыт ведущего ученого по руководству научным коллективом. Здесь оценка «5» ставится, если  выполнены хотя бы 3 из следующих 4 требований:

1) ведущий ученый создал хотя бы один международный научный коллектив и управлял его деятельностью в течение хотя бы 5 лет;

2) ведущий ученый в течение не менее чем 5 лет руководил хотя бы одним международным грантом или проектом;

3) ведущий ученый управлял  деятельностью хотя бы одного национального научного коллектива в течение хотя бы 5 лет;

4) ведущий ученый руководил  хотя бы двумя крупными национальными грантами или проектами в течение не менее чем 5 лет.

1.3. Опыт и возможности ведущего ученого по подготовке научных и педагогических кадров. Оценка «5» ставится, если ведущий ученый за последние 7 лет руководил не менее, чем тремя аспирантами (PhD students), два из которых успешно защитились.

Во второй группе четыре частных критерия:

  1. Актуальность планируемых научных исследований
  2. Достижимость заявленных результатов в предложенные сроки и заявляемыми методами
  3.  Соответствие запрашиваемого финансирования поставленным целям, качество проработки сметы проекта
  4. Перспективный облик лаборатории, создаваемой в организации в рамках проекта, через 3 года

 Здесь нам не удалось дать количественных рекомендаций и они остались на качественном уровне, так, как были предложены министерством [1]. 

В третьей группе пять критериев: 

3.1. Публикационная активность коллектива участников заявляемого проекта

3.2. Имеющаяся у коллектива участников заявляемого проекта научная инфраструктура

3.3. Адекватность принимаемых организацией обязательств по созданию лаборатории

3.4. Кадровый состав организации

3.5. Роль лаборатории в решении задач организации по ее инновационному развитию

Удалось квантифицировать только критерии 3.1 и 3.4, а именно:

По 3.1 оценка «5» ставится, если выполнены хотя бы 3 из следующих 4 требований:

1) коллектив за последние 3 года ежегодно публиковал не менее 4-6 статей в международных журналах;

2) коллектив за последние 3 года ежегодно представлял не менее 3-5 докладов на важнейших международных конференциях;

3) коллектив имеет в своем составе участников с индексом цитируемости или Н-индексом не менее 60% от показателей лидеров по данной области науки в России;

4) коллектив планирует за два года проекта иметь не менее  4-6 статей, опубликованных или принятых к печати в международных журналах, индексированных в Web of Science или Scopus, в том числе статьи в ведущих международных журналах

По 3.4. оценка «5» ставится, если выполнены хотя бы 3 из следующих 4 требований:

 1) наличие в составе коллектива не менее 20% молодых ученых и  аспирантов;

2) наличие в составе коллектива не менее 30% участников, опубликовавших за последние 3 года не менее трех статей в международных журналах, индексированных в Web of Science или Scopus;

3) наличие в составе коллектива участников, имеющих опыт руководства грантами, государственными и хоздоговорными контрактами;

4) наличие в составе коллектива участника, имеющего опыт административного руководства научным коллективом (лабораторией, кафедрой)

Легко видеть, что критерии этой группы требуют, чтобы у принимающего коллектива был определенный уровень, чтобы передовые научные идеи, брошенные в эту почву, смогли взрастить лабораторию мирового уровня за 2-3 года. Конечно, далеко не каждый коллектив готов к решению такой задачи: у существенной части группы должен иметься хотя бы минимальный опыт работы на мировом уровне. Как сказал один из членов Совета по грантам «Нельзя приглашать Гуса Хиддинка тренировать дворовую команду». Это мы и пытались формализовать, хотя бы частично.

После выставления всеми экспертами оценок они будут просуммированы с  заранее зафиксированными коэффициентами и дадут формальный показатель качества (балл) заявки. Для принятия решения Совет будет рассматривать, кроме этого числа, еще рекомендацию руководителя группы экспертов по области наук, в сомнительных случаях обращаясь к самой заявке.

Подводя итог, хочется еще раз подчеркнуть, что для объективной экспертизы недостаточно использовать только формальные показатели, также как недостаточно использовать и только экспертные оценки, причем во всех областях наук.  В вечном споре о том, как правильнее решать: по формальным критериям или по экспертным оценкам нет победителя. Первый опыт работы нового Совета по грантам это еще раз подтвердил. Правильное решение должно основываться на разумной комбинации обоих подходов. При этом важно, чтобы на последнем этапе решение принималось, по возможности, не голосованием, а консенсусом и слабо зависело от выбора коэффициентов на предыдущих этапах.  Вопрос в том, удастся ли эти принципы реализовать, когда выбирать придется не из сорока, а из нескольких сот заявок. Ясно, что даже если рассматривать внимательно только «полупроходные» заявки, это потребует серьезных усилий и затрат времени членов Совета. Хочется надеяться, что Совет справится.

ССЫЛКИ

  1. Порядок проведения конкурса мегагрантов (3-я волна) http://www.p220.ru/contest/2012/konkurs.ppt
  2. Список Топ-25% журналов по критерию импакт-фактора по версии Thomson Reuters http://istina.imec.msu.ru/statistics/journals/top/

7 комментарии

1 / 1
критерии

Положительно (!): детально описан механизм критериев оценки, исключены административные работники из жюри, показано, что качественные оценки важнее значений индексов для конкретных критериев.

Критика: не годится для ряда областей. Например для изучения биразнообразия (консервация биоразнообразия). За два года не воспитать коллектив специалистов по идентификации видов животных и растений. Такой подход использован для стран Африки международными спонсорами. Основная статья расходов - визитирующие на ограниченный срок международные эксперты по биразнообразию. Формально всё идеально. На деле -  эти коллективы рассыпаются после окончания грантов, поскольку лаборатория не может себя поддержать, там нет реальных специалистов.

1 / 1
И все же мега - это зло

Объем работы, проделанной экспертами, конечно вызывает трепет. Честно говоря, где-то к середине текста мозг перестал воспринимать этот поток критериев успеха. Но опыт интересный конечно, и надеюсь будет полезным.

Меня конечно подмывает напомнить, что в предложенной мною схеме финансирования требуются намного меньшие усилия экспертов при не меньшей степени объективности. Увы, это осталось непонятым. 

Я всегда говорил, что мегагранты - зло (хоть мы и не можем его отменить).

В связи с этим вопрос к уважаемому автору: а каков получился научный выход на каждые 150 миллионов финансирования? Скажем, если грубо считать по публикациямм, помноженным на индексы цитирования?

 

1 / 1
кредит на импакт?

Ваше предложение внешне безукоризнено. Берешь кредит - пишешь статью в импактный журнал. Кредит - импакт, кредит - импакт... Слабость открывается, когда вспоминаешь, как наши граждане легко берут кредиты и как трудно отдают. Если за двухстраничную басню дают миллион, то за ним будет стоять длинная очередь. Есть ли уверенность, что все победители напишут обещанные статьи (точнее, напечатают)? У меня нет. И как наказывать штрафников? Не знаю. Хоть мегагранты и зло, отбор заявок гораздо более строгий. Если вместо мегагрантов будут миди-гранты (или тысяча лабораторий), а строгость отбора будет как на мегагрантах, то таким победителям доверия больше. Отвечая на Ваш вопрос: Научный выход от мегагрантов, наверное, пока еще никто не считал, и индексы цитирования их статей не скоро будут известны.  Но где гарантия, что другие правила дадут лучший результат?

Добавлю еще о слабых сторонах Вашей схемы (сильные Вы уже отмечали): А) трудно определить срок окончания каждого проекта, поскольку трудно спрогнозировать срок выхода публикации, особенно в престижном журнале; В) возможность свободно тратить деньги нам Минфин вряд ли даст; С) полная замена экспертных критериев успеха формальными для многих наук неприемлема (об этом-то и написана обсуждаемая заметка). Но все-таки попробовать Вашу схему, наверное, стоит!

1 / 1
На все эти вопросы есть ответы

 

Александр Львович, спасибо за добрые слова. На все Ваши вопросы есть простые ответы, причем при желании ответы можно усовершенствовать дальше.

Если за двухстраничную басню дают миллион, то за ним будет стоять длинная очередь.

В моей схеме возможность отчитаться ерундой минимальна. Журнал с высоким  импактом не примет ерунду, а за публикацию с низким импактом плата пропорционально низкая. Например, чтобы отчитаться за 150М мегагрант, потребовалось бы 5 статей в Nature или Science, или 15 статей в таком неслабом журнале, как PNAS (Proc. Natl. Acad. Sci. USA).

(замечу, что яписал схему исходя из реалий life sciences - фундаментальной науки в с малыми группами. Вероятно, она не всем подойдет. Не всем физикам, прикладникам; но для биологов и химиков будет в самый раз)

Есть ли уверенность, что все победители напишут обещанные статьи (точнее, напечатают)? У меня нет. И как наказывать штрафников?

Уверенность есть. Мое исходное решение в том, что злоупотребить системой можно только раз. Не оправдал кредит - никогда не сможешь воспользоваться системой вновь. Если, как предполагаю, эта система привлекательна - этой возможностью будут дорожить. Кроме того, все,  чем рискует грантодатель - это полугодовое финансирование. И маловероятно, что желающих соскочить будет много. Дополнительно, возможно занесение в черные списки других грантовых схем.  С другой стороны, давайте посмотрим, как дело обстоит с неоправданием финансирования в существующих схемах. Формально, его нет. Фактически, во многих грантовых схемах (например, гранты МОН) учитывается количество статей, а не их качество. Отчитываются публикациями в третьесортных отечественных журналах, где цена статье - копейка. То есть - неоправдание средств сейчас чаще правило, чем исключение.

Добавлю еще о слабых сторонах Вашей схемы (сильные Вы уже отмечали): А) трудно определить срок окончания каждого проекта, поскольку трудно спрогнозировать срок выхода публикации, особенно в престижном журнале;

Здесь и плюс и минус. Плюс: работа заканчивается в естественный срок и не привязана к срокам грантового финансирования. То есть, не надо публиковать недоделанную работу к сроку оконнчания гранта. А если тебе удалось сработать быстрее, лучше, чем предполагалось, то сразу и получи больше. (И это должно хорошо стимулировать.) Минус получается для ученых: действительно, иногда процесс публикации долог. Если это проблема большая, то можно еще придумать, что с этим делать.

В) возможность свободно тратить деньги нам Минфин вряд ли даст;

Да, это проблема. Но за это нужно бороться, хоть шансы и малы. Всяческие ограничения на трату денег, привязка к концу года, сильно вредят продуктивности. Может удастся, если заинтересовать государство, причем на самом верху. Но ведь схема привлекательна для государства: гарантированный результат.

С) полная замена экспертных критериев успеха формальными для многих наук неприемлема (об этом-то и написана обсуждаемая заметка).

Я и не проповедую полную замену. 50 на 50 формальные критерии и мнение экспертов.  И эта пропорция обсуждаема.

И вот еще какая есть проблема. Я хотел коротенько выступить на собрании ОНР, даже не с этой схемой финансирования (поскольку де факто ОНР ее не поддержал), сколько с изложением предпосылок, которые к ней подталкивают.

Это называлось бы "Необходимые условия для эффективных исследований высокого уровня в биологии".

Я послал это предложение на onr@onr-russia.ru, а также редактору (с сайта), но никакой реакции не получил.

1 / 1
Увы.

Я послал это предложение на onr@onr-russia.ru, а также редактору (с сайта), но никакой реакции не получил.

Редактор Ваше сообщение не получал.

1 / 1
Уважаемый редактор!

Так куда же еще можно посылать? Других адресов не предлагали.

Вот копия моего письма на onr@onr-russia.ru от 14 февраля, из папки "отосланное" моего почтовика.

Уважаемые коллеги,

Я хотел бы участвовать в собрании ОНР 27 февраля, очно.

Также я хотел бы выступить с кратким докладом на тему "Необходимые условия для эффективных передовых исследований в биологии (и других науках)"

1 / 1
Виталий Владимирович,
Виталий Владимирович,
 
Письма на этот адрес приходят к сопредседателям.
Я получал письмо, предварительно записал Вас в список выступающих.
Окончательный список появится вместе со следующей версией программы
ближе к 25-му. Но судя по всему времени хватит на всех желающих.
Возможно, будем уточнять регламент. Прошу прощения, что не сообщил сразу.
Кстати, больше я ни от кого электронных  писем с просьбой о выступлении не получал.

 

Страницы