03
Фев
2020

Методика расчета результативности по ГЗ

Министерство опубликовало методику расчета "Комплексный балл публикационной результативности". В 2020 году результативность выполнения ГЗ у научных организаций будет рассчитываться по описанным правилам.

Сейчас данный документ активно обсуждается: 11 февраля будет обсуждение на Президиуме РАН. Совет ОНР также формулирует свое мнение по данному вопросу. Методика довольно громоздкая и тяжелая для восприятия, но мы просим коллег присоединиться и высказываться по основным принципам: к чему, на Ваш взгляд, приведет подобный учет публикаций?

1 / 0
Здравствуйте, может быть,

Здравствуйте, может быть, теперь журналам ВАК, проиндексированным в Web of Science или Scopus, включать в переводную версию все статьи из русскоязычной?  Степени кандитатов и докторов наук утверждаются ВАК, гос. язык - русский. И всего 0,5 балла за варинт на русском. Если статья принята в печать, то зачем устраивать дополнительный отбор на стадии перевода? 

То небольшое количество долларов за переводную публикацию можно перестать выплачивать, или выплачивать только молодым совторам.  Непроиндексированным журналам ВАК надо индексироваться. 

Во многих зарубежных журналах, начиная с квартиля Q3, надо оплатить 1000$  Если установлен плановый показатель КПБР = 20  - это 7 статей Q3 - 7000$ - 0,5 млн. руб.  Между тем, финансирование на это не выделяется. 

В журналах ВАК публикация бесплатна.

1 / 0
От меня ускользает смысл

От меня ускользает смысл Ваших вопросов.

Тут косвенно оценивается качество статей. Я, пожалуй, соглашусь, что если журнал не индексируется нигде, кроме списка ВАК, то с чего бы высоко оценивать публикацию в таком журнале? Особенно, если у нас декларируется цель к 2024 г. выйти в топ-5 на глобальном уровне. Ранжирование должно быть, тут все логично.

Гонорары за переводные версии статей уже довольно давно никто не выплачивает, насколько мне известно. Если и есть еще где-то - это, скорее, лишняя проблема, чем доход.

Публикации в большинстве рецензируемых научных журналов бесплатные. Есть и возможность оплатить открытый доступ, но это не является непременным условием и опционально. Конечно, есть издательства и журналы, специализирующиеся только на открытом доступе и проводящие довольно агрессивную политику, но это уже другая история.

0 / 0
Наверное, речь не о том

Наверное, вопрос состоит в том, что есть журналы, которые переводятся не полностью.  То есть не все статьи попадают в переводную версию, и, тем самым, далее не индексируется. Например, не знаю, как сейчас, но раньше так было с журналом "Физическая мезомеханика". Только это никак не было связано с рейтингами, баллами, и так далее, а политикой редакции и отношениями с издательством, где издается переводная версия. 

По поводу платных журналов открытого доступа, такой тренд есть, особенно в условиях прессинга, люди выбирают такое решение проблем публикационной активности. Но на мой взгляд, платить за это, только тратить деньги на ветер. Если, конечно, это не супер топ журналы.

Да и в общем все это обсуждалось много раз и, судя по всему, будет обсуждаться и далее. 

0 / 0
Да, в общем, год назад на

Да, в общем, год назад на форумах ОНР с возмущением обсуждалась идея оценки деятельности по баллам за публикации. За год ничего не изменилось. 

0 / 0
Достижение цели выйти в топ

Достижение цели выйти в топ отчасти зависит от количества публикаций в WoS. Почему бы не переводить все статьи из русскоязычной версии? 

0 / 0
переводить статьи

Вы имеете в виду какие-то конкретные журналы? Большинство экс-МАИКовских журналов и так переводятся "номер-в-номер", а некоторые даже русскоязычные имеют свой импакт-фактор (например, "Зоологичекий журнал" - все русские статьи есть в WoS). Да, некоторые журналы переводятся выборочно а некоторые и вовсе "вылетают" несмотря на свой авторитет (как "Паразитология"). Но здесь не стоит забывать, что издание журнала - это бизнес, и очень прибыльный (как показывает история "Плеяд"). Но для этого, как правильно тут говорит Виктор Анатольевич - нужна и работа редакций. А вот с этим довольно сложно. 

0 / 0
По-моему эта "Методика..."

не лишена некоторой логики. Например, введён коэффициент по числу мест работы. Не секрет, что благодаря активной скупке ВУЗами аффилиаций возникла дикая ситуация по 3-4-5 мест работы у автора. Т.о., выходит, что 1 статьёй отчитывается сразу несколько организаций (даже если абстрагироваться от ещё пары-тройки грантов). Что, конечно, совсем уж нехорошо. 

Но вот "дьявол кроется в деталях" - в Таблице 2. Вроде как Q1 почти в 40 раз "ценнее" чем журнал ВАК. Но вот много ли учёных пишут "в одно лицо" таких статей? А наличие несколькоих соавторов здорово снижает баллы организации.

Не понятно, почему "обидели" журналы Q4 приравняв их к «обычному» Q. Cовершенно понятно, что это всё «чистилище» из ESCI, которое по «помоечности» сильно опередило Scopus.

Чтобы никого не обидеть - не буду высказывать свои мысли кем и в угоду кому были разработана такая странная «Методика…» и как она прошла тайное предновогоднее согласование в РАН. Но её применение нанесёт несомненный вред для дела исполнения поручения В.В.П. об увеличении числа публикаций в международных базах данных и вхождения РФ в топ-5 стран.

 

0 / 0
Не совсем так.

Если  все  сотрудники  из одной  организации   и  нет      двойных   аффиляций   -  все   уйдет в   организацию,  там  же  есть  суммация  по  авторам.   Посему     если    есть  статья  из   10   соавторов из  института в  Q1  и статья  с  одним  автором в  ВАК   -  разница    для  института     будет все  равно   в   40   раз.   

0 / 0
Пётр Андреевич,

да, конечно, для организации разницы нет - лишь бы Q1 был "внутри". Я сам особо писать не люблю - но люблю читать. И, по крайней мере в биологии, подавляющее большинство публикаций в приличных журналах - это большие коллаборации, как правило ещё и международные. А вот любые коллаборации по "Методике" - как раз и есть большое зло. Поэтому совершенно логично что для выполнения "плана по валу" проще всего для администрации будет простимулировать написательства именно кВАКов. Т.к. странно ожидать существенного роста топовых статей: кто работает - тот и так работает почти на пределе. 

Но в этой "Методике" есть и более смешной момент - для слишком активных "писателей" вводится "деприссионный" коэффициент. Вот это совсем весело - так и представляю как приходит чиновник и говорит: "выключайте свои ускорители - мы уже выполнили план по статьям".

1 / 0
Напрашивается предложение

1. Исключить из "Методики" подсчет иностранных соавторов в числе соавторов статьи. 

2. То же самое сделать для соавторов, неаффилированных с оцениваемой организацией. 

3. Отменить верхнюю границу по статьям. Но при этом сделать это так, чтобы перевыполнение плана не влекло автоматическое увеличение плана на следующий год.

0 / 0
а тогда

это будет практически та же методика, что до этого и была. А от неё, в сторону "учёта пожеланий" вроде как и было решено отойти. По крайней мере так А.Р.Хохлов объяснил https://www.facebook.com/permalink.php?story_fbid=881430852273627&id=100012201617152

1 / 0
Ну тогда надо ждать новой методики :)

Трудно предположить, что на этой методике все успокоится. Тогда надо расслабиться, и ждать новой. Старая не устраивала, "по просьбам трудящихся", ее "улучшили". Ну потом улучшат снова. Тот же Хохлов написал, что методика практически полностью соответсвует предложениям РАН. Только там нет про поддержку журналов. Ну вот журналы поддержат, однако, на мой взгляд, большого толку от этого не будет. 

0 / 0
Положительный момент

В тексте А.Р. Хохлова есть очень здравое положение (конкретно, п.2), все статьи для госзадания организации защитываются, в том числе со ссылкой на гранты (по крайней мере РФФИ и РНФ). Таким образом не возникает необходимости писать отдельно статьи по госзаданию и грантам, что, вообще говоря, бред какой-то. Иначе возникала ситуация, когда иметь гранты невыгодно, потому что может не хватить здоровья выполнить госзадание и соответственно лишиться надбавок - тогда зачем эти гранты и не нужно нам на Таити. Кто подавал на гранты из развитых стран в курсе, что обычно один из ворпосов - а есть ли у тебя деньги в принципе и какой шлемазл их вам дал - если нет, то мы будем заявку еще более внимательно смотреть  Что касется добавления суммы грантов  в знаменатель общего финансирования, то это нормально - в любом случае эта доля невелика, а так то выглядит справедливо (для бюджетных фондов, конечно).

0 / 0
Методика расчета КПБР - комментарий

Как видно из рассматриваемого документа, «Методика разработана Минобрнауки России в рамках исполнения подпункта «д» пункта 2 перечня поручений Президента Российской Федерации от 29 декабря 2018 г. № Пр-2558 по итогам заседания Совета при Президенте Российской Федерации по науке и образованию 27 ноября 2018 года» об установлении единых требований к порядку формирования и утверждения государственного задания на проведение за счёт бюджетных ассигнований федерального бюджета фундаментальных, поисковых и прикладных научных исследований.

 

            Вместе с тем, в подпункте «б» пункта 1 вышеупомянутого перечня поручений Президента Российской Федерации сказано следующее:

«разработать единые критерии проведения экспертизы и оценки результатов фундаментальных, поисковых и прикладных научных исследований, осуществляемых за счёт бюджетных ассигнований федерального бюджета, предусмотрев, что такие критерии позволят сопоставлять эффективность расходования бюджетных ассигнований федерального бюджета и будут применяться к указанным исследованиям независимо от инструментов их финансирования и ведомственной принадлежности организаций, осуществляющих исследования».

 

Поскольку финансирование фундаментальных, поисковых и прикладных научных исследований, осуществляемых за счёт бюджетных ассигнований федерального бюджета, выделяется как для выполнения государственных заданий Минобрнауки России, так и для реализации проектов, поддерживаемых Российским фондом фундаментальных исследований (РФФИ) и Российским научным фондом (РНФ), при расчете «Комплексного балла публикационной результативности» (КПБР) целесообразно учитывать весь пул публикаций по итогам работ, поддержанных Минобрнауки, РФФИ и РНФ.

 

В этом случае методика расчета КПБР будет соответствовать «духу и букве» перечня поручений Президента Российской Федерации от 29 декабря 2018 г. № Пр-2558, что позволит преодолеть ведомственную разобщенность, недавно отмеченную в отчете Счетной палаты о результатах «Стратегического аудита формирования и достижения показателей деятельности федеральных органов исполнительной власти, руководство деятельностью которых осуществляет Правительство» за 2017-2019 г.г.

 

            Специфика научных исследований связана с тем, что нередко идеи и технологические решения, возникшие в рамках проекта, поддержанного одним из «инструментов финансирования», в дальнейшем служат основой для развития следующего проекта, поддерживаемого другим «инструментом финансирования». Наиболее интересные научные результаты, как правило, достигаются совместными усилиями специалистов, работающих в разных областях науки и обладающих взаимно-дополнительными компетенциями. Не случайно, публикации в высокорейтинговых международных научных журналах практически всегда содержат благодарности за поддержку множественными источниками финансирования.

 

            Предлагаемое изменение методики расчета КПБР будет способствовать достижению национальных целей и стратегических задач развития Российской Федерации на период до 2024 года, предусмотренных Указом Президента Российской Федерации № 204 от 07.05.2018 г.

0 / 0
Опять же где там подсчет иностранных соавторов ?

Там  просто      коэффиициент   для  Q   у  автора  (ФИО)  делится    на  число  соавторов.  И    потом   все  авторы  из  одной  организации    складываются.   В  итоге  все      из  одной   конторы  -  получаем  чистый  Q.   Один   в  окружении     99  соавторов  -     получи   для  института  1\100  Q.  А  если   у   тебя   две  аффиляции  -   1\200. 

Вот   тут как  раз  главный  изьян      методики   -  нет    роли      главных  авторов,    все  равны.  А    так    не   бывает ...

0 / 0
Иностранцы и калькулятор

Это было в ответ на то, что часто лучшие статьи делаются в международной коллаборации, и что "Методика" не способствует такой коллаборации. Поэтому я предложил исключить иностранцев из числа соавторов, чтобы поощрить такое сотрудничество. 

У нас (на нашем факультете в Гданьске) за статьи дают премии. С этого года ввели повыщающий (маленький) коэффициент к премии, если статья с иностранцами. Правда ограничили число статей. Опять же не всех категорий. В общем, только приспособился к одним формулам, получили другие.

Кроме того, администрация распространила калькулятор подсчета баллов (MsExcel), чтобы сотрудники поупражнялись и приготовились к карам. Ну а завкафедрой на основе этого каждый квартал упражняется в подсчете баллов у сотрудников. 

Так что такой вот калькулятор бы сильно помог для такой методики. Чтобы не каждого заставлять считать. А потому кому-то проверять посчитанное.

0 / 0
Какой "депрессионный" коэффициент ?

На    самом  деле  методика   стимулирует  именно    писание в  журналы  Q1-Q2    -    уже  есть   калькулятор   для  прикидки   прироста необходимого     числа     статей   для  выполнения    планов     и  вот    он  активно  реагирует  только    на  первые  два  квартиля.  Все  остально      не   эффективно. 

2 / 0
я так понял

из формул с.10-11 - если организация достигла некоего "среднего по больнице" то смысла дальше наращивать баллы нет - по причине "механистической логики" этого документа: увеличение публикационной активности должно идти в рамках представленной модели. Дали деньги - определили "часы НС" - написали сколько надо статей. Более того, из логики расчётов - писать "выше крыши" ещё и вредно, ибо не получится демонстрировать постоянный и неуклонный рост КБПР (простихоссподи, это ещё худший лингвистический урод чем ПРНД).

У меня нет доступа к "Парусу" поэтому поиграть с калькулятором я не могу. Но, прикинув по своим публикациям за три года могу уверенно сказать, что для выполнения "плана по валу" кроме текущей деятельсти с не-институтскими коллаборациями, пожалуй, придётся накидать ещё и пару кВАКов. Это как раз даст эффект, аналогичный большой статье в Q2 - но с десятикратно меньшими усилиями. Здесь - как в сельском хозяйстве: невозможно с коровы получить больше молока, чем она может дать. Да, корову можно хорошо кормить, вовремя чистить стойло и даже отапливать коровник - но всё равно больше возможного ведра за дойку не получишь. А если требуют ведро-и-ковшик? Знаете, как поступают на ферме? Хлоп в бидон недостающего объёма обрата - и дело с концом. Ну а потом всегда можно объяснить: да, молоко жиденькое - зато много. За качественные показатели - пожурят, а вот за недодой - накажут. А это, как говорят в Одессе: "две большие разницы".

1 / 1
Последняя фраза особенно

Последняя фраза особенно хорошая. И как бы сделать акцент, что количество публикаций и цитирований в международных базах данных не свидетельствует о величии науки в какой-либо стране.  В каждой области известны имена выдающихся ученых. Их деятельность оценивается не по числу цитирований. Это еще по нам Крым не аукнулся, прекратили бы зарубежные журналы в печать принимать -  и сидите.

1 / 0
так-то

про топ-5 - это был сарказм. Юмор - единственный способ не сойти с ума от безумных инициатив. Я, вот, помню период когда мы "делили хлор на никель" - был какой-то показатель Cl/Ni - ну как тут не постебаться?

Но, как бы смешно это не было - правительством поставлен некий план, мы должны его как-то выполнять, ибо за это получаем зарплату от государства. И деваться тут некуда: "кто девушку кормит - тот её и танцует". 

Кстати, если быть объективным - то упомянутые вами "имена выдающихся учёных" - они как раз известны благодаря не только гениальным работам - но и хорошим публикациям. Например, и И.П.Павлов, и Н.И.Вавилов активно публиковались в международных журналах. А вот не смотря на гениальность Н.В.Тимофеева-Ресовского, как рассказывают про идею дуплекса ДНК в "зелёной тетради" - никто не прочитал.

0 / 0
Госфинансирование для науки «токсично»

считает Счетная палата Кудрина.

https://news.mail.ru/society/40492695/?frommail=1

А что предлагается для детоксикации?

1) создать систему мониторинга результативности исследовательской деятельности, etc

 

0 / 0
Может быть, юристов привлечь?

Может быть, юристов привлечь?  Почему-то за границей работают и не напрягаются по поводу финансирования. Занимаются исследованиями, публикуют статьи. Год назад ОНР обсуждало идею оценки деятельности по публикациям. Ничего не изменилось, мнение ОНР ничего не значит. Выучившиеся детишки от нас съезжают толпами - зарплата выше, жизнь спокойная. В России хорошие руководители (их много?) удерживают премиями с грантов некоторое количество научных сотрудников с окладом 13 тыс. Между тем, Счетная Палата, видимо, считает, что и этого слишком много. 

1 / 0
Давайте только не будем про заграницу

"За границей" очень даже напрягаются. Например, в Польше от каждого научного сотрудника требуется 4 статьи за 4 года с учетом соавторства. То есть если 2 соавтора, то нужны 2 статьи в год. Хорошо хоть соавторство посторонних по отношению к огранизации людей не учитывается. Глупостью (на мой взгляд) является то, что требование 4х статей распространяется на всех одинаково. независимо от должности. Про гранты я скромно промолчу.

Вопрос, однако, что делать тут. 

1. Почему бы не переводить все статьи - это вопрос к редакциям. Я вижу вполне успешно развивающиеся с нуля журналы, в то время как очень много старых "заслуженных" журналов, "почивая на лаврах", оказались выброшенными. Так что вопрос журналов - вопрос отдельный, и тут тоже обсуждался - нужны а) авторитетная редакция, б) электронная система подачи и общения с редакцией, в) сайт журнала, г) и остальное. 

2. На мой взгляд вполне очевидно что "в среднем" статья, опубликованная в первом квартиле, лучше статьи, опубликованной в каком-то безквартильном вестнике. Как минимум для этого требуется больше усилий.  Так что у предложенной методики логика есть. Местами эта логика кривовата, ну так что у нас не криво?

0 / 0
Безусловно, логика есть.

Безусловно, логика есть. Статьи в журнале Q1 говорят сами за себя. За публикации должны начисляться баллы и по ним премии, выделяемые Минобрнауки дополнительно к утвержденному финансированию. 

Но КБПР по гос.заданию не должен существовать. То, что организация не занимается ерундой, предварительно подтвердило Минобрнауки, утвердив Планы.  Ежегодные отчеты также высылаются рецензентам и кураторам из Минобрнауки. Они проверяются и одобряются. Почему  одобренный отчет сам по себе не является подтверждением результативной деятельности организации? Предполагается, что отчет проверяет ученый, разбирающийся в проблеме.

Если вернуться к пожеланиям Президента увеличить долю публикаций российских ученых в WoS и Scopus, Академия Наук могла бы рекомендовать журналам ВАК переводить на английский свои выпуски полностью и не "почивать на лаврах", проиндексироваться в базах данных. 

В Польше действительно завышенные требования, невозможно писать столько качественных статей, особенно, экспериментаторам, которых и по 5-6 человек бывает.   

 

1 / 0
Рекомендации и деньги

РАН может рекомендовать все, что угодно, в том числе и переводить на английский. Хоть на хинди. Кто конкретно это будет делать и за какие деньги? С тем же успехом можно сразу рекомендовать авторам переводить самим и публиковать по-английски. И тогда уже не в журналы ВАК посылать. 

Даже с журналами, издаваемыми РАН (ну с этим словом на обложке), все не так просто. Например, потому что переводы бывают просто ужасными. 

Ну и вот простой пример. Проосит меня один редактор поприглашать иностранцев в его журнал, чтобы рейтинг поднять. Я в ответ пишу, что хорошо бы прислать описание журнала на английскои и требования к авторам на том же языке. Получаю. Читаю. Сильно удивляюсь - редакция догадалась убрать требование акта экспертизы, однако наличие письма от организации как обязательного, осталось. Я написал, что такое письмо не пишется, и например, я не пойду спрашивать ректора или декана такое письмо подписать, не поймут, зачем. Ну редактор согласился убрать. 

1 / 0
Автоматизация обработки министерских запросов ? InCites

Уважаемые коллеги,

по поводу всех этих методик подсчета результативности, спускаемых в инстиутуты из министерства, есть известная поговорка: "чем бы дитя ни тешилось, лишь бы не плакало".  Мы уже не первый год заявляем, что оценка результативности института посредством вычисления 3-4 интегральных показателей, не вникая в качественную суть научных результатов, в принципе ущербна. Но кто в министерстве, кроме лишь нескольких сотрудников во главе с академиком Трубниковым, в состоянии оценить научные результаты по существу, а не формально?  Для этого ведь надо иметь собственные заметные научные  результаты, на прошлом месте работы. Написать же методику количественной оценки, одинаково пригодную для филологов, математиков  и физиков в принципе невозможно.  

Для нас важнее сейчас понять, как свести к минимуму потери рабочего времени на подсчет всяких коэффициентов, количества "своих" и "чужих" соавторов, особенно с отдельным учетом Q1, Q2, например для института публикующего 450 работ в год, в том числе в составе 10-12 международных коллабораций.  Прошу коллег поделиться техническим опытом.  Можно легко скачать списки публикаций с WoS в любом формате при наличии стандартной подписки, но как автоматически сосчитать "своих" и "чужих" в каждой работе и присвоить журналу квартиль?

Разумеется, есть продукт InCites: https://clarivate.com/webofsciencegroup/solutions/incites/   подписка на которой стоит отдельных немалых денег. Кто нибудь пользуется им?   Есть ли там возможность вычислять всякие "чудные" показатели для министерства, которые разработчикам InCite даже не могли придти в голову?

 

0 / 0
Так вам все подсчитают ...

И  более    того  -   на  соответствующем  сайте   оно     уже   подсчитано   за   2018  год.   Пока с  ошибками. 

Ведь    МОН     уже       давно   собирает  данные для      этих  расчетов -  бесконечные   таблицы  по    отдельным      сотрудникам. 

1 / 0
Посчитать-то посчитают, но...

"...бесконечные таблицы по отдельным сотрудникам" теперь дополнятся данными по всем соавторам и всем аффилиациям, перечиленным в конкретной статье.

Угадайте с трех раз, кто будет (ручками) вводить эту информацию?

2 / 0
Так ее уже вводят ручками

сотрудники   института. Точнее   -  НОО. И  это   было  требование     МОН  довольно  старое  -     когда   было  не  ясно,  зачем  это  нужно.    Размещается  в   сети  (на  каком  сайте  -    не  помню,  их  сейчас  с  отчетами  развелось   море).  

1 / 0
Все же, до сих пор...

... , насколько я знаю, столь детализированную информацию в систему "Парус" не вводили.

1 / 0
Увы, вводили.

Детали   автоматизации  этого  процесса   могу   узнать в   понедельник. 

1 / 0
Можно, конечно, и ручками вводить ....

но мировая наука знает 5-6 общепризнанных форматов данных и систем хранения библиографической информации, начиная с изобретённого ISI и заканчивая BibTeX. Во всяком случае, когда мы пишем свои статьи, подбираем списки литературы, ручками уже давно ссылки не набиваем.

Но в общем, как я и подозревал, в  МОН всё на пещерном уровне:

http://wnir.fano.gov.ru/index.php?newsid=67

Желающие узнать как должно быть могут потратить часок на обучение InCite:

https://www.youtube.com/playlist?list=PLM1kuGdwRdGkEZ_bBSsQ0_18oNJh2GcrP

Но разумется, InCite не заточен на ввод/вывод всяких дурацких показателей, придуманных МОН. 

Новый год - новые проблемы:

http://www.sib-science.info/ru/ras/ot-vala-k-ballu-uchenym-veleno-07022020

С Днем российской науки вас, уважаемые коллеги!

1 / 0
Да, с Днем Российской науки!

И это большой праздник, дорогие друзья, потому, что мы здесь еще живы, а значит, и наука наша жива, а выжить ей, когда ею такие люди командуют - очень и очень непросто. Ведь это уже третье издание министерской методики. Первое появилось в начале 2018 года, ("Страна полуученых") . Весь год народ копил недовольство, на ОС ОНР-2018 была принята соответствующая резолюция.

Второе издание, упомянутое в замечательной заметке Надежды Волчковой в Поиске, вызвало еще большее возмущение, несколько Ученых советов институтов РАН выступили против. На нашем сайте состоялось детальное обсуждение темы Удивительные принципы формирования госзадания на 2019 год (90 комментариев!). Совет ОНР очередной раз выступил с Заявлением (от 7 марта 2019 г)

Никогда такого не было, и вот опять (с). Третий раз на те же грабли. Главное, делается все так же бездарно, третье издание такое же кривое... И нечего ссылаться на ФИАН. У ФИАНа коэффициенты по квартилям 27:9:3:1 - просто сосчитать и красиво. А как сосчитали до 3-й значащей цифры 19.7? Вот если бы все округлили: 20:7:3:1, то сильно ли бы удалились от цели, попасть в топ-5, поставленной Президентом? На сколько процентов? Боюсь, что те, кто нами командуют, даже постановку этих вопросов не понимают и не поймут... Да, кстати, отношение Q1:Q4 как 20:1 далеко не для всех институтов и не для всех областей наук приемлемо, даже если смириться с наукометрическим подходом к оценке инятитутов. Боюсь, что может это кончиться не увеличением количества публикаций, а уменьшением. Ведь тот, кто пишет только в Q4 вряд ли сможет написать в Q1, даже если ему заплатить в 20 раз больше. А вот молодежь это развратит...

Короче, коллеги, во вторник, 11-го будет заседание ПРАН, где про методику снова будет разговор. Давайте сформулируем здесь четко: что точно надо менять, что желательно и, по возможности, предложения. Пока что здесь ставятся только вопросы. Пусть будет больше требований и предложений. Может быть, и Совет успеет высказаться. 

Министр у нас теперь новый, толковый, говорил, что будет стремиться к открытости министерства - может, прислушается к нам.

Еще раз с праздником!

2 / 0
И "четвертое (пятое, шестое и т.д) издание" будет "кривое" тоже.

Понятно стремление руководства получать "отчеты о научной работе" и оценивать "эффективность" подведомственных организаций за фиксированный промежуток времени "одной величиной", однако предлагаемый способ оценки находится в неразрешимом противоречии с внутренней логикой и проверенными временем традициями развития науки.

Значение развития науки в "этой стране" (России) для общества и государства не измеряется "количеством публикаций за год " и "суммарными импакт-факторами журналов, в которых опубликованы работы", пусть даже и взвешенными по числу организаций и соавторов, и отнесенными к конкретным источникам финансирования.

Оценку "эффективности" (продуктивности) организаций, лабораторий и отдельных сотрудников следует проводить не чаще чем за период 4-5 лет, рассматривая комплекс показателей с учетом специфики для конкретной научной области, с участием специалистов-экспертов, активно работающих в данной области.

Участие в конкретной научной публикации ученых их разных организаций и различных стран, признание поддержки конкретной работы из многих источников финансирования не должны рассматриваться в качестве "отягощающего фактора", снижающего "эффективность" оцениваемого субъекта.

Специфика научных исследований связана с тем, что нередко идеи и технические решения, возникшие в рамках проекта, поддержанного одним из «инструментов финансирования», в дальнейшем служат основой для развития следующего проекта, поддерживаемого другим «инструментом финансирования», и наоборот.

Наиболее интересные научные результаты, как правило, достигаются совместными усилиями специалистов, работающих в разных областях науки и обладающих взаимно-дополнительными компетенциями. Не случайно, публикации в высокорейтинговых международных научных журналах почти всегда содержат благодарности за поддержку множественными источниками финансирования.

Использование "дихотомических показателей" для оценки эффективности науки, несмотря на некоторую иллюзию «наглядности» и «объективности», на практике является "тормозом" для повышения эффективности научных исследований (не хочется прибегать к конспирологическим теориям, но иногда возникают мысли о возможном участии "иностранных агентов" в такого рода деятельности).

 

 

1 / 0
Бюрократия и форматы

Спасибо за поздравления. 

Я понимаю конечно, что никого это не успокоит, но не смотря на существование нескольких форматов данных, известных мировой науке, последней также известны и законы развития бюрократии. Бюрократия, бывая полезной, тем не менее старается создать и видимость полезности, порождая разного рода документы, методички и отчеты. 

Поработав в Польше в двух университетах, в каждом из них нужно было, увы, ручками заносить данные о публикациях за год. При этом если какое-то поле отсутствовало именно в той форме, которая предусматривалось программой, то это было проблемой заполнителя. Нормальным было, напрмер, позаполняв формы, узнать, что актуальную программу уни не купил еще, и что все надо повторить.

В Гданьске есть одна база данных с публикациями, все, что не в ней - не существеут. Но предпринимаюся попытки заставить все заносить и во вторую.Зачем? А кто же его знает - красиво - для видимости и пропаганды. Кстати, каждого соавтора надо заносить отдельно, и аффилиацию тоже. 

Последний бюрократический выбрык - попросили предоставить достаточно детальную  информацию о поездках в ряд стран, с 2017 года. Зачем? Типа для международного сотрудничества. За пару дней. При том, что она есть в базе данных - просто даме самой не интересно это составлять, поэтому этим должен заняться каждый. 

1 / 0
вычисление КБПР

Для вычисления КБПР не нужны аффиляции соавторов, нужно только количество соавторов и число аффиляций в статье сотрудника института. Набирал своими руками эту иформацию по лаборатории уже дважды за 18 и за 19 годы. Было ясно, что для автоматического подсчёта чего-то, а теперь нам и формулу показали. Трудоёмкость работы не велика, но велика ли осмысленность? Очевидные недостатки: 1) Единая формула для всех наук - это нелепость (которая частично компенсируется раздельной оценкой иститутов по отделениям) 2) Большая разница коэффициентов по квартилям задушит российские издания из Q3 и Q4 (т.е. почти все) 3) Требование ежегодного 10% роста нереалистично ни для какой отражаюшей реальность оценки (1-2 первых года его ещё можно обеспечить изменением публикационной стратегии, но этот резерв будет быстро исчерпан)

2 / 0
Ответы министерства: вебинар

30.01 проходил вебинар, упомянутый в статье Надежды Волчковой. Он был чуть больше часа, вот его запись: https://yadi.sk/i/rgSt_8tlCr8bzQ Открыл его директор департамента стратегического развития, мониторинга и оценки Минобрнауки Броницкий Тимур Леонидович и передал слово своему заместителю Илье Тихомирову. Хорошо, что мы знаем теперь имена хотя бы части героев, но этим радости исчерпываются. Тихомиров, как и пишет Волчкова, не смог ответить на самые острые вопросы. Про учет квартилей в Скопусе и учет монографий у гуманитариев он честно сказал, что не знает, как это делать. Помилуйте, если не знаете, значит, методика недоработана. А они ее уже применяют, в Парус зашили.

Первое требование Заявления Совета ОНР в марте 2019 г было: Отозвать методику расчета показателей публикационной активности научных организаций, предложенную Минобнауки, для существенной доработки с учетом результатов ее общественного обсуждения. Думаю, что сейчас надо его повторить точь в точь. С предложениями Владимира Николаевича согласен. Главное: надо заморозить рост количества, если нет прироста численности научных сотрудников. Тогда спадет гонка за числом и начнем гнаться за уменьем. На вопрос "зачем делить на число иностранных соавторов, душить международные связи", ответ также неубедителен.

Но методика разработана старым составом министерства, пришедшим еще из ФАНО (узнает ли история имена этих умнейших людей? А кто входил в рабочую группу? А кто из ПРАН согласовал методику в понедельник 30-го декабря? Видимо, он на самолет опаздывал... В 2019 г. академик Балега получил документ в пятницу с требованием согласовать в понедельник. Это тоже фирменный стиль ФАНО.). Новому министру надо все сказать заново, дать шанс реально учесть мнение научной общественности.

 

1 / 0
Мнение вице-президента РАН
Справедливости ради, надо учесть мнения в защиту этой методики. Вот мнение Вице-Президента РАН А.Р.Хохлова. Он оценивает методику как шаг в правильном направлении, учитывающий предложения Президиума РАН. И процедура согласования в этот раз была  более серьезная, чем год назад. Что ж, насчет согласования готов взять свои слова обратно. Но с остальным можно поспорить.
    Я понимаю, что руководство считает, что уровень науки определяется числом публикаций, а если число статей из Q1 будет умножаться на 19.7, то и качество статей учтем. Но рост количества все равно требовать надо, считает начальство. А вот я наблюдаю вокруг, что если потребовать число статей  хоть немного  поднять, то народ из кожи вот будет лезть, и качество получаемых результатов упадет. Думаю, что правильней зафиксировать нижний порог количества, а доплату давать только за качество. Математик может возразить, что задача максимизации линейной функции при линейных ограничениях эквивалентна задаче максимизации некоторой другой линейной комбинации. Но тонкость в том, что верно лишь, что существуют положительные веса-коэффициенты такой взвешенной суммы, а если задать их раз навсегда, одинаково  для всех наук и всех организаций, то получится чушь. А тут требуют от отстающих поднимать балл на 30% за 2 года. Вот и полезут они в мусорные журналы от отчаяния.  Сами же провоцируем нарушения этики.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 
 
Алексей Хохлов
29 января в 10:23 · 
Еще раз о методике расчета публикационной результативности научных институтов по госзаданию
 
В связи с рассмотрением этой методики на предстоящем заседании Президиума РАН 11 февраля, хотел бы здесь остановиться на истории этого вопроса. Разработка данной методики была инициирована постановлением Президиума РАН от 10 апреля прошлого года №56 «О принципах распределения бюджетных средств и установления нормативов публикационной активности для научных организаций».
 
В п.1 этого постановления, в частности говорилось: «Признать, что принципы и методики установления нормативов публикационной активности для научных организаций несовершенны и нуждаются в существенной переработке». Какие же изменения предлагалось внести в эти принципы и методики?
 
Во-первых, было признано необходимым «обеспечение полной гласности и прозрачности в установлении принципов установления публикационных нормативов».
 
Во-вторых, Минобрнауки было предложено (далее прямая цитата из постановления):
«скорректировать ситуацию, при которой научным организациям, уже имеющим большое количество  и высокое качество публикаций, устанавливается еще более высокое задание по публикационной  активности;
при установлении плановых показателей публикационной активности в рамках государственного  задания учитывать реальное соотношение объемов работ, выполненных в рамках государственного  задания и работ, выполненных за счет средств научных фондов (РНФ, РФФИ и других), по прикладным и специальным тематикам для каждой отдельно взятой научной организации; 
при установлении плановых показателей публикационной активности в рамках государственного задания учитывать качество публикаций (индексируемость международными базами данных, тип публикации, квартиль издания и т.п.), не допускать снижения качества публикаций для  увеличения их количества;
считать целесообразным:
ввести в государственное задание научных организаций множественность показателей 
результативности, например, наряду с числом статей учитывать и число монографий,
принять срок планирования госзаданий научным организациям в рамках бюджетных правил
 на 3 года,
разработать комплекс мер, направленных на поддержку отечественных научных журналов и 
публикаций статей российских ученых».
 
Сравним эти пункты постановления Президиума РАН с положениями недавно обнародованной методики Минобрнауки (воспроизвожу по моему предыдущему посту):
1. Валовый показатель для института по числу опубликованных статей заменяется на показатель по числу баллов, причем каждой статье или монографии приписывается разный вес – см.таблицу на стр.3 методики министерства.
2. Учитываются все статьи организации, вне зависимости от благодарностей. Доля статей в рамках госзадания считается пропорционально относительному вкладу госзадания в суммарное финансирование (госзадание+РФФИ+РНФ). Другие источники финансирования (мегагранты, хоздоговора) для данной методики нерелевантны.
3. Применяется фракционный счет: учитывается количество соавторов и количество аффилиаций у каждого соавтора.
4. Базовое плановое значение роста числа баллов публикационной результативности – 10% 
за 2 года (2018-2020) по суммарному баллу.
5. Дополнительно вводится поправка на изменение объема госзадания института по сравнению с 2018 годом (не применяется, если сумма госзадания увеличивалась только на размер инфляции).
6. Дополнительно вводится поправка на результативность каждой организации (не применяется,  если организация точно соответствует средней по направлению). Для «лидеров» введен  понижающий коэффициент, но увеличение числа баллов даже для лидеров не может быть меньше  6.7% за 2 года. Для «отстающих» введен повышающий коэффициент, но увеличение числа баллов  не может быть больше 30% за 2 года.
 
Легко видеть, что учтены практически все положения постановления Президиума РАН 
(за исключением поддержки российских научных журналов, но это тоже планируется 
сделать в ближайшее время).
 
Поэтому когда в декабре прошлого года эта методика была поочередно представлена нескольким  вице-президентам РАН, и затем президенту РАН, мы ее одобрили (причем подробно вникали во все детали – каждая встреча длилась несколько часов). Это безусловно шаг вперед по сравнению с предыдущей методикой, которая действительно могла стимулировать только вал низкокачественных статей. Разумеется, это не означает, что методика лишена недостатков, которые мы и постараемся сформулировать на заседании Президиума РАН 11 февраля – с тем, чтобы была возможность оперативно внести коррективы.
3636
Комментарии: 25
Поделились: 28
 
0 / 0
Да, есть такое мнение.

И оно совпадает с публично высказанным мнением Президента РАН. Очевидно, что они исходят из тезиса: "Политика - искусство возможного".

Вместе с тем, имеет право на существование и другой тезис: "Будьте реалистами, требуйте невозможного".

4 / 0
А разве ситуация не изменилась?

Зачем же нам Владимир Васильевич, требовать невозможного? Мы держимся в рамках. Но ведь ситуация изменилась уже по сравнению с 30 декабря, когда подписывалась эта монументальная Методика. У нас министр уже другой, обратите внимание. А понимание уровня науки как количества публикаций - это понимание ушедшего министра, у которого и и деньги, и статьи, и люди были просто цифрами в клеточках таблиц. Теперь самое время переосмыслить эту сложную проблему попадания в ведущую пятерку и дать приемлемую формулировку цели, так, чтобы она не провоцировала нарушения этики, которых и так хватает. Давайте верить в торжество здравого смысла.

1 / 0
Давайте бороться за торжество здравого смысла.
0 / 0
Просто "верить", увы, не достаточно (с).
2 / 0
Сначала надо верить в торжество разума.

Например, верить в то, что министр может отменить неразумный приказ.

Если министр не хочет отменять приказ, то надо верить, что можно сменить министра.

Если правительство не хочет менять министра, то надо верить, что можно сменить правительство.

И добиваться, чтобы назначили нового министра, который первым делом отменит неразумный приказ:

https://nauka.tass.ru/nauka/7724003

Один человек мало, что может, но если мы вместе говорим разумные вещи, то торжество разума возможно.

Хотя, конечно, бывает и так, как в Новосибирске.

6 / 0
лучше меньше, да лучше

Разработчики подобных методик исходят из странного предположения, что научные сотрудники не только просто не хотят работать, но и не хотят получать хорошие прорывные результаты. Если первое ещё как-то можно обосновать присущей людям ленью, то второе совершенно нелепо. Я не могу представить себе математика, который может доказать гипотезу Римана, но не делает этого из-за того, что его не простимулировали надбавкой. Соответственно новая методика расчёта может увеличить число публикаций в Q1 и Q2  из-за того, что люди всеми способами будут проталкивать статьи в более престижные журналы, но очень мало повлияет на реальное качество исследований. Чтобы наука действительно развивалась нужно 1) обеспечить материальными ресурсами для выполнения качественных исследований 2) организовать работу так, что те кто может выполнять качественные исследования не разбегались 3) повысить престижность научной работы, что молодые люди хотели идти в науку. Метод "кнута и пряника" неплох для организации рытья каналов лопатами, но не для организации науки. Учёного характеризуют его лучшие достижения. Никогда не слышал, чтобы известного математика характеризовали не перечислением его лучших резуальтатов, а числом статей индексированных в какой-то базе данных (разве что в ироническом смысле). Как же всё-таки количественно оцениватьнаучную работу, если невозможно организовать непредвзятую экспертизу ? Согласен, что  "правильней зафиксировать нижний порог количества, а доплату давать только за качество". Собственно в нашем институте в ПРНД учитывались только 10 лучших статей за предыдущие 5 лет, но с прошлого года под давлением количественных требований сверху это ограничение сняли. 

5 / 0
Иностранные соавторы - самая спорная вводная, причем от ФИАН

На множество вопросов во время вебинара (и мой в том числе) о смысле учета иностранных соавторов, которые уж точно не получают денег из бюджета РФ и поэтому не нуждаются во "фракционном учете" ответа так и не было. Вернее, было сказано что-то абсолютно невнятное про возможные махинации с привлечением соавторов из СНГ - ну и что? Практически все моменты предложенной схемы расчета КБПР можно объяснить какой-то логикой - или действительно научной, или административной. С этой логикой можно соглашаться или не соглашаться, но она видна. Но учет иностранных соавторов не объясняется вообще никакой логикой.

Но совем недавно проявился автор этой идеи, см. https://indicator.ru/humanitarian-science/muzhiki-to-pravilno-dumayut.htm "...разработчик методики ученый секретарь ФИАН Андрей Колобов...":

"На предложение учитывать во фракционном счете только российских авторов Колобов ответил так: иностранные аффилиации учитываются, так как иначе самый большой вес получали бы статьи работающих за рубежом ученых, которые ставят российскую аффилиацию формально, может быть, для поддержания отношений с альма-матер. Для наукометрических показателей российских институтов это прекрасно, но реальное развитие российской науки никак не отражает, потому вес таких статей приходится снижать делением балла за статью на все аффилиации".

Честно говоря, цензурных слов на это не находится. "реальное развитие российской науки", видите ли... Не дают покоя лавры создателя "суверенной демократии", захотелось "суверенную науку" придумать?

Странно, что ученый секретарь ФИАН не знает - в "Парус" вводятся организацией только те соавторы с ее аффилиацией, которые в ней официально трудоустроены. Поэтому "формальная аффилиация" организации не даст ничего. Вообще-то для ученого секратеря это профнепригодность.

3 / 0
Давайте попытаемся исправить хотя бы то, что можно исправить.

Александр Юльевич, рад снова обсуждать с Вами важные вещи на публичной площадке. Приятно и то, что теперь Ваша аффилиация позволяет вести открытые дискуссии без оглядки на средневековые запреты. Я полностью разделяю Ваше недоумение по поводу "деления на иностранцев" в новом варианте методики. Тем, кто не верит, что опытные и квалифицированные люди могут отвечать, не понимая, или якобы не понимая) вопроса, предлагаю посмотреть оригинал: видеозапись заседания ПРАН 11.02.2020  Обсуждение Методики начинается примерно на отметке 1:51 часа, а тот самый ответ Колобова - на отметке 2:30. Вопрос задан совершенно ясно: нас призывают к развитию международного сотрудничества, а оценивают совместную научную публикацию обратно пропорционально числу иностранных авторов. Почему так? Вопрос касается соавторов БЕЗ российской аффилиации. Очевидно, нужно поощрять статьи, где таковые имеются. В разных рейтингах вузов (напр. шанхайском) доля таких статей учитывается как важный показатель международного уровня организации. Нам же снижают оценку за такие статьи, причем объясняют, говоря совсем о другом - о делении на число аффилиаций, а не на число соавторов. Возможно, что это не простая путаница. Я разговаривал после заседания ПРАН с видным членом Президиума, который в теме, в отличие от большинства других членов ПРАН. Так вот он поддержал ответ Колобова и пытался мне его растолковать, объясняя, что в институтах очень много "мертвых душ", реально работающих за границей и что надо с этим явлением бороться. Возможно, это так, хотя это и спорно. Но мы-то говорим о другом! Прямо не ведают, что творят... Давайте настойчивее об этом говорить публично, коллеги, чтобы донести здравый смысл до разработчиков. Совет ОНР перед 11.02.2020 подготовил проект Заявления, но теперь его нужно кардинально менять. 

Методика-2020, конечно, лучше, чем Методика-2019, но ее легко можно сделать еще лучше, если прислушаться к голосу тех, для кого она предназначена, кто сам ручками составляет и обрабатывает  эти бесконечные анкеты и считает эти странные баллы, вместо того, чтобы получить за это время новый научный результат. Ау, рабочая группа ФИАН! Позовите нас, мы можем вам помочь. Раздавать эту работу отделениям РАН бесполезно. Надо собрать понимающих людей вместе.

Конечно, эта работа имеет смысл, если мы соглашаемся, что, вычисляя по той или иной методике баллы, можно в принципе дать разумные обоснования для распределения денег на госзадания между организациями. Часто эту задачу путают с задачей оценки индивидуального вклада ученого в науку. Даже в нашей дискуссии чуть выше предлагается оценивать ученого перечислением его лучших результатов. Да, согласен, так лучше. Но как тогда будем делить деньги между ФИАН, МИАН и ПОМИ? Видимо, топ-эксперты будут делить по понятиям, как и раньше.

Давайте попытаемся исправить хотя бы  то, что можно исправить.

2 / 0
Опять о иностранных соавторах и борьбе

Так вот он поддержал ответ Колобова и пытался мне его растолковать, объясняя, что в институтах очень много "мертвых душ", реально работающих за границей и что надо с этим явлением бороться.

 

Как лицо в некотором смысле заинтересованное, я легко могу себе представить методы борьбы с мертвыми душами.  Даже если такое сотрудничество чисто формальное и состоит в указании аффилиации по старой памяти или по просьбам старых знакомых, то и что? Если автор не работает - им и так нельзя отчитаться, если числится, то формально все в порядке, если не числится, но статья в соавторстве с местными, то почему же нельзя?

Получается, например, что в рамках программы мегагрантов приглашеный ученый будет портить такую статистику, что по меньшей мере странно.

В общем, посмотрим во что этот бред выльется.

P.S. Мне известно одно из возможных идиотских решений. Один польский профессор уехал в Великобританию, но по старой памяти как-то писал статьи с сотрудниками из прошлого университета, ну а университет платил ему какую-то минимальную зарплату за поддержку. Ну вот новый ректор, судя по всему окрыленный властью, написал ему письмо следующего содержания: "ув.проф. прошу вернуться и приступить к своим обязанностям, а если нет, то мы Вас  увольняем". Результат немного предсказуем - британский профессор повертел пальцем у виска и сказал, что с придурками он сотрудничать не намерен. Ну и кто остался в выигрыше? Боюсь, что может реализоваться именно этот сценарий. 

0 / 0
про иностранных соавторов

Если говорить не про институт, а про оценку индивидуального вклада сотрудника, то делить на число иностранных соавторов необходимо. В России немногочисленные аспиранты-математики  делятся в основном на две категории те кто метит в филдсовские лауреаты и те кто косит от армии (или сидит с детьми). Ни тех ни других не заставить разрабатывать и оформлять чужие идеи, то есть выпонять наиболее затратную по времени работу соавторов. Другое дело многочисленные и менее амбициозные китайские и индийские аспиранты. Если на число иностранных соавторов не делить, то всем желающим получать надбавку по ПРНД придётся искать сотрудничество с китайскими и индийскими университетами. 

0 / 0
О Методике

Тем не менее, вопрос остается, потому что мы обсуждаем не личный вклад одного сотрудника, а оценку института. Очевидно, что это две разные вещи. Оставить как есть и делить? Или таки предлагать исключить иностранцев во фракционном счете?

P.S. Мне почему-то кажется, что интститут, налаживающий успешные контакты с индийскими, китайскими и прочими институтами лучше, чем институт, набирающий желающих откосить от армии (ну или как место для сидящих с детьми). Конечно, пока кто-то в нем не доказал гипотезу Римана :)

 

0 / 0
Методика

Методика создана для оценики именно организаций - здесь иностранные соавторы и даже российские не минобровские соавторы не должны учитываться.

Что касается оценки результативности отдельных сотрудников - организации сами устанавливают критерии исходя из своих целей и возможностей.

0 / 0
Как понять методику. Двойка академикам?

Конечно, предлагаемые нам формулы призваны оценить результативность организации, которая тем больше, чем больше количество и выше качество стате в годовом отчете организации. Наличие в статье  соавторов-иностранцев означает, что иностранцы нам помогали, т.е. публикации статьи способствовали международные связи организации. Разве за это нужно штрафовать (делить балл на общее число соавторов, включая иностранцев)? Наоборот, интернациональность результатов организации нужно поощрять, как и делается в основных мировых рейтингах. Например, вот как  идет подсчет в предметном шанхайском рейтинге ARWU:

В предметном Шанхайском рейтинге место, если не вдаваться в детали, определяется суммой пяти показателей:

  1. число статей в журналах, индексируемых в Web of Science;
  2. средняя цитируемость статей, нормированная на мировое среднее по области наук;
  3. доля международных публикаций (авторы из нескольких стран);
  4. число публикаций в топовых журналах (менее 10% от журналов в WoS по области наук;
  5. число престижных международных премий.

Каждый показатель измеряется в процентах от наивысшего значения среди вузов, включенных в рейтинг. В 2017 году учитывались статьи, вышедшие в 2011–2015 годах. 

Чем больше международных публикаций - тем выше рейтинг вуза!

Но для нас, коллеги, это, кажется, высшая математика, а мы еще в дробях путаемся. Смотрел я сегодня в методику и вдруг задумался. Рассмотрим главную расчетную формулу: первую сверху на странице 3, по которой вычисляется Tknum.

Вопрос 1. В формуле k - номер строки отчета, а m - номер статьи. Это одно и то же или нет?

Вопрос 2. Ниже написано: Nm - число авторов в статье m. И дальше написано: Anum=1, если автор статьи m указал аффилиацию num. Какой автор, если их Nm человек ?? Может быть, здесь должна стоять сумма по всем Nавторам статьи m? Тогда нужно ввести  индекс суммирования i - номер автора статьи, а также обозначение Anum (i), где Anum (i)=1, если i-й автор имеет аффилиацию num, и Anum (i)=0, если автор не поставил аффилиацию num.

Коллеги, либо у меня помутнение рассудка, либо нас собираются оценивать по неверной формуле. Помогите, пожалуйста, посмотрите формулу. И если в ней пропущена сумма и некорректно введены обозначения, то как это просмотрели члены комиссии из ФИАН и, главное, академики-члены Президиума РАН, одобрившие методику?

Пока в этом не разберемся, нельзя заниматься "настройкой" методики.

0 / 0
подсчёт

Насколько я понимаю формула относится к строке, а строка соответствует уникальной паре автор+статья.

0 / 0
Вы считаете, что формула записана корректно?

Так Вы считаете, что формула записана корректно?

" строка соответствует уникальной паре автор+статья."  - где в документе, утвержденном замминистра С.В.Кузьминым, это указано?

0 / 0
Двойка по русскому языку

Наверное, там все просто. Просто по-русски разучились писать.

 Anum=1, если автор статьи m указал аффилиацию num. Какой автор, если их Nm человек

Видимо любой. Anum=1 если хоть один автор аффилирован с данной организацией. А am - это просто число аффилиаций в статье. 

Кстати, если кому интересно, то в Польше тоже есть фракционный счет, и польские формулы наверняка поставят некоторых академиков в тупик - там есть корни, а не только дроби.

2 / 0
М.Я.Азбель

Александр Юльевич!

Ваша фамилия напомнила мне Марка Яковлевича. В 1958 г. он защищал докторскую в Физпроблемах (циклотронный резонанс), на которой я, студент 2-го курса МФТИ, присутствовал. И мы с ним позже много общались на кухне квартиры №3 (рядом с Ландау №2 и Лифшицем №1, во дворе ИФП), где он готовил творог из кефира для своей больной жены, а мы, студенты, в ней жили, начиная с 4-го курса. Он мне с живостью доказывал, что способности к наукам у женщин не ниже, чем у мужчин. После Харьковского ун-та он преподавал в сельской школе и вынес такое впечатление, что у девочек нехватает характера. Если решение не приходит в первую минуту, то чем вторая отличается от первой? А мальчик таким вопросом не задаётся, он вертит задачу так и сяк, пока решение не найдётся.

0 / 0
про студенток

Училась у меня такая студентка, которая была унее меня примерно в сорок раз, то есть решала за минуту учебные задачи на решение которых мне - преподавателю нужно было минут сорок. К сожалению дольше пяти минут думать над задачей она отказывалась и профессиональным математиком не стала. Но в целом  гендерная разница по этому признаку невелика. Бывают такие "упёртые" девочки, что все мальчики сдаются раньше.

4 / 0
И не забыть разделить на долю ставки!

А кстати, поскольку научных работников уже не первый год унижают принудительным переводом на долю ставки, чтобы выполнить майские указы нашего бессменного и незаменимого руководителя о зарплате на полную ставку в 200% средней по региону, то почему бы не учесть этот коэффициент?  В прошлом году у нас было 0.6 ставки в этом - 0.85. Давайте делить на эти дроби при подсчете аффилиаций!  Ведь если первый соавтор из двух в первом институте работатает на целую ставку, а второй - автор в другом - на 0.6, то ведь второй работатает заметно эффективнее - с меньшими затратами  времени он сделал ровно ту же работу, что и второй. 

Если в отчетах нашу зарплату указывают в пересчете на полную ставку, то давайте и по публикацииям отчитываться в пересчете на полную ставку. Логично?

1 / 0
Логично.
1 / 0
Увы, но перевод на доли ставки - путь в тупик.

Потому  как   у  вас  к  примеру 100  НС.    Переведете  всех  на  0.5.   50    ставок.   Выкрутились   в  текущем  году. 

Но  на  эти   50  отчетных    ставок   будет  МОН  спускать    деньги в   следующем  отчетном  году  ...

1 / 0
«подёргать коэффициенты»

Судя по последним вестям с объединённого собрания МОН и Президиума РАН – предложенная «Методика…» будет жить, и нам остаётся только «подёргать коэффициенты», как и предлагал президент РАН. У меня, правда, небольшой опыт писательства, но есть свои публикации по всем позициям «Методики…», а ещё больше прочитано – так что есть с чем сравнить. Сразу оговорюсь: как быть с монографиями – я не знаю. С одной стороны, даже просто написать страниц 200 текста – это большой труд. С другой стороны, что греха таить, рецензирование монографий совершенно формальное, а получение «рекомендации» и «грифа» – лишь вопрос упёртости автора. Отдельный вопрос – коллективные монографии, которые сейчас, фактически, являются сборником статей. Поэтому сколько и как давать баллы, перемножать ли их механически на печатные листы или тираж – надо решать отдельно. И, конечно, нельзя забывать об основных индикаторах, заданных НП"Наука" (достижения чего и должна стимулировать эта "Методика..."). Поэтому, по основным коэффициентам, как мне кажется, можно подумать над следующей корректировкой:

  1. Журналы ВАК. Не понятно, чем «журналы ВАК» лучше, чем РИНЦ? Помоек и там, и там достаточно. Однако есть вполне приличные молодые журналы не-ВАК, а есть и «заслуженные» ВАК-издания, ставшие уже мемом (например, журналы пензенской «Академии Естествознания»). Вообще говорить о качественном превосходстве «списка ВАК» над прочим РИНЦем не приходится ещё и по причине заявительного принципа формирования этого списка, так что нет никакого смысла использования именно этого показателя. Самое интересное, что мониторинг государственной ФСМНО (которая ныне стала БДРДНО) базируется именно на РИНЦ. Как я понимаю, этот совершенно искусственный «список ВАК» в данной «Методике…» мог возникнуть только по причине того, что буковка “R” в формулах была уже занята под RSCI, а посметь взять другую буковку (например, “E”) разработчики не посмели. Итак, для журналов РИНЦ можно установить балл равный 1 (не вижу смысла вводить разные дробные значения).
  2. Журналы RSCI. Теоретически они несколько качественнее прочего РИНЦ и ВАК. Практически же, конечно, надо оценивать каждую статью – но это совсем нереально. Поэтому примем за данность, исходя из соотношения численностей изданий – что журнал RSCI стоит 5 баллов.
  3. Журналы Q (именно в такой последовательности). За некоторыми исключениями – это журналы WoS ESCI. Отличный бизнес-проект Clarivate для папуасов, готовых менять золото на стеклянные бусы. ESCI не имеет никакого отношения к качеству журналов, и лишь греет слух волшебным сочетанием букв WoS. Только из уважения к этому можно предложить давать за Q, скажем, 10 баллов.
  4. Журналы Scopus. Раньше считались посредственными, но на фоне ESCI уже не кажутся такими убогими. Конечно, Scopus тоже коммерческий проект и стремится максимизировать прибыль путём включения в индекс всего подряд (за немалые деньги). Но и «чистки» иногда проводятся (в основном косметические). Т.к. все более-менее приличные издания имеют импакт-фактор, то для журналов Scopus можно установить 15 баллов.
  5. Журналы Q4. Сюда попадают, как правило, региональные журналы, к которым относятся и большинство отечественных переводных экс-РАНовских. Да, тут есть и «кумовство», и проталкивание откровенно слабых статей – но в целом уровень наших журналов не хуже, чем сравнимых иностранных. Поэтому, думаю, Q4 имеет право на свои 30 баллов.
  6. Журналы Q3. Отечественных среди них уже немного (что жаль). Достойные крепкие «середнячки» Q3 имеют право на 50 баллов.
  7. Журналы Q2. Здесь уже играют практически только международные издания. Публикация в таких журналах практически гарантирует хорошее цитирование, поэтому 75 баллов.
  8. Журналы Q1. Как бы мы не относились к индексам цитирования и прочей «библиомистике» - действительно уровень статей в топовых журналах ощутимо выше всех остальных. Подготовить публикацию для Q1, как правило, можно только хорошим коллективом (ещё и международным). Но и престижа для любой организации публикации в Q1 добавляют существенно – поэтому 100 баллов.

 

1 / 0
Три вопроса

1. Помимо "дергания коэффициентов" есть еще "дергание учетного списка". Учитывать ли статьи только по госзаданию или же все опубликованное  за определенный период времени  (то есть и публикации по разного рода грантам тоже).

2. За какой период осуществлять расчет? В идеале - за последние 4-5 лет, но уж точно не меньше 2-х.

3. В журналах Scopus есть свои квартили (Scimago). Почему бы их не учитывать?

0 / 0
это лишь

некий "эскиз", как мне кажется можно "донастроить" предлагаемую методику ближе к реальности. И, опять же - я биолог, вероятно у лингвистов будет своя точка зрения. Что я думаю по поводу ваших, Владимир Васильевич, вопросов:

1. Мне кажется надо учитывать все статьи, вышедшие за отчётный период с аффилиацие от организации. Если следовать "Методике...", то там учитывается финнансирование не только по ГЗ, но и по грантам. Как учитывать финансирование по разным мегагрантам и экс-ФЦП я не знаю. Но, в любом случае - люди работают на благо организации и сами ищут финансирование, так зачем их превращать в "осетрину второго сорта".

2. Сечас как-то эту "Методику..." обкатывают на 2018-19 годах. Так что, выходит, за 2 года. Но, судя по приведённым в ней формулам - создана она для оценки на каждый год (дали больше денег - сразу больше статей). Конечно, если корову лучше кормить (после бескормицы) - то можно получить довольно быструю отдачу, но не уверен что такое получится с науными работами. Поэтому, конечно, отчётный период нужен года 3 (как считают в Elsevier - столько нужно для оценки "начного вклада").

3. В большинстве своём квартили scimago совпадают с WoS, или выше таковых. Конечно, ничто не мешает ввести ещё и дробные категории типа "Q1-s1" , "Q1-s2" etc. Но для этого надо будет переписать табл.2 и всю формулу расчёта КБПР. А это уже не просто "подёргать"...

0 / 0
Не так.

п. 2. За "базу" принят 2018 году, и заполнение привязано к одному году. Это неправильно.

п. 3. Из разъяснений МОН следует, что "Методика" будет совершенствоваться (патенты, монографии, баллы Scopus и т.п.) - так что изменения возможны и более серьезные, чем просто "подергать коэффициенты".

0 / 0
повод совершенствовать

эту "Методику..." - тут я с вами полностью согласен. Возможны разные варианты - лишь бы их кто-то услышал в министерстве.

0 / 0
Тираж и квартили

1. Тираж. Хотелось бы довести до глубокоуважаемой научной общественности, что слово тираж применительно к монографиям, изданным зарубежом, несколько устарело. Есть опция - Print on Demand. Поэтому меня лично вопросы о тираже изданных книг ставят в тупик. Есть монография, авторы могут знать, сколько было продано экземпляров (и то не всегда), есть электронная версия, которая скачивается и живет своей жизнью. Предлагаю убрать все,что касается тиража, из методики. 

2. Квартили. Квартили Scopus и  WoS - разные. Это связано как с разным охватом, так и с разной классификацией. Чтобы не умножать сущности сверх необходимости, предлагаю оставить один способ. Потому что кроме импакт-фактора имеются и другие параметры журнала, иногда не менее, а и более информативны. В принципе, "в среднем" WoS получше, поэтому оставить его. 

0 / 0
"Подергивания" системы

Написал в группе ОНР на FB следующий комментарий в соответствующей теме.
 

В принципе контроль за показателями со стороны министерства или какого-то иного органа должен быть,- минимальные критерии работы, разумеется, существуют. Мне кажется с этим мало кто спорит. Соответственно, какие-то показатели и критерии у них должны быть в руках. И именно так это и есть во многих научно-развитых странах.
 
С другой стороны, вызывает вопросы способ и следствия использования этих "контрольных" критериев. На "западе" эти критерии действительно используются лишь для предварительной оценки (чтобы увидеть где возникла проблема, или, наоборот, где пошел научный прорыв). И если, например, в какой-то подведомственной организации обнаружена проблема с выполнением минимальных разумных требований, то начинается экспертное рассмотрение- собирается комиссия из экспертов, они едут на место и пытаются идентифицировать проблему в комплексе. Может быть обнаружено, например, недофинансирование, может быть обнаружено плохое администрирование, может быть обнаружен низкий уровень каких-то научных групп и лабораторий. Последствия такой экспертной оценки могут быть, исходя из экспертной оценки, самыми разными. Может быть увеличено финансирование (даже глобально, и не за счет других), может быть уволено руководство организации, могут быть расформированы какие-то лаборатории, могут быть, наоборот, созданы новые лаборатории. Это планомерная работа, в которой все, включая министерство финансов (при необходимости некоторого увеличения финансирования), понимают потребности науки и принимают (!!!) экспертную оценку.
 
То, что начинает реализовываться у нас, хотя внешне и выглядит тем же самым, фактически является прямой противоположностью подобной разумной практики: сказавши А (критерии), не говорят Б (идентификация проблем и принятие на этой основе решений, а вместо этого- финансовая удавка и недофинансирование именно тех, у кого есть проблемы). Выделили три группы организаций. "Лидеры" получат повышенное финансирование, хотя с большой долей уверенности можно сказать. что у них и так финансирование уже выше, чем у других (результаты там, где есть деньги). Результат при неизменном общем финансировании: "эффект Матфея" в науке- богатые богатеют, середнячки постепенно переходят в третью категорию, отстающие просто разваливаются. Никакой экспертной оценки ни у лидеров, ни у отстающих не проведено, проблемы этих последних организаций не идентифицированы. Необходимость существования или, наоборот, необходимость ускоренного развития той или иной организации или тематики тоже не определена. В слабых организациях могут быть сильные группы (часто). Их существование в организации, попавшей в третью группу, незавидно мягко говоря- эти группы фактически убивают, это, вероятно, сотни научных групп. С оценкой гуманитариев тоже проблемы...
 
Не знаю, как-то это все, по моему оценочному мнению, сильно похоже на целенаправленный развал в организации науки, научных групп и, что хуже всего, самого здравого смысла. Очень печально и то, что все согласовано с РАН.

 

1 / 0
"Никогда не начинай вычислений, пока не знаешь ответа."

Это, как известно, основное правило Уилера. Несмотря на его кажущуюся парадоксальность, оно более чем уместно в отношении обсуждаемой Методики. Выше я расспрашивал коллег о возможностях автоматизации - быстрого подсчета показателя результативности на основе стандартного файла выборки работ сотрудников конкретного института из WoS, Scopus и пр. Это не только сэкономит нам всем драгоценное время, но и позволит быстро обкатать Методику, скажем, на публикациях 2017 или 2018 года, ретроспективно. Можно сравнить эти формальные показатели у разных институтов, в разных областях науки и сравнить с эспертной оценкой для проверки осмысленности показателей.

Если этого не сделать, опять может получиться чушь. Высосанные из пальца "надерганные" коэффициенты могут дать бессмысленные показатели в конце года, когда все ручонками сосчитают их. Особенно когда разные группы влияния желают "подкрутить" схему подсчета в свою пользу.

Создание инструментов быстрого подсчета показателей, их анализа должно быть заботой МОН. Пусть объявляют конкурс, оформляют конктракт с желающими выполнить эту работу, проверяют результат. Только не надо городить новую "Карту российской науки".  Должен быть компактный продукт с открытым исходным кодом, понимающий основные библиографические форматы.

Страницы