Методика расчета результативности по ГЗ

Здравствуйте, может быть, теперь журналам ВАК, проиндексированным в Web of Science или Scopus, включать в переводную версию все статьи из русскоязычной?  Степени кандитатов и докторов наук утверждаются ВАК, гос. язык - русский. И всего 0,5 балла за варинт на русском. Если статья принята в печать, то зачем устраивать дополнительный отбор на стадии перевода? 

То небольшое количество долларов за переводную публикацию можно перестать выплачивать, или выплачивать только молодым совторам.  Непроиндексированным журналам ВАК надо индексироваться. 

Во многих зарубежных журналах, начиная с квартиля Q3, надо оплатить 1000$  Если установлен плановый показатель КПБР = 20  - это 7 статей Q3 - 7000$ - 0,5 млн. руб.  Между тем, финансирование на это не выделяется. 

В журналах ВАК публикация бесплатна.

не лишена некоторой логики. Например, введён коэффициент по числу мест работы. Не секрет, что благодаря активной скупке ВУЗами аффилиаций возникла дикая ситуация по 3-4-5 мест работы у автора. Т.о., выходит, что 1 статьёй отчитывается сразу несколько организаций (даже если абстрагироваться от ещё пары-тройки грантов). Что, конечно, совсем уж нехорошо. 

Но вот "дьявол кроется в деталях" - в Таблице 2. Вроде как Q1 почти в 40 раз "ценнее" чем журнал ВАК. Но вот много ли учёных пишут "в одно лицо" таких статей? А наличие несколькоих соавторов здорово снижает баллы организации.

Не понятно, почему "обидели" журналы Q4 приравняв их к «обычному» Q. Cовершенно понятно, что это всё «чистилище» из ESCI, которое по «помоечности» сильно опередило Scopus.

Чтобы никого не обидеть - не буду высказывать свои мысли кем и в угоду кому были разработана такая странная «Методика…» и как она прошла тайное предновогоднее согласование в РАН. Но её применение нанесёт несомненный вред для дела исполнения поручения В.В.П. об увеличении числа публикаций в международных базах данных и вхождения РФ в топ-5 стран.

считает Счетная палата Кудрина.

https://news.mail.ru/society/40492695/?frommail=1

А что предлагается для детоксикации?

1) создать систему мониторинга результативности исследовательской деятельности, etc

Может быть, юристов привлечь?  Почему-то за границей работают и не напрягаются по поводу финансирования. Занимаются исследованиями, публикуют статьи. Год назад ОНР обсуждало идею оценки деятельности по публикациям. Ничего не изменилось, мнение ОНР ничего не значит. Выучившиеся детишки от нас съезжают толпами - зарплата выше, жизнь спокойная. В России хорошие руководители (их много?) удерживают премиями с грантов некоторое количество научных сотрудников с окладом 13 тыс. Между тем, Счетная Палата, видимо, считает, что и этого слишком много. 

Уважаемые коллеги,

по поводу всех этих методик подсчета результативности, спускаемых в инстиутуты из министерства, есть известная поговорка: "чем бы дитя ни тешилось, лишь бы не плакало".  Мы уже не первый год заявляем, что оценка результативности института посредством вычисления 3-4 интегральных показателей, не вникая в качественную суть научных результатов, в принципе ущербна. Но кто в министерстве, кроме лишь нескольких сотрудников во главе с академиком Трубниковым, в состоянии оценить научные результаты по существу, а не формально?  Для этого ведь надо иметь собственные заметные научные  результаты, на прошлом месте работы. Написать же методику количественной оценки, одинаково пригодную для филологов, математиков  и физиков в принципе невозможно.  

Для нас важнее сейчас понять, как свести к минимуму потери рабочего времени на подсчет всяких коэффициентов, количества "своих" и "чужих" соавторов, особенно с отдельным учетом Q1, Q2, например для института публикующего 450 работ в год, в том числе в составе 10-12 международных коллабораций.  Прошу коллег поделиться техническим опытом.  Можно легко скачать списки публикаций с WoS в любом формате при наличии стандартной подписки, но как автоматически сосчитать "своих" и "чужих" в каждой работе и присвоить журналу квартиль?

Разумеется, есть продукт InCites: https://clarivate.com/webofsciencegroup/solutions/incites/   подписка на которой стоит отдельных немалых денег. Кто нибудь пользуется им?   Есть ли там возможность вычислять всякие "чудные" показатели для министерства, которые разработчикам InCite даже не могли придти в голову?

А кстати, поскольку научных работников уже не первый год унижают принудительным переводом на долю ставки, чтобы выполнить майские указы нашего бессменного и незаменимого руководителя о зарплате на полную ставку в 200% средней по региону, то почему бы не учесть этот коэффициент?  В прошлом году у нас было 0.6 ставки в этом - 0.85. Давайте делить на эти дроби при подсчете аффилиаций!  Ведь если первый соавтор из двух в первом институте работатает на целую ставку, а второй - автор в другом - на 0.6, то ведь второй работатает заметно эффективнее - с меньшими затратами  времени он сделал ровно ту же работу, что и второй. 

Если в отчетах нашу зарплату указывают в пересчете на полную ставку, то давайте и по публикацииям отчитываться в пересчете на полную ставку. Логично?

Судя по последним вестям с объединённого собрания МОН и Президиума РАН – предложенная «Методика…» будет жить, и нам остаётся только «подёргать коэффициенты», как и предлагал президент РАН. У меня, правда, небольшой опыт писательства, но есть свои публикации по всем позициям «Методики…», а ещё больше прочитано – так что есть с чем сравнить. Сразу оговорюсь: как быть с монографиями – я не знаю. С одной стороны, даже просто написать страниц 200 текста – это большой труд. С другой стороны, что греха таить, рецензирование монографий совершенно формальное, а получение «рекомендации» и «грифа» – лишь вопрос упёртости автора. Отдельный вопрос – коллективные монографии, которые сейчас, фактически, являются сборником статей. Поэтому сколько и как давать баллы, перемножать ли их механически на печатные листы или тираж – надо решать отдельно. И, конечно, нельзя забывать об основных индикаторах, заданных НП"Наука" (достижения чего и должна стимулировать эта "Методика..."). Поэтому, по основным коэффициентам, как мне кажется, можно подумать над следующей корректировкой:

1. Журналы ВАК. Не понятно, чем «журналы ВАК» лучше, чем РИНЦ? Помоек и там, и там достаточно. Однако есть вполне приличные молодые журналы не-ВАК, а есть и «заслуженные» ВАК-издания, ставшие уже мемом (например, журналы пензенской «Академии Естествознания»). Вообще говорить о качественном превосходстве «списка ВАК» над прочим РИНЦем не приходится ещё и по причине заявительного принципа формирования этого списка, так что нет никакого смысла использования именно этого показателя. Самое интересное, что мониторинг государственной ФСМНО (которая ныне стала БДРДНО) базируется именно на РИНЦ. Как я понимаю, этот совершенно искусственный «список ВАК» в данной «Методике…» мог возникнуть только по причине того, что буковка “R” в формулах была уже занята под RSCI, а посметь взять другую буковку (например, “E”) разработчики не посмели. Итак, для журналов РИНЦ можно установить балл равный 1 (не вижу смысла вводить разные дробные значения).
2. Журналы RSCI. Теоретически они несколько качественнее прочего РИНЦ и ВАК. Практически же, конечно, надо оценивать каждую статью – но это совсем нереально. Поэтому примем за данность, исходя из соотношения численностей изданий – что журнал RSCI стоит 5 баллов.
3. Журналы Q (именно в такой последовательности). За некоторыми исключениями – это журналы WoS ESCI. Отличный бизнес-проект Clarivate для папуасов, готовых менять золото на стеклянные бусы. ESCI не имеет никакого отношения к качеству журналов, и лишь греет слух волшебным сочетанием букв WoS. Только из уважения к этому можно предложить давать за Q, скажем, 10 баллов.
4. Журналы Scopus. Раньше считались посредственными, но на фоне ESCI уже не кажутся такими убогими. Конечно, Scopus тоже коммерческий проект и стремится максимизировать прибыль путём включения в индекс всего подряд (за немалые деньги). Но и «чистки» иногда проводятся (в основном косметические). Т.к. все более-менее приличные издания имеют импакт-фактор, то для журналов Scopus можно установить 15 баллов.
5. Журналы Q4. Сюда попадают, как правило, региональные журналы, к которым относятся и большинство отечественных переводных экс-РАНовских. Да, тут есть и «кумовство», и проталкивание откровенно слабых статей – но в целом уровень наших журналов не хуже, чем сравнимых иностранных. Поэтому, думаю, Q4 имеет право на свои 30 баллов.
6. Журналы Q3. Отечественных среди них уже немного (что жаль). Достойные крепкие «середнячки» Q3 имеют право на 50 баллов.
7. Журналы Q2. Здесь уже играют практически только международные издания. Публикация в таких журналах практически гарантирует хорошее цитирование, поэтому 75 баллов.
8. Журналы Q1. Как бы мы не относились к индексам цитирования и прочей «библиомистике» - действительно уровень статей в топовых журналах ощутимо выше всех остальных. Подготовить публикацию для Q1, как правило, можно только хорошим коллективом (ещё и международным). Но и престижа для любой организации публикации в Q1 добавляют существенно – поэтому 100 баллов.

Это, как известно, основное правило Уилера. Несмотря на его кажущуюся парадоксальность, оно более чем уместно в отношении обсуждаемой Методики. Выше я расспрашивал коллег о возможностях автоматизации - быстрого подсчета показателя результативности на основе стандартного файла выборки работ сотрудников конкретного института из WoS, Scopus и пр. Это не только сэкономит нам всем драгоценное время, но и позволит быстро обкатать Методику, скажем, на публикациях 2017 или 2018 года, ретроспективно. Можно сравнить эти формальные показатели у разных институтов, в разных областях науки и сравнить с эспертной оценкой для проверки осмысленности показателей.

Если этого не сделать, опять может получиться чушь. Высосанные из пальца "надерганные" коэффициенты могут дать бессмысленные показатели в конце года, когда все ручонками сосчитают их. Особенно когда разные группы влияния желают "подкрутить" схему подсчета в свою пользу.

Создание инструментов быстрого подсчета показателей, их анализа должно быть заботой МОН. Пусть объявляют конкурс, оформляют конктракт с желающими выполнить эту работу, проверяют результат. Только не надо городить новую "Карту российской науки".  Должен быть компактный продукт с открытым исходным кодом, понимающий основные библиографические форматы.

Недавно в ТрВ была статья с таким названием, в которой автор утверждал, что большинство статей из WoS публикуется в журналах первого квартиля. К  моему удивлению оказалось, что даже в разделе "математика" Q1 составляет примерно треть. На днях получаю письмо с предложением стать редактором спецвыпуска журнала Mathematics издаваемого MDPI  как раз из Q1. Поскольку я не только не публикуюсь, а даже и не пытаюсь подавать статьи в традиционные журналы из Q1, решил внимательнее посмотреть на этот недавно организованный электронный журнал. Первое что удивляет - это рост числа публикаций 2016 - 68 статей,  2017 - 84,  2018 - 335, 2019 -1246. Некоторые авторы смогли опубликовать здесь  больше десятка статей  за прошлый год. Список планируемых на 20 год спецвыпусков   состоит из порядка 100 наименований. Так что число публикаций может вырасти еще в 5-10 раз. И все будут  в Q1 естественно. Среди сотен разного уровня редакторов я не обнаружил  фамилий известных мне выдающихся математиков, есть несколько знакомых примерно моего или немного большего уровня известности. Весь этот банкет по 1200 швейцарских франков за статью. Можно предположить, что при таком обилии публикаций IF журнала уже в следующем году резко провалится. Но не стоит торопиться с выводами. Если основной журнал действительно по математике, то множество спецвыпусков по различным приложениям, в частности, по биоиформатике, где средняя цитируемость статьи гораздо выше. Так что если журнал останется в разделе  WoS "mathematics" у него есть все шансы удержать свой импакт на уровне выше 1.1, что достаточно для попадания в Q1. 

Как оказалось подобная бизнес-модель прекрасно работает и в смежных областях. Журнал открытого доступа IEEE Access (IF>4, Q1 в трёх разделах) вырос с 249 статей в 2015 году до 14625 статей в 2019 и видимо не остановится на достигнутом. В нём отдельные авторы публикуют уже сотни статей в год. Цена вопроса всего 1750$. По сравнению с бюджетом института - это небольшие деньги. Учитывая коэффициент 19.7 нашему институту хватит всего 30 статей для обеспечения министерского плана даже с 10% ростом. 

Только кто будет писать обращение и, главное, какая будет аргументация? Мы это много раз обсуждали, и вот опять напишем в очередной раз и опять всё написанное канет в вечность. Я возвращаюсь к любимой теме – составлению требований ОНР – и уже провёл небесполезную дискуссию с Евгением Евгеньевичем в Совете. Он, как и Сергей Петрович, противник этого. Вот выдержки.

­ЭС – Почему Вы не поддерживаете создание фундаментального списка необходимых условий работы/наших требований к власти? Ведь везде и всегда речь идёт почти об одном и том же. Так не лучше ли один раз написать, выдвинуть и потрясать на всех площадках, где возможно? ... Имея такой список, мы в любой дискуссии с министерством могли бы апеллировать к этому списку, не прибегая вновь и вновь к уже набившим оскомину одним и тем же аргументам.

ЕЕ – Проблема в том, что у нас, увы, нет возможности делать эту работу на том уровне, который должен быть (детальная проработка по результатам деловых обсуждений), а на другом уровне это либо не имеет смысла, либо вредно… Более реалистично заниматься тем, что мы делаем – действиями по конкретным вопросам.

ЭС – Да, нам с Вами не под силу «детальная проработка», но это и не наша задача, это, действительно, дело специалистов-управленцев. Мы же должны сформулировать условия для нормальной научной работы, а их то мы знаем!

Л.Г. Колесниченко – А мне кажется, что это надо делать. Вопрос, какой должна быть организация научной деятельности в РФ, не решен и не может быть решен никем, кроме как самими научными работниками.

Сергей Петрович! Насколько я помню, Вы высказывались в том же духе, что и Евгений Евгеньевич. Вы даже, помнится, говорили, что нужно писать серию статей, а не требования. Но я не буду продолжать дискуссию с Вами, я хочу опять привлечь внимание к проблеме: нужно сформулировать условия, необходимые (хотя и не достаточные) для развития науки в нашей стране.

Россия обречена на наукометрию

Надежда Волчкова снова отличилась. В "Поиске" появилось интервью с председателем  Профсоюза работников РАН В.П.Калинушкиным, проливающее некоторый свет на деятельность рабочей группы и на некоторые недостатки методики, ускользнувшие от ее критиков, которых сегодня, кажется, уже стало больше чем ученых. Интересна вот эта цитата:

 Очень резкой, на наш взгляд, является разница между повышающими коэффициентами для журналов разных квартилей – 1:2,7:7,3:19,7. Сначала «перепад» предлагалось сделать еще «круче» – 1:3:9:27, потом договорились о небольшом смягчении. Профсоюз же предлагал установить соотношение 1:2:4:8. Однако нашу позицию никто не поддержал. Коллеги по группе уверяли меня, что ведущие ученые, которые публикуются в высокорейтинговых журналах, должны иметь весомые преимущества. Мой аргумент, что зависимость «квартильности» публикации от качества проведенного исследования не всегда линейна, был гласом вопиющего в пустыне. 

Замечу, что ФИАНовский 1:3:9:27 наш УС отверг сразу, когда обсуждал Положение о ПРНД и утвердил 1:2:3:4.. Все-таки в институтах далеко не все пишут только в Q1. 

Полезно знать, что представители  социогуманитарных и сельскохозяйственного отделений РАН просто саботировали заседания, по сути подставив сотрудников своих институтов. Надеюсь, что еще удастся найти приемлемое для гуманитариев решение. Спросили бы самих научных работников - легче было бы.

И вот очень важная цитата: никто не заметил, что расчет при распределении ведется не в рублях, а в мифических нормочасах 

Меня больше беспокоит, что за кадром остается очень важный недочет методики, который, боюсь, сильно ударит по институтам в регионах.
– В чем там проблема?
– Неправильно, на мой взгляд, решен вопрос о том, как нормировать показатели. Понятно, что общая публикационная производительность зависит от численного состава института и направления развиваемых в нем исследований. Предлагались разные варианты, как вычислить «усредненный» план. Рабочая группа заняла разумную позицию – нормировать по размеру финансирования, идущего на фундаментальные исследования, включая госзадание, средства научных фондов и другие источники.
Однако в итоге министерство решило использовать вместо рублей нормо-часы. Но стоимость нормо-часа в разных регионах существенно отличается, поскольку в эту величину «зашита» зарплата научных сотрудников, а она в соответствии с указом президента завязана на среднерегиональную. Условно говоря, час работы в Ивановской области стоит вдвое меньше, чем в Москве. Ориентация на нормо-часы приведет к тому, что институт в Иваново получит вдвое больший план по публикациям, чем столичный НИИ, при том же объеме финансирования.
Я постоянно возвращал коллег к этому вопросу, но и здесь профсоюз никто не поддержал. Удивительно, что люди не понимают серьезности этой проблемы.
– А почему министерство не захотело учесть такой, казалось бы, важный фактор?
– Привязка средних зарплат ученых к среднерегиональной величине (и сохранение этого принципа при формировании госзадания) считается правильным подходом, так как это якобы позволяет учитывать разницу в покупательной способности рубля в регионах. По сути, это политическое решение, опирающееся на указ президента. Понятно, что один профсоюз не может ему противостоять. Корректировки методики в этой части можно будет добиться, только если нас поддержат региональные отделения РАН, институты, ФИЦ.  

 А вот еще курьез: представителей от вузов в комиссии было больше, чем от РАН, только от ВШЭ - несколько человек. Интересно, как они оценивают результат своей работы.

Полезная информация - работа  продолжается:

                             "У нас есть примерно полгода, чтобы подправить методику"

от eLIBRARY https://www.elibrary.ru/wos_scopus_rsci.asp

Примерно, как и следовало ожидать: "список ВАК" ничуть не лучше остального РИНЦ, "помоечный" ESCI сильно переоценён, RSCI не хуже аналогичных без-импактных журналов WoS и Scopus. Самое печальное - что уровень цитирования отечественных учёных даже в топовых журналах ниже, чем среднее.

Пока у нас продолжают ружья кирпичом чистить, Китай неожиданно решил от этого отказаться, причем радикально и системно, кажется, в чем-то даже обойдя многие западные страны.

https://news.cgtn.com/news/2020-02-25/China-to-move-away-from-Science-Ci...

"China's Ministry of Education and Ministry of Science and Technology issued an official notice last week on regulating the use of Science Citation Index (SCI) papers in the evaluation system of universities and academic institutions across the country, calling for a break from the longstanding SCI-supremacy in assessing researchers and institutions.

The authorities issued clear guidelines on reversing the SCI-supremacy phenomenon in a move to change the current academic assessment and evaluation systems that are over-reliant on published papers, as well as to develop a more comprehensive evaluation system in academia."

Конкретные меры описаны здесь:

https://scholarlykitchen.sspnet.org/2020/02/27/new-chinese-policy-could-...

Небольшой пример:

"- Individual researchers are limited to five representative works
- Key subject innovation teams: no more than ten representative works
- National Laboratories/State Key Laboratories and other scientific and engineering research bases: no more than 20 representative works
- Central level science research institutions: no more than 40 representative works
...
For representative works, publishing expenses can be paid for through the special fund of the National Science and Technology. "