Методика расчета результативности по ГЗ
Министерство опубликовало методику расчета "Комплексный балл публикационной результативности". В 2020 году результативность выполнения ГЗ у научных организаций будет рассчитываться по описанным правилам.
Сейчас данный документ активно обсуждается: 11 февраля будет обсуждение на Президиуме РАН. Совет ОНР также формулирует свое мнение по данному вопросу. Методика довольно громоздкая и тяжелая для восприятия, но мы просим коллег присоединиться и высказываться по основным принципам: к чему, на Ваш взгляд, приведет подобный учет публикаций?
Здравствуйте, может быть,
Здравствуйте, может быть, теперь журналам ВАК, проиндексированным в Web of Science или Scopus, включать в переводную версию все статьи из русскоязычной? Степени кандитатов и докторов наук утверждаются ВАК, гос. язык - русский. И всего 0,5 балла за варинт на русском. Если статья принята в печать, то зачем устраивать дополнительный отбор на стадии перевода?
То небольшое количество долларов за переводную публикацию можно перестать выплачивать, или выплачивать только молодым совторам. Непроиндексированным журналам ВАК надо индексироваться.
Во многих зарубежных журналах, начиная с квартиля Q3, надо оплатить 1000$ Если установлен плановый показатель КПБР = 20 - это 7 статей Q3 - 7000$ - 0,5 млн. руб. Между тем, финансирование на это не выделяется.
В журналах ВАК публикация бесплатна.
От меня ускользает смысл
От меня ускользает смысл Ваших вопросов.
Тут косвенно оценивается качество статей. Я, пожалуй, соглашусь, что если журнал не индексируется нигде, кроме списка ВАК, то с чего бы высоко оценивать публикацию в таком журнале? Особенно, если у нас декларируется цель к 2024 г. выйти в топ-5 на глобальном уровне. Ранжирование должно быть, тут все логично.
Гонорары за переводные версии статей уже довольно давно никто не выплачивает, насколько мне известно. Если и есть еще где-то - это, скорее, лишняя проблема, чем доход.
Публикации в большинстве рецензируемых научных журналов бесплатные. Есть и возможность оплатить открытый доступ, но это не является непременным условием и опционально. Конечно, есть издательства и журналы, специализирующиеся только на открытом доступе и проводящие довольно агрессивную политику, но это уже другая история.
Наверное, речь не о том
Наверное, вопрос состоит в том, что есть журналы, которые переводятся не полностью. То есть не все статьи попадают в переводную версию, и, тем самым, далее не индексируется. Например, не знаю, как сейчас, но раньше так было с журналом "Физическая мезомеханика". Только это никак не было связано с рейтингами, баллами, и так далее, а политикой редакции и отношениями с издательством, где издается переводная версия.
По поводу платных журналов открытого доступа, такой тренд есть, особенно в условиях прессинга, люди выбирают такое решение проблем публикационной активности. Но на мой взгляд, платить за это, только тратить деньги на ветер. Если, конечно, это не супер топ журналы.
Да и в общем все это обсуждалось много раз и, судя по всему, будет обсуждаться и далее.
Да, в общем, год назад на
Да, в общем, год назад на форумах ОНР с возмущением обсуждалась идея оценки деятельности по баллам за публикации. За год ничего не изменилось.
Достижение цели выйти в топ
Достижение цели выйти в топ отчасти зависит от количества публикаций в WoS. Почему бы не переводить все статьи из русскоязычной версии?
переводить статьи
Вы имеете в виду какие-то конкретные журналы? Большинство экс-МАИКовских журналов и так переводятся "номер-в-номер", а некоторые даже русскоязычные имеют свой импакт-фактор (например, "Зоологичекий журнал" - все русские статьи есть в WoS). Да, некоторые журналы переводятся выборочно а некоторые и вовсе "вылетают" несмотря на свой авторитет (как "Паразитология"). Но здесь не стоит забывать, что издание журнала - это бизнес, и очень прибыльный (как показывает история "Плеяд"). Но для этого, как правильно тут говорит Виктор Анатольевич - нужна и работа редакций. А вот с этим довольно сложно.
По-моему эта "Методика..."
не лишена некоторой логики. Например, введён коэффициент по числу мест работы. Не секрет, что благодаря активной скупке ВУЗами аффилиаций возникла дикая ситуация по 3-4-5 мест работы у автора. Т.о., выходит, что 1 статьёй отчитывается сразу несколько организаций (даже если абстрагироваться от ещё пары-тройки грантов). Что, конечно, совсем уж нехорошо.
Но вот "дьявол кроется в деталях" - в Таблице 2. Вроде как Q1 почти в 40 раз "ценнее" чем журнал ВАК. Но вот много ли учёных пишут "в одно лицо" таких статей? А наличие несколькоих соавторов здорово снижает баллы организации.
Не понятно, почему "обидели" журналы Q4 приравняв их к «обычному» Q. Cовершенно понятно, что это всё «чистилище» из ESCI, которое по «помоечности» сильно опередило Scopus.
Чтобы никого не обидеть - не буду высказывать свои мысли кем и в угоду кому были разработана такая странная «Методика…» и как она прошла тайное предновогоднее согласование в РАН. Но её применение нанесёт несомненный вред для дела исполнения поручения В.В.П. об увеличении числа публикаций в международных базах данных и вхождения РФ в топ-5 стран.
Не совсем так.
Если все сотрудники из одной организации и нет двойных аффиляций - все уйдет в организацию, там же есть суммация по авторам. Посему если есть статья из 10 соавторов из института в Q1 и статья с одним автором в ВАК - разница для института будет все равно в 40 раз.
Пётр Андреевич,
да, конечно, для организации разницы нет - лишь бы Q1 был "внутри". Я сам особо писать не люблю - но люблю читать. И, по крайней мере в биологии, подавляющее большинство публикаций в приличных журналах - это большие коллаборации, как правило ещё и международные. А вот любые коллаборации по "Методике" - как раз и есть большое зло. Поэтому совершенно логично что для выполнения "плана по валу" проще всего для администрации будет простимулировать написательства именно кВАКов. Т.к. странно ожидать существенного роста топовых статей: кто работает - тот и так работает почти на пределе.
Но в этой "Методике" есть и более смешной момент - для слишком активных "писателей" вводится "деприссионный" коэффициент. Вот это совсем весело - так и представляю как приходит чиновник и говорит: "выключайте свои ускорители - мы уже выполнили план по статьям".
Напрашивается предложение
1. Исключить из "Методики" подсчет иностранных соавторов в числе соавторов статьи.
2. То же самое сделать для соавторов, неаффилированных с оцениваемой организацией.
3. Отменить верхнюю границу по статьям. Но при этом сделать это так, чтобы перевыполнение плана не влекло автоматическое увеличение плана на следующий год.
а тогда
это будет практически та же методика, что до этого и была. А от неё, в сторону "учёта пожеланий" вроде как и было решено отойти. По крайней мере так А.Р.Хохлов объяснил https://www.facebook.com/permalink.php?story_fbid=881430852273627&id=100012201617152
Ну тогда надо ждать новой методики :)
Трудно предположить, что на этой методике все успокоится. Тогда надо расслабиться, и ждать новой. Старая не устраивала, "по просьбам трудящихся", ее "улучшили". Ну потом улучшат снова. Тот же Хохлов написал, что методика практически полностью соответсвует предложениям РАН. Только там нет про поддержку журналов. Ну вот журналы поддержат, однако, на мой взгляд, большого толку от этого не будет.
Положительный момент
В тексте А.Р. Хохлова есть очень здравое положение (конкретно, п.2), все статьи для госзадания организации защитываются, в том числе со ссылкой на гранты (по крайней мере РФФИ и РНФ). Таким образом не возникает необходимости писать отдельно статьи по госзаданию и грантам, что, вообще говоря, бред какой-то. Иначе возникала ситуация, когда иметь гранты невыгодно, потому что может не хватить здоровья выполнить госзадание и соответственно лишиться надбавок - тогда зачем эти гранты и не нужно нам на Таити. Кто подавал на гранты из развитых стран в курсе, что обычно один из ворпосов - а есть ли у тебя деньги в принципе и какой шлемазл их вам дал - если нет, то мы будем заявку еще более внимательно смотреть Что касется добавления суммы грантов в знаменатель общего финансирования, то это нормально - в любом случае эта доля невелика, а так то выглядит справедливо (для бюджетных фондов, конечно).
Методика расчета КПБР - комментарий
Как видно из рассматриваемого документа, «Методика разработана Минобрнауки России в рамках исполнения подпункта «д» пункта 2 перечня поручений Президента Российской Федерации от 29 декабря 2018 г. № Пр-2558 по итогам заседания Совета при Президенте Российской Федерации по науке и образованию 27 ноября 2018 года» об установлении единых требований к порядку формирования и утверждения государственного задания на проведение за счёт бюджетных ассигнований федерального бюджета фундаментальных, поисковых и прикладных научных исследований.
Вместе с тем, в подпункте «б» пункта 1 вышеупомянутого перечня поручений Президента Российской Федерации сказано следующее:
«разработать единые критерии проведения экспертизы и оценки результатов фундаментальных, поисковых и прикладных научных исследований, осуществляемых за счёт бюджетных ассигнований федерального бюджета, предусмотрев, что такие критерии позволят сопоставлять эффективность расходования бюджетных ассигнований федерального бюджета и будут применяться к указанным исследованиям независимо от инструментов их финансирования и ведомственной принадлежности организаций, осуществляющих исследования».
Поскольку финансирование фундаментальных, поисковых и прикладных научных исследований, осуществляемых за счёт бюджетных ассигнований федерального бюджета, выделяется как для выполнения государственных заданий Минобрнауки России, так и для реализации проектов, поддерживаемых Российским фондом фундаментальных исследований (РФФИ) и Российским научным фондом (РНФ), при расчете «Комплексного балла публикационной результативности» (КПБР) целесообразно учитывать весь пул публикаций по итогам работ, поддержанных Минобрнауки, РФФИ и РНФ.
В этом случае методика расчета КПБР будет соответствовать «духу и букве» перечня поручений Президента Российской Федерации от 29 декабря 2018 г. № Пр-2558, что позволит преодолеть ведомственную разобщенность, недавно отмеченную в отчете Счетной палаты о результатах «Стратегического аудита формирования и достижения показателей деятельности федеральных органов исполнительной власти, руководство деятельностью которых осуществляет Правительство» за 2017-2019 г.г.
Специфика научных исследований связана с тем, что нередко идеи и технологические решения, возникшие в рамках проекта, поддержанного одним из «инструментов финансирования», в дальнейшем служат основой для развития следующего проекта, поддерживаемого другим «инструментом финансирования». Наиболее интересные научные результаты, как правило, достигаются совместными усилиями специалистов, работающих в разных областях науки и обладающих взаимно-дополнительными компетенциями. Не случайно, публикации в высокорейтинговых международных научных журналах практически всегда содержат благодарности за поддержку множественными источниками финансирования.
Предлагаемое изменение методики расчета КПБР будет способствовать достижению национальных целей и стратегических задач развития Российской Федерации на период до 2024 года, предусмотренных Указом Президента Российской Федерации № 204 от 07.05.2018 г.
Опять же где там подсчет иностранных соавторов ?
Там просто коэффиициент для Q у автора (ФИО) делится на число соавторов. И потом все авторы из одной организации складываются. В итоге все из одной конторы - получаем чистый Q. Один в окружении 99 соавторов - получи для института 1\100 Q. А если у тебя две аффиляции - 1\200.
Вот тут как раз главный изьян методики - нет роли главных авторов, все равны. А так не бывает ...
Иностранцы и калькулятор
Это было в ответ на то, что часто лучшие статьи делаются в международной коллаборации, и что "Методика" не способствует такой коллаборации. Поэтому я предложил исключить иностранцев из числа соавторов, чтобы поощрить такое сотрудничество.
У нас (на нашем факультете в Гданьске) за статьи дают премии. С этого года ввели повыщающий (маленький) коэффициент к премии, если статья с иностранцами. Правда ограничили число статей. Опять же не всех категорий. В общем, только приспособился к одним формулам, получили другие.
Кроме того, администрация распространила калькулятор подсчета баллов (MsExcel), чтобы сотрудники поупражнялись и приготовились к карам. Ну а завкафедрой на основе этого каждый квартал упражняется в подсчете баллов у сотрудников.
Так что такой вот калькулятор бы сильно помог для такой методики. Чтобы не каждого заставлять считать. А потому кому-то проверять посчитанное.
Какой "депрессионный" коэффициент ?
На самом деле методика стимулирует именно писание в журналы Q1-Q2 - уже есть калькулятор для прикидки прироста необходимого числа статей для выполнения планов и вот он активно реагирует только на первые два квартиля. Все остально не эффективно.
я так понял
из формул с.10-11 - если организация достигла некоего "среднего по больнице" то смысла дальше наращивать баллы нет - по причине "механистической логики" этого документа: увеличение публикационной активности должно идти в рамках представленной модели. Дали деньги - определили "часы НС" - написали сколько надо статей. Более того, из логики расчётов - писать "выше крыши" ещё и вредно, ибо не получится демонстрировать постоянный и неуклонный рост КБПР (простихоссподи, это ещё худший лингвистический урод чем ПРНД).
У меня нет доступа к "Парусу" поэтому поиграть с калькулятором я не могу. Но, прикинув по своим публикациям за три года могу уверенно сказать, что для выполнения "плана по валу" кроме текущей деятельсти с не-институтскими коллаборациями, пожалуй, придётся накидать ещё и пару кВАКов. Это как раз даст эффект, аналогичный большой статье в Q2 - но с десятикратно меньшими усилиями. Здесь - как в сельском хозяйстве: невозможно с коровы получить больше молока, чем она может дать. Да, корову можно хорошо кормить, вовремя чистить стойло и даже отапливать коровник - но всё равно больше возможного ведра за дойку не получишь. А если требуют ведро-и-ковшик? Знаете, как поступают на ферме? Хлоп в бидон недостающего объёма обрата - и дело с концом. Ну а потом всегда можно объяснить: да, молоко жиденькое - зато много. За качественные показатели - пожурят, а вот за недодой - накажут. А это, как говорят в Одессе: "две большие разницы".
Последняя фраза особенно
Последняя фраза особенно хорошая. И как бы сделать акцент, что количество публикаций и цитирований в международных базах данных не свидетельствует о величии науки в какой-либо стране. В каждой области известны имена выдающихся ученых. Их деятельность оценивается не по числу цитирований. Это еще по нам Крым не аукнулся, прекратили бы зарубежные журналы в печать принимать - и сидите.
так-то
про топ-5 - это был сарказм. Юмор - единственный способ не сойти с ума от безумных инициатив. Я, вот, помню период когда мы "делили хлор на никель" - был какой-то показатель Cl/Ni - ну как тут не постебаться?
Но, как бы смешно это не было - правительством поставлен некий план, мы должны его как-то выполнять, ибо за это получаем зарплату от государства. И деваться тут некуда: "кто девушку кормит - тот её и танцует".
Кстати, если быть объективным - то упомянутые вами "имена выдающихся учёных" - они как раз известны благодаря не только гениальным работам - но и хорошим публикациям. Например, и И.П.Павлов, и Н.И.Вавилов активно публиковались в международных журналах. А вот не смотря на гениальность Н.В.Тимофеева-Ресовского, как рассказывают про идею дуплекса ДНК в "зелёной тетради" - никто не прочитал.
Госфинансирование для науки «токсично»
считает Счетная палата Кудрина.
https://news.mail.ru/society/40492695/?frommail=1
А что предлагается для детоксикации?
1) создать систему мониторинга результативности исследовательской деятельности, etc
Может быть, юристов привлечь?
Может быть, юристов привлечь? Почему-то за границей работают и не напрягаются по поводу финансирования. Занимаются исследованиями, публикуют статьи. Год назад ОНР обсуждало идею оценки деятельности по публикациям. Ничего не изменилось, мнение ОНР ничего не значит. Выучившиеся детишки от нас съезжают толпами - зарплата выше, жизнь спокойная. В России хорошие руководители (их много?) удерживают премиями с грантов некоторое количество научных сотрудников с окладом 13 тыс. Между тем, Счетная Палата, видимо, считает, что и этого слишком много.
Давайте только не будем про заграницу
"За границей" очень даже напрягаются. Например, в Польше от каждого научного сотрудника требуется 4 статьи за 4 года с учетом соавторства. То есть если 2 соавтора, то нужны 2 статьи в год. Хорошо хоть соавторство посторонних по отношению к огранизации людей не учитывается. Глупостью (на мой взгляд) является то, что требование 4х статей распространяется на всех одинаково. независимо от должности. Про гранты я скромно промолчу.
Вопрос, однако, что делать тут.
1. Почему бы не переводить все статьи - это вопрос к редакциям. Я вижу вполне успешно развивающиеся с нуля журналы, в то время как очень много старых "заслуженных" журналов, "почивая на лаврах", оказались выброшенными. Так что вопрос журналов - вопрос отдельный, и тут тоже обсуждался - нужны а) авторитетная редакция, б) электронная система подачи и общения с редакцией, в) сайт журнала, г) и остальное.
2. На мой взгляд вполне очевидно что "в среднем" статья, опубликованная в первом квартиле, лучше статьи, опубликованной в каком-то безквартильном вестнике. Как минимум для этого требуется больше усилий. Так что у предложенной методики логика есть. Местами эта логика кривовата, ну так что у нас не криво?
Безусловно, логика есть.
Безусловно, логика есть. Статьи в журнале Q1 говорят сами за себя. За публикации должны начисляться баллы и по ним премии, выделяемые Минобрнауки дополнительно к утвержденному финансированию.
Но КБПР по гос.заданию не должен существовать. То, что организация не занимается ерундой, предварительно подтвердило Минобрнауки, утвердив Планы. Ежегодные отчеты также высылаются рецензентам и кураторам из Минобрнауки. Они проверяются и одобряются. Почему одобренный отчет сам по себе не является подтверждением результативной деятельности организации? Предполагается, что отчет проверяет ученый, разбирающийся в проблеме.
Если вернуться к пожеланиям Президента увеличить долю публикаций российских ученых в WoS и Scopus, Академия Наук могла бы рекомендовать журналам ВАК переводить на английский свои выпуски полностью и не "почивать на лаврах", проиндексироваться в базах данных.
В Польше действительно завышенные требования, невозможно писать столько качественных статей, особенно, экспериментаторам, которых и по 5-6 человек бывает.
Рекомендации и деньги
РАН может рекомендовать все, что угодно, в том числе и переводить на английский. Хоть на хинди. Кто конкретно это будет делать и за какие деньги? С тем же успехом можно сразу рекомендовать авторам переводить самим и публиковать по-английски. И тогда уже не в журналы ВАК посылать.
Даже с журналами, издаваемыми РАН (ну с этим словом на обложке), все не так просто. Например, потому что переводы бывают просто ужасными.
Ну и вот простой пример. Проосит меня один редактор поприглашать иностранцев в его журнал, чтобы рейтинг поднять. Я в ответ пишу, что хорошо бы прислать описание журнала на английскои и требования к авторам на том же языке. Получаю. Читаю. Сильно удивляюсь - редакция догадалась убрать требование акта экспертизы, однако наличие письма от организации как обязательного, осталось. Я написал, что такое письмо не пишется, и например, я не пойду спрашивать ректора или декана такое письмо подписать, не поймут, зачем. Ну редактор согласился убрать.
Автоматизация обработки министерских запросов ? InCites
Уважаемые коллеги,
по поводу всех этих методик подсчета результативности, спускаемых в инстиутуты из министерства, есть известная поговорка: "чем бы дитя ни тешилось, лишь бы не плакало". Мы уже не первый год заявляем, что оценка результативности института посредством вычисления 3-4 интегральных показателей, не вникая в качественную суть научных результатов, в принципе ущербна. Но кто в министерстве, кроме лишь нескольких сотрудников во главе с академиком Трубниковым, в состоянии оценить научные результаты по существу, а не формально? Для этого ведь надо иметь собственные заметные научные результаты, на прошлом месте работы. Написать же методику количественной оценки, одинаково пригодную для филологов, математиков и физиков в принципе невозможно.
Для нас важнее сейчас понять, как свести к минимуму потери рабочего времени на подсчет всяких коэффициентов, количества "своих" и "чужих" соавторов, особенно с отдельным учетом Q1, Q2, например для института публикующего 450 работ в год, в том числе в составе 10-12 международных коллабораций. Прошу коллег поделиться техническим опытом. Можно легко скачать списки публикаций с WoS в любом формате при наличии стандартной подписки, но как автоматически сосчитать "своих" и "чужих" в каждой работе и присвоить журналу квартиль?
Разумеется, есть продукт InCites: https://clarivate.com/webofsciencegroup/solutions/incites/ подписка на которой стоит отдельных немалых денег. Кто нибудь пользуется им? Есть ли там возможность вычислять всякие "чудные" показатели для министерства, которые разработчикам InCite даже не могли придти в голову?
Так вам все подсчитают ...
И более того - на соответствующем сайте оно уже подсчитано за 2018 год. Пока с ошибками.
Ведь МОН уже давно собирает данные для этих расчетов - бесконечные таблицы по отдельным сотрудникам.
Посчитать-то посчитают, но...
"...бесконечные таблицы по отдельным сотрудникам" теперь дополнятся данными по всем соавторам и всем аффилиациям, перечиленным в конкретной статье.
Угадайте с трех раз, кто будет (ручками) вводить эту информацию?
Так ее уже вводят ручками
сотрудники института. Точнее - НОО. И это было требование МОН довольно старое - когда было не ясно, зачем это нужно. Размещается в сети (на каком сайте - не помню, их сейчас с отчетами развелось море).
Все же, до сих пор...
... , насколько я знаю, столь детализированную информацию в систему "Парус" не вводили.
Увы, вводили.
Детали автоматизации этого процесса могу узнать в понедельник.
Можно, конечно, и ручками вводить ....
но мировая наука знает 5-6 общепризнанных форматов данных и систем хранения библиографической информации, начиная с изобретённого ISI и заканчивая BibTeX. Во всяком случае, когда мы пишем свои статьи, подбираем списки литературы, ручками уже давно ссылки не набиваем.
Но в общем, как я и подозревал, в МОН всё на пещерном уровне:
http://wnir.fano.gov.ru/index.php?newsid=67
Желающие узнать как должно быть могут потратить часок на обучение InCite:
https://www.youtube.com/playlist?list=PLM1kuGdwRdGkEZ_bBSsQ0_18oNJh2GcrP
Но разумется, InCite не заточен на ввод/вывод всяких дурацких показателей, придуманных МОН.
Новый год - новые проблемы:
http://www.sib-science.info/ru/ras/ot-vala-k-ballu-uchenym-veleno-07022020
С Днем российской науки вас, уважаемые коллеги!
Да, с Днем Российской науки!
И это большой праздник, дорогие друзья, потому, что мы здесь еще живы, а значит, и наука наша жива, а выжить ей, когда ею такие люди командуют - очень и очень непросто. Ведь это уже третье издание министерской методики. Первое появилось в начале 2018 года, ("Страна полуученых") . Весь год народ копил недовольство, на ОС ОНР-2018 была принята соответствующая резолюция.
Второе издание, упомянутое в замечательной заметке Надежды Волчковой в Поиске, вызвало еще большее возмущение, несколько Ученых советов институтов РАН выступили против. На нашем сайте состоялось детальное обсуждение темы Удивительные принципы формирования госзадания на 2019 год (90 комментариев!). Совет ОНР очередной раз выступил с Заявлением (от 7 марта 2019 г).
Никогда такого не было, и вот опять (с). Третий раз на те же грабли. Главное, делается все так же бездарно, третье издание такое же кривое... И нечего ссылаться на ФИАН. У ФИАНа коэффициенты по квартилям 27:9:3:1 - просто сосчитать и красиво. А как сосчитали до 3-й значащей цифры 19.7? Вот если бы все округлили: 20:7:3:1, то сильно ли бы удалились от цели, попасть в топ-5, поставленной Президентом? На сколько процентов? Боюсь, что те, кто нами командуют, даже постановку этих вопросов не понимают и не поймут... Да, кстати, отношение Q1:Q4 как 20:1 далеко не для всех институтов и не для всех областей наук приемлемо, даже если смириться с наукометрическим подходом к оценке инятитутов. Боюсь, что может это кончиться не увеличением количества публикаций, а уменьшением. Ведь тот, кто пишет только в Q4 вряд ли сможет написать в Q1, даже если ему заплатить в 20 раз больше. А вот молодежь это развратит...
Короче, коллеги, во вторник, 11-го будет заседание ПРАН, где про методику снова будет разговор. Давайте сформулируем здесь четко: что точно надо менять, что желательно и, по возможности, предложения. Пока что здесь ставятся только вопросы. Пусть будет больше требований и предложений. Может быть, и Совет успеет высказаться.
Министр у нас теперь новый, толковый, говорил, что будет стремиться к открытости министерства - может, прислушается к нам.
Еще раз с праздником!
И "четвертое (пятое, шестое и т.д) издание" будет "кривое" тоже.
Понятно стремление руководства получать "отчеты о научной работе" и оценивать "эффективность" подведомственных организаций за фиксированный промежуток времени "одной величиной", однако предлагаемый способ оценки находится в неразрешимом противоречии с внутренней логикой и проверенными временем традициями развития науки.
Значение развития науки в "этой стране" (России) для общества и государства не измеряется "количеством публикаций за год " и "суммарными импакт-факторами журналов, в которых опубликованы работы", пусть даже и взвешенными по числу организаций и соавторов, и отнесенными к конкретным источникам финансирования.
Оценку "эффективности" (продуктивности) организаций, лабораторий и отдельных сотрудников следует проводить не чаще чем за период 4-5 лет, рассматривая комплекс показателей с учетом специфики для конкретной научной области, с участием специалистов-экспертов, активно работающих в данной области.
Участие в конкретной научной публикации ученых их разных организаций и различных стран, признание поддержки конкретной работы из многих источников финансирования не должны рассматриваться в качестве "отягощающего фактора", снижающего "эффективность" оцениваемого субъекта.
Специфика научных исследований связана с тем, что нередко идеи и технические решения, возникшие в рамках проекта, поддержанного одним из «инструментов финансирования», в дальнейшем служат основой для развития следующего проекта, поддерживаемого другим «инструментом финансирования», и наоборот.
Наиболее интересные научные результаты, как правило, достигаются совместными усилиями специалистов, работающих в разных областях науки и обладающих взаимно-дополнительными компетенциями. Не случайно, публикации в высокорейтинговых международных научных журналах почти всегда содержат благодарности за поддержку множественными источниками финансирования.
Использование "дихотомических показателей" для оценки эффективности науки, несмотря на некоторую иллюзию «наглядности» и «объективности», на практике является "тормозом" для повышения эффективности научных исследований (не хочется прибегать к конспирологическим теориям, но иногда возникают мысли о возможном участии "иностранных агентов" в такого рода деятельности).
Бюрократия и форматы
Спасибо за поздравления.
Я понимаю конечно, что никого это не успокоит, но не смотря на существование нескольких форматов данных, известных мировой науке, последней также известны и законы развития бюрократии. Бюрократия, бывая полезной, тем не менее старается создать и видимость полезности, порождая разного рода документы, методички и отчеты.
Поработав в Польше в двух университетах, в каждом из них нужно было, увы, ручками заносить данные о публикациях за год. При этом если какое-то поле отсутствовало именно в той форме, которая предусматривалось программой, то это было проблемой заполнителя. Нормальным было, напрмер, позаполняв формы, узнать, что актуальную программу уни не купил еще, и что все надо повторить.
В Гданьске есть одна база данных с публикациями, все, что не в ней - не существеут. Но предпринимаюся попытки заставить все заносить и во вторую.Зачем? А кто же его знает - красиво - для видимости и пропаганды. Кстати, каждого соавтора надо заносить отдельно, и аффилиацию тоже.
Последний бюрократический выбрык - попросили предоставить достаточно детальную информацию о поездках в ряд стран, с 2017 года. Зачем? Типа для международного сотрудничества. За пару дней. При том, что она есть в базе данных - просто даме самой не интересно это составлять, поэтому этим должен заняться каждый.
вычисление КБПР
Для вычисления КБПР не нужны аффиляции соавторов, нужно только количество соавторов и число аффиляций в статье сотрудника института. Набирал своими руками эту иформацию по лаборатории уже дважды за 18 и за 19 годы. Было ясно, что для автоматического подсчёта чего-то, а теперь нам и формулу показали. Трудоёмкость работы не велика, но велика ли осмысленность? Очевидные недостатки: 1) Единая формула для всех наук - это нелепость (которая частично компенсируется раздельной оценкой иститутов по отделениям) 2) Большая разница коэффициентов по квартилям задушит российские издания из Q3 и Q4 (т.е. почти все) 3) Требование ежегодного 10% роста нереалистично ни для какой отражаюшей реальность оценки (1-2 первых года его ещё можно обеспечить изменением публикационной стратегии, но этот резерв будет быстро исчерпан)
Ответы министерства: вебинар
30.01 проходил вебинар, упомянутый в статье Надежды Волчковой. Он был чуть больше часа, вот его запись: https://yadi.sk/i/rgSt_8tlCr8bzQ Открыл его директор департамента стратегического развития, мониторинга и оценки Минобрнауки Броницкий Тимур Леонидович и передал слово своему заместителю Илье Тихомирову. Хорошо, что мы знаем теперь имена хотя бы части героев, но этим радости исчерпываются. Тихомиров, как и пишет Волчкова, не смог ответить на самые острые вопросы. Про учет квартилей в Скопусе и учет монографий у гуманитариев он честно сказал, что не знает, как это делать. Помилуйте, если не знаете, значит, методика недоработана. А они ее уже применяют, в Парус зашили.
Первое требование Заявления Совета ОНР в марте 2019 г было: Отозвать методику расчета показателей публикационной активности научных организаций, предложенную Минобнауки, для существенной доработки с учетом результатов ее общественного обсуждения. Думаю, что сейчас надо его повторить точь в точь. С предложениями Владимира Николаевича согласен. Главное: надо заморозить рост количества, если нет прироста численности научных сотрудников. Тогда спадет гонка за числом и начнем гнаться за уменьем. На вопрос "зачем делить на число иностранных соавторов, душить международные связи", ответ также неубедителен.
Но методика разработана старым составом министерства, пришедшим еще из ФАНО (узнает ли история имена этих умнейших людей? А кто входил в рабочую группу? А кто из ПРАН согласовал методику в понедельник 30-го декабря? Видимо, он на самолет опаздывал... В 2019 г. академик Балега получил документ в пятницу с требованием согласовать в понедельник. Это тоже фирменный стиль ФАНО.). Новому министру надо все сказать заново, дать шанс реально учесть мнение научной общественности.
Мнение вице-президента РАН
Да, есть такое мнение.
И оно совпадает с публично высказанным мнением Президента РАН. Очевидно, что они исходят из тезиса: "Политика - искусство возможного".
Вместе с тем, имеет право на существование и другой тезис: "Будьте реалистами, требуйте невозможного".
А разве ситуация не изменилась?
Зачем же нам Владимир Васильевич, требовать невозможного? Мы держимся в рамках. Но ведь ситуация изменилась уже по сравнению с 30 декабря, когда подписывалась эта монументальная Методика. У нас министр уже другой, обратите внимание. А понимание уровня науки как количества публикаций - это понимание ушедшего министра, у которого и и деньги, и статьи, и люди были просто цифрами в клеточках таблиц. Теперь самое время переосмыслить эту сложную проблему попадания в ведущую пятерку и дать приемлемую формулировку цели, так, чтобы она не провоцировала нарушения этики, которых и так хватает. Давайте верить в торжество здравого смысла.
Давайте бороться за торжество здравого смысла.
Просто "верить", увы, не достаточно.
Просто "верить", увы, не достаточно (с).
Замечательные слова.
https://rusvesna.su/news/1581323872
Сначала надо верить в торжество разума.
Например, верить в то, что министр может отменить неразумный приказ.
Если министр не хочет отменять приказ, то надо верить, что можно сменить министра.
Если правительство не хочет менять министра, то надо верить, что можно сменить правительство.
И добиваться, чтобы назначили нового министра, который первым делом отменит неразумный приказ:
https://nauka.tass.ru/nauka/7724003
Один человек мало, что может, но если мы вместе говорим разумные вещи, то торжество разума возможно.
Хотя, конечно, бывает и так, как в Новосибирске.
лучше меньше, да лучше
Разработчики подобных методик исходят из странного предположения, что научные сотрудники не только просто не хотят работать, но и не хотят получать хорошие прорывные результаты. Если первое ещё как-то можно обосновать присущей людям ленью, то второе совершенно нелепо. Я не могу представить себе математика, который может доказать гипотезу Римана, но не делает этого из-за того, что его не простимулировали надбавкой. Соответственно новая методика расчёта может увеличить число публикаций в Q1 и Q2 из-за того, что люди всеми способами будут проталкивать статьи в более престижные журналы, но очень мало повлияет на реальное качество исследований. Чтобы наука действительно развивалась нужно 1) обеспечить материальными ресурсами для выполнения качественных исследований 2) организовать работу так, что те кто может выполнять качественные исследования не разбегались 3) повысить престижность научной работы, что молодые люди хотели идти в науку. Метод "кнута и пряника" неплох для организации рытья каналов лопатами, но не для организации науки. Учёного характеризуют его лучшие достижения. Никогда не слышал, чтобы известного математика характеризовали не перечислением его лучших резуальтатов, а числом статей индексированных в какой-то базе данных (разве что в ироническом смысле). Как же всё-таки количественно оцениватьнаучную работу, если невозможно организовать непредвзятую экспертизу ? Согласен, что "правильней зафиксировать нижний порог количества, а доплату давать только за качество". Собственно в нашем институте в ПРНД учитывались только 10 лучших статей за предыдущие 5 лет, но с прошлого года под давлением количественных требований сверху это ограничение сняли.
Иностранные соавторы - самая спорная вводная, причем от ФИАН
На множество вопросов во время вебинара (и мой в том числе) о смысле учета иностранных соавторов, которые уж точно не получают денег из бюджета РФ и поэтому не нуждаются во "фракционном учете" ответа так и не было. Вернее, было сказано что-то абсолютно невнятное про возможные махинации с привлечением соавторов из СНГ - ну и что? Практически все моменты предложенной схемы расчета КБПР можно объяснить какой-то логикой - или действительно научной, или административной. С этой логикой можно соглашаться или не соглашаться, но она видна. Но учет иностранных соавторов не объясняется вообще никакой логикой.
Но совем недавно проявился автор этой идеи, см. https://indicator.ru/humanitarian-science/muzhiki-to-pravilno-dumayut.htm "...разработчик методики ученый секретарь ФИАН Андрей Колобов...":
"На предложение учитывать во фракционном счете только российских авторов Колобов ответил так: иностранные аффилиации учитываются, так как иначе самый большой вес получали бы статьи работающих за рубежом ученых, которые ставят российскую аффилиацию формально, может быть, для поддержания отношений с альма-матер. Для наукометрических показателей российских институтов это прекрасно, но реальное развитие российской науки никак не отражает, потому вес таких статей приходится снижать делением балла за статью на все аффилиации".
Честно говоря, цензурных слов на это не находится. "реальное развитие российской науки", видите ли... Не дают покоя лавры создателя "суверенной демократии", захотелось "суверенную науку" придумать?
Странно, что ученый секретарь ФИАН не знает - в "Парус" вводятся организацией только те соавторы с ее аффилиацией, которые в ней официально трудоустроены. Поэтому "формальная аффилиация" организации не даст ничего. Вообще-то для ученого секратеря это профнепригодность.
Давайте попытаемся исправить хотя бы то, что можно исправить.
Александр Юльевич, рад снова обсуждать с Вами важные вещи на публичной площадке. Приятно и то, что теперь Ваша аффилиация позволяет вести открытые дискуссии без оглядки на средневековые запреты. Я полностью разделяю Ваше недоумение по поводу "деления на иностранцев" в новом варианте методики. Тем, кто не верит, что опытные и квалифицированные люди могут отвечать, не понимая, или якобы не понимая) вопроса, предлагаю посмотреть оригинал: видеозапись заседания ПРАН 11.02.2020 Обсуждение Методики начинается примерно на отметке 1:51 часа, а тот самый ответ Колобова - на отметке 2:30. Вопрос задан совершенно ясно: нас призывают к развитию международного сотрудничества, а оценивают совместную научную публикацию обратно пропорционально числу иностранных авторов. Почему так? Вопрос касается соавторов БЕЗ российской аффилиации. Очевидно, нужно поощрять статьи, где таковые имеются. В разных рейтингах вузов (напр. шанхайском) доля таких статей учитывается как важный показатель международного уровня организации. Нам же снижают оценку за такие статьи, причем объясняют, говоря совсем о другом - о делении на число аффилиаций, а не на число соавторов. Возможно, что это не простая путаница. Я разговаривал после заседания ПРАН с видным членом Президиума, который в теме, в отличие от большинства других членов ПРАН. Так вот он поддержал ответ Колобова и пытался мне его растолковать, объясняя, что в институтах очень много "мертвых душ", реально работающих за границей и что надо с этим явлением бороться. Возможно, это так, хотя это и спорно. Но мы-то говорим о другом! Прямо не ведают, что творят... Давайте настойчивее об этом говорить публично, коллеги, чтобы донести здравый смысл до разработчиков. Совет ОНР перед 11.02.2020 подготовил проект Заявления, но теперь его нужно кардинально менять.
Методика-2020, конечно, лучше, чем Методика-2019, но ее легко можно сделать еще лучше, если прислушаться к голосу тех, для кого она предназначена, кто сам ручками составляет и обрабатывает эти бесконечные анкеты и считает эти странные баллы, вместо того, чтобы получить за это время новый научный результат. Ау, рабочая группа ФИАН! Позовите нас, мы можем вам помочь. Раздавать эту работу отделениям РАН бесполезно. Надо собрать понимающих людей вместе.
Конечно, эта работа имеет смысл, если мы соглашаемся, что, вычисляя по той или иной методике баллы, можно в принципе дать разумные обоснования для распределения денег на госзадания между организациями. Часто эту задачу путают с задачей оценки индивидуального вклада ученого в науку. Даже в нашей дискуссии чуть выше предлагается оценивать ученого перечислением его лучших результатов. Да, согласен, так лучше. Но как тогда будем делить деньги между ФИАН, МИАН и ПОМИ? Видимо, топ-эксперты будут делить по понятиям, как и раньше.
Давайте попытаемся исправить хотя бы то, что можно исправить.
Опять о иностранных соавторах и борьбе
Как лицо в некотором смысле заинтересованное, я легко могу себе представить методы борьбы с мертвыми душами. Даже если такое сотрудничество чисто формальное и состоит в указании аффилиации по старой памяти или по просьбам старых знакомых, то и что? Если автор не работает - им и так нельзя отчитаться, если числится, то формально все в порядке, если не числится, но статья в соавторстве с местными, то почему же нельзя?
Получается, например, что в рамках программы мегагрантов приглашеный ученый будет портить такую статистику, что по меньшей мере странно.
В общем, посмотрим во что этот бред выльется.
P.S. Мне известно одно из возможных идиотских решений. Один польский профессор уехал в Великобританию, но по старой памяти как-то писал статьи с сотрудниками из прошлого университета, ну а университет платил ему какую-то минимальную зарплату за поддержку. Ну вот новый ректор, судя по всему окрыленный властью, написал ему письмо следующего содержания: "ув.проф. прошу вернуться и приступить к своим обязанностям, а если нет, то мы Вас увольняем". Результат немного предсказуем - британский профессор повертел пальцем у виска и сказал, что с придурками он сотрудничать не намерен. Ну и кто остался в выигрыше? Боюсь, что может реализоваться именно этот сценарий.
про иностранных соавторов
Если говорить не про институт, а про оценку индивидуального вклада сотрудника, то делить на число иностранных соавторов необходимо. В России немногочисленные аспиранты-математики делятся в основном на две категории те кто метит в филдсовские лауреаты и те кто косит от армии (или сидит с детьми). Ни тех ни других не заставить разрабатывать и оформлять чужие идеи, то есть выпонять наиболее затратную по времени работу соавторов. Другое дело многочисленные и менее амбициозные китайские и индийские аспиранты. Если на число иностранных соавторов не делить, то всем желающим получать надбавку по ПРНД придётся искать сотрудничество с китайскими и индийскими университетами.
О Методике
Тем не менее, вопрос остается, потому что мы обсуждаем не личный вклад одного сотрудника, а оценку института. Очевидно, что это две разные вещи. Оставить как есть и делить? Или таки предлагать исключить иностранцев во фракционном счете?
P.S. Мне почему-то кажется, что интститут, налаживающий успешные контакты с индийскими, китайскими и прочими институтами лучше, чем институт, набирающий желающих откосить от армии (ну или как место для сидящих с детьми). Конечно, пока кто-то в нем не доказал гипотезу Римана :)
Методика
Методика создана для оценики именно организаций - здесь иностранные соавторы и даже российские не минобровские соавторы не должны учитываться.
Что касается оценки результативности отдельных сотрудников - организации сами устанавливают критерии исходя из своих целей и возможностей.
Как понять методику. Двойка академикам?
Конечно, предлагаемые нам формулы призваны оценить результативность организации, которая тем больше, чем больше количество и выше качество стате в годовом отчете организации. Наличие в статье соавторов-иностранцев означает, что иностранцы нам помогали, т.е. публикации статьи способствовали международные связи организации. Разве за это нужно штрафовать (делить балл на общее число соавторов, включая иностранцев)? Наоборот, интернациональность результатов организации нужно поощрять, как и делается в основных мировых рейтингах. Например, вот как идет подсчет в предметном шанхайском рейтинге ARWU:
В предметном Шанхайском рейтинге место, если не вдаваться в детали, определяется суммой пяти показателей:
Каждый показатель измеряется в процентах от наивысшего значения среди вузов, включенных в рейтинг. В 2017 году учитывались статьи, вышедшие в 2011–2015 годах.
Чем больше международных публикаций - тем выше рейтинг вуза!
Но для нас, коллеги, это, кажется, высшая математика, а мы еще в дробях путаемся. Смотрел я сегодня в методику и вдруг задумался. Рассмотрим главную расчетную формулу: первую сверху на странице 3, по которой вычисляется Tknum.
Вопрос 1. В формуле k - номер строки отчета, а m - номер статьи. Это одно и то же или нет?
Вопрос 2. Ниже написано: Nm - число авторов в статье m. И дальше написано: Anum=1, если автор статьи m указал аффилиацию num. Какой автор, если их Nm человек ?? Может быть, здесь должна стоять сумма по всем Nm авторам статьи m? Тогда нужно ввести индекс суммирования i - номер автора статьи, а также обозначение Anum (i), где Anum (i)=1, если i-й автор имеет аффилиацию num, и Anum (i)=0, если автор не поставил аффилиацию num.
Коллеги, либо у меня помутнение рассудка, либо нас собираются оценивать по неверной формуле. Помогите, пожалуйста, посмотрите формулу. И если в ней пропущена сумма и некорректно введены обозначения, то как это просмотрели члены комиссии из ФИАН и, главное, академики-члены Президиума РАН, одобрившие методику?
Пока в этом не разберемся, нельзя заниматься "настройкой" методики.
подсчёт
Насколько я понимаю формула относится к строке, а строка соответствует уникальной паре автор+статья.
Вы считаете, что формула записана корректно?
Так Вы считаете, что формула записана корректно?
" строка соответствует уникальной паре автор+статья." - где в документе, утвержденном замминистра С.В.Кузьминым, это указано?
строка соответствует уникальной паре автор+статья - это точно
"строка соответствует уникальной паре автор+статья" - это явно вроде нигде не записано, но следует из п. 1 "Исходные данные": "При расчете ... в качестве исходных данных используются... данные информационной системы управления НИР Минобрнауки России". То есть Парус, проще говоря. Там именно такая структура информации о публикации, строка - это один автор одной статьи, работающий в данной организации.
То есть для тех, кто работал с Парусом, в принципе понятно, что в формуле имеется в виду. Но, конечно, можно было бы сформулировать это более четко.
А что такое точность?
Во-первых, не так уж и точно. Если строка - это один автор одной статьи, работающий в данной организации, то условие Asum =0 никогда не выполняется (автор не может одновременно работать и не работать в организации). Если, конечно, не считать совместителей. Но для них должно быть какое-то отдельное правило. Оно есть в "Парусе"? Боюсь, что нет, а если ученому секретарю что-то неясно, он/она звонит куратору и выясняет. И как на самом деле финансируется российская наука, решают не министры и академики, а кураторы и секретари. Кстати, в РАН жестко запрещено стим.выплаты платить совместителям, и ненаучным сотрудникам (зав.лабам, например) как бы высоко они не поднимали научный уровень НИИ. А в вузах - пожалуйста. То есть есть барьеры, но они преодолеваемы. И нечего возмущаться, (как кто-то из ФТИ на заседании 11.02, кажется), что вузы покупают аффилиации. Им разрешают, они и покупают. Главное, чтобы науке и ученым было хорошо.
Еще страшно любопытно было бы узнать, как удалось авторам методики сосчитать коэффициенты качества публикации с точностью до трех значащих цифр. Но об этом в следующий раз. Приведу только (по памяти) мудрые слова автора первого российского учебника по приближенным вычислениям академика А.Н.Крылова: "Точность результата не может быть больше, чем точность исходных данных".
При всем уважении
При всем уважении к президиуму РАН и академику Хохлову, которые поддерживают эту "методику", нельзя не сказать, что оценка организаций по наукометрии и последствия такой оценки это издевательство над здравым смыслом. Неужели и ОНР промолчит?
P.S. Оценку делать можно и нужно, но последствия такой оценки не могут быть основанием при распределении финансирования до тех пор, пока, как минимум, не установлены причины предположительно низкой (или, наоборот, кое-где, высокой) эффективности научных организаций и университетов. В этом, в низкой эффективности, кстати, есть сомнения: сравнения эффективности, то есть отношения полученных результатов (включая и научные статьи и "внедрение") на вложенный рубль, наших и аналогичных зарубежных научных организаций и университетов я до сих пор не видел; предполагаю, что эффективность многих российских научных и образовательных организаций много выше, чем у зарубежных аналогов.
http://onr-russia.ru/comment/19175#comment-19175
Инструкция к Парусу
На всякий случай - инструкция к Парусу здесь: http://wnir.minobrnauki.gov.ru/index.php?newsid=67
Про совместителей там сказано:
Тип трудовых отношений
Строка
Обязательное для заполнения поле.
Но совместительство - это тоже работа, т.е. трудовые отношения. А Anum - это не про трудовые отношения, а про аффилиацию в статье.
Конечно, логичнее было бы сделать двойное суммирование, по статьям и по их авторам. И индексы ставить по возможности внизу, чтобы их не путали с показателем степени. Но хотеть логики от министерства - это... нет, пожалуй, даже сравнений приводить не буду, во избежание.
Двойка по русскому языку
Наверное, там все просто. Просто по-русски разучились писать.
Anum=1, если автор статьи m указал аффилиацию num. Какой автор, если их Nm человек
Видимо любой. Anum=1 если хоть один автор аффилирован с данной организацией. А am - это просто число аффилиаций в статье.
Кстати, если кому интересно, то в Польше тоже есть фракционный счет, и польские формулы наверняка поставят некоторых академиков в тупик - там есть корни, а не только дроби.
М.Я.Азбель
Александр Юльевич!
Ваша фамилия напомнила мне Марка Яковлевича. В 1958 г. он защищал докторскую в Физпроблемах (циклотронный резонанс), на которой я, студент 2-го курса МФТИ, присутствовал. И мы с ним позже много общались на кухне квартиры №3 (рядом с Ландау №2 и Лифшицем №1, во дворе ИФП), где он готовил творог из кефира для своей больной жены, а мы, студенты, в ней жили, начиная с 4-го курса. Он мне с живостью доказывал, что способности к наукам у женщин не ниже, чем у мужчин. После Харьковского ун-та он преподавал в сельской школе и вынес такое впечатление, что у девочек нехватает характера. Если решение не приходит в первую минуту, то чем вторая отличается от первой? А мальчик таким вопросом не задаётся, он вертит задачу так и сяк, пока решение не найдётся.
про студенток
Училась у меня такая студентка, которая была унее меня примерно в сорок раз, то есть решала за минуту учебные задачи на решение которых мне - преподавателю нужно было минут сорок. К сожалению дольше пяти минут думать над задачей она отказывалась и профессиональным математиком не стала. Но в целом гендерная разница по этому признаку невелика. Бывают такие "упёртые" девочки, что все мальчики сдаются раньше.
И не забыть разделить на долю ставки!
А кстати, поскольку научных работников уже не первый год унижают принудительным переводом на долю ставки, чтобы выполнить майские указы нашего бессменного и незаменимого руководителя о зарплате на полную ставку в 200% средней по региону, то почему бы не учесть этот коэффициент? В прошлом году у нас было 0.6 ставки в этом - 0.85. Давайте делить на эти дроби при подсчете аффилиаций! Ведь если первый соавтор из двух в первом институте работатает на целую ставку, а второй - автор в другом - на 0.6, то ведь второй работатает заметно эффективнее - с меньшими затратами времени он сделал ровно ту же работу, что и второй.
Если в отчетах нашу зарплату указывают в пересчете на полную ставку, то давайте и по публикацииям отчитываться в пересчете на полную ставку. Логично?
Логично.
Логично.
Увы, но перевод на доли ставки - путь в тупик.
Потому как у вас к примеру 100 НС. Переведете всех на 0.5. 50 ставок. Выкрутились в текущем году.
Но на эти 50 отчетных ставок будет МОН спускать деньги в следующем отчетном году ...
«подёргать коэффициенты»
Судя по последним вестям с объединённого собрания МОН и Президиума РАН – предложенная «Методика…» будет жить, и нам остаётся только «подёргать коэффициенты», как и предлагал президент РАН. У меня, правда, небольшой опыт писательства, но есть свои публикации по всем позициям «Методики…», а ещё больше прочитано – так что есть с чем сравнить. Сразу оговорюсь: как быть с монографиями – я не знаю. С одной стороны, даже просто написать страниц 200 текста – это большой труд. С другой стороны, что греха таить, рецензирование монографий совершенно формальное, а получение «рекомендации» и «грифа» – лишь вопрос упёртости автора. Отдельный вопрос – коллективные монографии, которые сейчас, фактически, являются сборником статей. Поэтому сколько и как давать баллы, перемножать ли их механически на печатные листы или тираж – надо решать отдельно. И, конечно, нельзя забывать об основных индикаторах, заданных НП"Наука" (достижения чего и должна стимулировать эта "Методика..."). Поэтому, по основным коэффициентам, как мне кажется, можно подумать над следующей корректировкой:
Три вопроса
1. Помимо "дергания коэффициентов" есть еще "дергание учетного списка". Учитывать ли статьи только по госзаданию или же все опубликованное за определенный период времени (то есть и публикации по разного рода грантам тоже).
2. За какой период осуществлять расчет? В идеале - за последние 4-5 лет, но уж точно не меньше 2-х.
3. В журналах Scopus есть свои квартили (Scimago). Почему бы их не учитывать?
это лишь
некий "эскиз", как мне кажется можно "донастроить" предлагаемую методику ближе к реальности. И, опять же - я биолог, вероятно у лингвистов будет своя точка зрения. Что я думаю по поводу ваших, Владимир Васильевич, вопросов:
1. Мне кажется надо учитывать все статьи, вышедшие за отчётный период с аффилиацие от организации. Если следовать "Методике...", то там учитывается финнансирование не только по ГЗ, но и по грантам. Как учитывать финансирование по разным мегагрантам и экс-ФЦП я не знаю. Но, в любом случае - люди работают на благо организации и сами ищут финансирование, так зачем их превращать в "осетрину второго сорта".
2. Сечас как-то эту "Методику..." обкатывают на 2018-19 годах. Так что, выходит, за 2 года. Но, судя по приведённым в ней формулам - создана она для оценки на каждый год (дали больше денег - сразу больше статей). Конечно, если корову лучше кормить (после бескормицы) - то можно получить довольно быструю отдачу, но не уверен что такое получится с науными работами. Поэтому, конечно, отчётный период нужен года 3 (как считают в Elsevier - столько нужно для оценки "начного вклада").
3. В большинстве своём квартили scimago совпадают с WoS, или выше таковых. Конечно, ничто не мешает ввести ещё и дробные категории типа "Q1-s1" , "Q1-s2" etc. Но для этого надо будет переписать табл.2 и всю формулу расчёта КБПР. А это уже не просто "подёргать"...
Не так.
п. 2. За "базу" принят 2018 году, и заполнение привязано к одному году. Это неправильно.
п. 3. Из разъяснений МОН следует, что "Методика" будет совершенствоваться (патенты, монографии, баллы Scopus и т.п.) - так что изменения возможны и более серьезные, чем просто "подергать коэффициенты".
повод совершенствовать
эту "Методику..." - тут я с вами полностью согласен. Возможны разные варианты - лишь бы их кто-то услышал в министерстве.
Тираж и квартили
1. Тираж. Хотелось бы довести до глубокоуважаемой научной общественности, что слово тираж применительно к монографиям, изданным зарубежом, несколько устарело. Есть опция - Print on Demand. Поэтому меня лично вопросы о тираже изданных книг ставят в тупик. Есть монография, авторы могут знать, сколько было продано экземпляров (и то не всегда), есть электронная версия, которая скачивается и живет своей жизнью. Предлагаю убрать все,что касается тиража, из методики.
2. Квартили. Квартили Scopus и WoS - разные. Это связано как с разным охватом, так и с разной классификацией. Чтобы не умножать сущности сверх необходимости, предлагаю оставить один способ. Потому что кроме импакт-фактора имеются и другие параметры журнала, иногда не менее, а и более информативны. В принципе, "в среднем" WoS получше, поэтому оставить его.
"Подергивания" системы
Написал в группе ОНР на FB следующий комментарий в соответствующей теме.
коэффициенты КБПР
Пока страна бьётся в конвульсиях корона-истерии потихоньку изменились коэффициенты баллов КБПР https://www.poisknews.ru/science-politic/pilotnyj-kompromiss-nashumevshej-metodike-minobrnauki-propisana-korrekcziya/ Как и следовало ожидать, понижены баллы за ESCI и повышены за RSCI. Хотя, опять же по-моему мнению, разрыв должен быть больше. Совершенно закономерно "ниже плинтуса" понижен "список ВАК". Опять же, мне в данном случае не понятно почему Рабочая группа так старательно держится за этот "список" и чем он принципиально лучше "просто" РИНЦ? Но в целом "подёргивания" коэффициентов приближают систему к предложенному мной здесь варианту - осталось ещё 5-10 заседаний и мы увидим Q1=100 :-)
Как я понял
Как я понял из материалов рабочей группы (со страницы FB А.Р. Хохлова), система КБПР сейчас максимально приближена к уже имеющемуся в публикациях российских авторов распределению по квартилям. Если я правильно это понимаю, то по сути это фиксация имеющегося положения- если публиковаться "как раньше", то все будет ОК с показателями. С одним исключением: междисциплинарные, коллаборационные, многоавторные тематики и статьи, в том числе публикуемые и в самых серьезных журналах типа Nature, Science, должны умереть, смысла для баллов в них почти нет.
P.S. Я не уверен, что цель была в том, чтобы зафиксировать положение дел с публикациями.
Сергей Петрович,
я понимаю так же: большие коллаборации теперь "не выгодны". И, исходя из статьи, организацием будет проще выполнить ГЗ. Отличный вариант: ничего не меняя в деятельности - отрапортовать об успехах. Несомненно, что status quo вполне устраивает наших "гуманитариев" - а их, пожалуй, больше чем химиков-физиков и прочих биологов вместе взятых (не говоря уже про политический вес).
"Никогда не начинай вычислений, пока не знаешь ответа."
Это, как известно, основное правило Уилера. Несмотря на его кажущуюся парадоксальность, оно более чем уместно в отношении обсуждаемой Методики. Выше я расспрашивал коллег о возможностях автоматизации - быстрого подсчета показателя результативности на основе стандартного файла выборки работ сотрудников конкретного института из WoS, Scopus и пр. Это не только сэкономит нам всем драгоценное время, но и позволит быстро обкатать Методику, скажем, на публикациях 2017 или 2018 года, ретроспективно. Можно сравнить эти формальные показатели у разных институтов, в разных областях науки и сравнить с эспертной оценкой для проверки осмысленности показателей.
Если этого не сделать, опять может получиться чушь. Высосанные из пальца "надерганные" коэффициенты могут дать бессмысленные показатели в конце года, когда все ручонками сосчитают их. Особенно когда разные группы влияния желают "подкрутить" схему подсчета в свою пользу.
Создание инструментов быстрого подсчета показателей, их анализа должно быть заботой МОН. Пусть объявляют конкурс, оформляют конктракт с желающими выполнить эту работу, проверяют результат. Только не надо городить новую "Карту российской науки". Должен быть компактный продукт с открытым исходным кодом, понимающий основные библиографические форматы.
Q1 не то, чем кажется
Недавно в ТрВ была статья с таким названием, в которой автор утверждал, что большинство статей из WoS публикуется в журналах первого квартиля. К моему удивлению оказалось, что даже в разделе "математика" Q1 составляет примерно треть. На днях получаю письмо с предложением стать редактором спецвыпуска журнала Mathematics издаваемого MDPI как раз из Q1. Поскольку я не только не публикуюсь, а даже и не пытаюсь подавать статьи в традиционные журналы из Q1, решил внимательнее посмотреть на этот недавно организованный электронный журнал. Первое что удивляет - это рост числа публикаций 2016 - 68 статей, 2017 - 84, 2018 - 335, 2019 -1246. Некоторые авторы смогли опубликовать здесь больше десятка статей за прошлый год. Список планируемых на 20 год спецвыпусков состоит из порядка 100 наименований. Так что число публикаций может вырасти еще в 5-10 раз. И все будут в Q1 естественно. Среди сотен разного уровня редакторов я не обнаружил фамилий известных мне выдающихся математиков, есть несколько знакомых примерно моего или немного большего уровня известности. Весь этот банкет по 1200 швейцарских франков за статью. Можно предположить, что при таком обилии публикаций IF журнала уже в следующем году резко провалится. Но не стоит торопиться с выводами. Если основной журнал действительно по математике, то множество спецвыпусков по различным приложениям, в частности, по биоиформатике, где средняя цитируемость статьи гораздо выше. Так что если журнал останется в разделе WoS "mathematics" у него есть все шансы удержать свой импакт на уровне выше 1.1, что достаточно для попадания в Q1.
Как оказалось подобная бизнес-модель прекрасно работает и в смежных областях. Журнал открытого доступа IEEE Access (IF>4, Q1 в трёх разделах) вырос с 249 статей в 2015 году до 14625 статей в 2019 и видимо не остановится на достигнутом. В нём отдельные авторы публикуют уже сотни статей в год. Цена вопроса всего 1750$. По сравнению с бюджетом института - это небольшие деньги. Учитывая коэффициент 19.7 нашему институту хватит всего 30 статей для обеспечения министерского плана даже с 10% ростом.
Mathematics и все такое
MDPI - это пример издательства, раскрутившего свои журналы. Можно поучиться некоторым.
Насчет Mathematics. Они регулярно приглашают людей организовать им спецвыпуск. Редактор имеет право представить статью бесплатно, кроме того может рекомендовать кого-то опубликовать там статью бесплатно. Так что 1200 швейцарских франков касается не всех. Я даже подозреваю, что далеко не всех.
Я лично также подозреваю, что с импактом этот журнал провалится. Кроме того, с такими техниками может вообще вылететь из WoS. Надежда на то, что издательство понимает, что делает.
Что же касается "известных имен выдающихся математиков", то далеко не каждый согласится брать на себя труд редактора, обычно на это идут как раз те, кому надо продемонстрировать свою активность. Кроме того, "классики" печатаются в "классических" журналах. Надо ли напоминать про журналы из "Физики шутят"?
P.S. На правах рекламы. Так получилось, что я один из со-редакторов соответствующего спецвыпуска, так что приглашаю ;)
выводы
Не хотелось бы делать поспешных выводов, но они напрашиваются. Нужно назвать кошку кошкой. Журнал Mathematics издаваемый MDPI ( Q1 по WoS) удовлетворяет всем признакам "хищного" и "мусорного" журнала: 1) экспоненциальный рост числа статей 2) редколлегия из малоизвестных учёных 3) веерная рассылка писем с приглашением публиковаться и редактировать 4) большинство статей из малоизвестных (как минимум в математике) организаций, первая тройка CHINA MEDICAL UNIVERSITY TAIWAN, CHINA MEDICAL UNIVERSITY HOSPITAL TAIWAN, KING ABDULAZIZ UNIVERSITY 5) оплата публикации, многократно превышающая расходы издательства.
И как следует из статьи "Q1 не то, чем кажется" в ТрВ в математике ещё очень благополучная ситуция. В среднем журналы Q1 WoS захватывают половину рынка публикаций в предметной области. Например, в разделе computer science, information systems откровенно "хищный" журнал IEEE Access один содержит 30% публикаций за 2019 год. За проплаченные публикации в нём нужно лишать организации дополнительного финансирования (как в случае с Казанским университетом), а не поощрять умножением на 19.7
Почему бредовым коэффициетам КБРД публично возмутились только гуманитарии? Например, математикам дали кучу денег на пять международных математических центров. Конечно небольшой доли этих средств достаточно для оплаты публикаций в изданиях типа Mathematics MDPI , которые благодаря повышающему коэффициету 19.7 обеспечат рост на 10% и даже 20% в ближайший год. Неужели главный разработчик новой методики Хохлов столь наивен и неиформирован, что не понимает очевидной вещи: такие коэффициеты приведут просто к перекачке средств российского научного бюджета в карманы недобросовестных издателей. А российская наука останется в положении "по усам текло, а в рот не попало".
Кошки и выводы
Просто комментарий. Признаки - не то же самое, что и "хищный". Ну и еще: "малоизвестные ученые" - кому малоизвестные? Есть какое-то сообщество, которое бы выдавало лэйблы, которые признавались бы всем сообществом? Нет? Если нет, то тогда о чем говорить?
Возьмем, например, какой-нибудь вестник, который даже входит в список ВАК, РИНЦ, а иногда и далее. Что, тамошняя редакция состоит из всемирно известных ученых?
оценочное суждение
Это конечно оценочное суждение, можно было написать "мне неизвестные". Средний хирш редколлегии я не вычислял. Но есть косвенные основания для предположения о том, что моё суждение не лишено объективности. В журналах по моей специальности мне известно больше (в процентном отношении) членов редколегии, чем в разделе "дискретная математика и компьютерные науки" в Mathematics MDPI. Наш институт издаёт 6 математических журналов. В редколлегию ни одно из них меня не приглашали по очевидным причинам: в институте полно более авторитетных учёных. А письма с предложением поредактировать чего-нибудь от разных иностранных журналов с незнакомыми названиями приходят ежемесячно. Полагаю понятно к какой категории я отношу эти издания. В редколлегии журнала из нашего института http://www.math.nsc.ru/publishing/DAOR/editors.html который вообще не входит в WoS, однако же есть зарубежные учёные с мировым именем. Редактор одного из спецвыпусков Mathematics MDPI впрочем тоже есть.
Как бы то ни было
Как бы то ни было, спор не о том, кто и кому известен, а кто нет. Фактически разговор о том, является ли данное издание достойным для публикации или нет, почему, кто это признает и так далее.
К сожалению, у меня есть печальный опыт, когда ученые с мировым именем находятся в редколлегии просто для красоты и никакой деятельности в данном журнале не осуществляют. Поэтому это - не критерий.
"По молодости" я вляпался в редколлегию одного такого журнала. Через какое-то время "поумнел" и написал, что прошу меня исключить, поскольку ничего не делаю и не собираюсь. Однако же мое имя там висит до сих пор :( (если что, дисклаймер: то я - отнюдь не примерученого с мировым именем).
это так
Безусловно наличие "крупного учёного" в редколлегии вовсе не грантирует качество журнала. Мною была приведена ссылка как раз на такой наш местный журнал. Вообще я не считаю зазорным публиковаться в любом издание, если оно не вводит в заблуждение читателей: если рецензируемое - значит действительно должна быть рецензия, если нерецензируемое, то так и написано "сборник статей" и т.д. Собственно, если Mathematics MDPI не нарушает публикационной этики (а у меня нет данных утверждать обратное), то к журналу особых претезий нет. У меня претензии к новой методике расчёта результативности.
Hindawi и MDPI
У меня есть ограниченный опыт в публикации статьи, издаваемой Hindawi, и рецензирования/редактирования в MDPI. Рецензии, от Hindawi были ни чем не хуже, чем от скажем старых журналов и были в принципе по существу. Рецензии, которые я писал и получал от MDPI, тоже в принципе ни чем таким криминальным не выделялись. В Hindawi даже понравилось, что редакция убрала все требования рецензентов процитировать их работы. То есть требование расширить список литературы осталось, а вот как именно - было удалено... То есть совсем не так, чтобы все происходило автоматически - "ты платишь - мы печатаем".
Допускаю, что могут быть нюансы, однако выдающийся пример неэтичного поведения у меня есть как раз в старом журнале, с длинной историей, когда член редакции, организовал спецвыпуск, в котором опубликовал 10 из 12 или 13 статей со своим участием. И без внешнего рецензирования. Потом его из редакции исключили, впрочем, а статьи ретрактировали. "Ложечки нашлись, а осадочек остался".
Я - рецензент некоторых журналов Hindawi и MDPI,
а в MDPI у меня порядка 10 публикаций, более того, я являюсь членом редколлегии одного из журналов MDPI и периодически (2-3 статьи в год) организую рецензирование и принимаю решение принять или отклонить статью. Хочу отметить, что эти журналы ничуть не хуже любых других, имеющих сравнимые импакт-факторы (по моей тематике от 2 до 4).
издательская политика
Если издательство большое, то в нём могут издаваться журналы с различной редакционной политикой. Например, издательство IEEE организовало ничем не прикрытый бизнес (в основном за счёт китайцев) в open access журнале первого квартиля IEEE Access. В то время как некоторые "старые" журналы того же издательства своей издательской политики не меняли, по-прежнему не берут денег с авторов, не увеличивают числа публикаций в год, обеспечивуют по три и более содержательных рецензии на статью. В итоге опубликовать статью в нормальном журнале второго и третьего квартиля того же предметного раздела оказывается сложнее, чем в коммерческом журнале Q1.
Но дело собственно не в издательской политике, а в коэффициетах, которые определены в методики расчёта результативности по ГЗ единым образом для всех предметных областей. Возникает подозрение, что они даже ни для какой отдельной области не адекватны.
Поддерживаю.
Только кто будет писать обращение и, главное, какая будет аргументация? Мы это много раз обсуждали, и вот опять напишем в очередной раз и опять всё написанное канет в вечность. Я возвращаюсь к любимой теме – составлению требований ОНР – и уже провёл небесполезную дискуссию с Евгением Евгеньевичем в Совете. Он, как и Сергей Петрович, противник этого. Вот выдержки.
ЭС – Почему Вы не поддерживаете создание фундаментального списка необходимых условий работы/наших требований к власти? Ведь везде и всегда речь идёт почти об одном и том же. Так не лучше ли один раз написать, выдвинуть и потрясать на всех площадках, где возможно? ... Имея такой список, мы в любой дискуссии с министерством могли бы апеллировать к этому списку, не прибегая вновь и вновь к уже набившим оскомину одним и тем же аргументам.
ЕЕ – Проблема в том, что у нас, увы, нет возможности делать эту работу на том уровне, который должен быть (детальная проработка по результатам деловых обсуждений), а на другом уровне это либо не имеет смысла, либо вредно… Более реалистично заниматься тем, что мы делаем – действиями по конкретным вопросам.
ЭС – Да, нам с Вами не под силу «детальная проработка», но это и не наша задача, это, действительно, дело специалистов-управленцев. Мы же должны сформулировать условия для нормальной научной работы, а их то мы знаем!
Л.Г. Колесниченко – А мне кажется, что это надо делать. Вопрос, какой должна быть организация научной деятельности в РФ, не решен и не может быть решен никем, кроме как самими научными работниками.
Сергей Петрович! Насколько я помню, Вы высказывались в том же духе, что и Евгений Евгеньевич. Вы даже, помнится, говорили, что нужно писать серию статей, а не требования. Но я не буду продолжать дискуссию с Вами, я хочу опять привлечь внимание к проблеме: нужно сформулировать условия, необходимые (хотя и не достаточные) для развития науки в нашей стране.
Поправка
Моё "Поддерживаю" относится к выступлению С.П. Полютова
http://onr-russia.ru/comment/19199#comment-19199
Россия обречена на наукометрию
Россия обречена на наукометрию
есть кардинальное отличие
от развитых стран. Общение с моими коллегами оттуда показывает что там много гибкости, а у нас Сталинский подход так и остался. Если твои наукометрические показатели плохи - умри!
Например, моя коллега из Словении возглавляет некий центр или научную группу. Часть людей из этого коллектива работает в университете и преподает, требования по публикациям к ним невелики но есть, часть людей занимается чистой наукой и иногда помогает с дипломниками, практикумами и т.д. зарабатывая деньги за счет грантов, выполнения гос. тематик (им требуется очень постараться с публикациями и разработками) и парочка сотрудников получает зарплату от хоздоговорной деятельности. Все там мобильно человек решивший писать диссертацию или реализовать научную идею работает в статусе чистого ученого, если есть проблемы с грантами то может увеличить преподавательскую нагрузку. Кто-то, обладая более практическим складом ума или недостаточной публикационной активностью работает в более прикладном ключе.
В РФ от преподавателя требуют публикаций иначе смерть.. и по 30 преподавателей ваяют одну статью и шлют куда-то там, требуют хоздоговоров по 150 тыщ на человека в год и преподаватели несут свои деньги в фирму которая имитирует хоздоговор и отдает эти же деньги университету..плю с самая высокая в мире аудиторная нагрузка (ибо чем больше часов тем больше денег) и преподаватели отказываются от работы по грантам, закрывают практики студентам и вводят весьма экзотические предметы ради часов..
Новаерное нужно сначала выстроить систему чтобы люди под угрозой потери работы не имитировали свою деятельность ценой утраты эффективности этой же деятельности.. а потом уже заниматься наукометрией.
В любой развитой стране мира у ученого есть два критерия а не один. Помимо публикаций есть разработки и их внедрение (внедрение это не когда деньги дают ученому а когда в промышленности или социуме его идеи приносят пользу обществу).
хороший пример
адекватного подхода к наукометрии. Особенно удивляет, что автор - "гуманитарий", которые всегда самые обиженные при любой методике оценки результативности. А последний абзац этой статьи на Индикаторе - вовсе стоит прочитировать:
Проблема в том, что передача такого решения на усмотрение экспертных панелей опять возвращает нас к проблеме доверия к экспертам, которого в России нет и не предвидится. В этом плане, я боюсь, нас ждет какое-то единообразное решение для всех дисциплин, и оно будет основано на метриках. Но лучшее, возможно, что может спровоцировать КБПР и прочие неприятности — это научную самоорганизацию в ответ на кризис. Если бы министерство встретило ассоциации, которые объединяли бы большинство специалистов в своей области, чью легитимность бы никто не оспаривал изнутри, которые бы предлагали бы проделать адскую работу, связанную с созданием экспертных панелей и качественной оценкой, и, казалось бы, правдоподобным, что они и правда ее проделают, оно могло бы оказаться куда уступчивей. И даже если нет, прецедент такой самоорганизации был бы важным событием. Опять же, министры приходят и уходят, а навыки самоорганизации остаются.
ОНР уже пережила трех министров ...
Опять же, министры приходят и уходят, а навыки самоорганизации остаются.
Верно, ОНР уже пережила трех министров!
Профсоюз и Методика: и да и нет.
Надежда Волчкова снова отличилась. В "Поиске" появилось интервью с председателем Профсоюза работников РАН В.П.Калинушкиным, проливающее некоторый свет на деятельность рабочей группы и на некоторые недостатки методики, ускользнувшие от ее критиков, которых сегодня, кажется, уже стало больше чем ученых. Интересна вот эта цитата:
Замечу, что ФИАНовский 1:3:9:27 наш УС отверг сразу, когда обсуждал Положение о ПРНД и утвердил 1:2:3:4.. Все-таки в институтах далеко не все пишут только в Q1.
Полезно знать, что представители социогуманитарных и сельскохозяйственного отделений РАН просто саботировали заседания, по сути подставив сотрудников своих институтов. Надеюсь, что еще удастся найти приемлемое для гуманитариев решение. Спросили бы самих научных работников - легче было бы.
И вот очень важная цитата: никто не заметил, что расчет при распределении ведется не в рублях, а в мифических нормочасах
"У нас есть примерно полгода, чтобы подправить методику"
неплохая аналитика
от eLIBRARY https://www.elibrary.ru/wos_scopus_rsci.asp
Примерно, как и следовало ожидать: "список ВАК" ничуть не лучше остального РИНЦ, "помоечный" ESCI сильно переоценён, RSCI не хуже аналогичных без-импактных журналов WoS и Scopus. Самое печальное - что уровень цитирования отечественных учёных даже в топовых журналах ниже, чем среднее.
Уровени или качество - равно цитируемость
Единственное, что хотелось бы сказать, что тут отождествляются "качество" и цитируемость. А так, все достаточно ожидаемо. И вывод простой: кто хочет больше цитирований, должен публиковаться в лучшем журнале, чем в худшем.
О цитируемости и о "коэффициентах качества"
Поскольку большинство участников форума почему-то не бывает в группе ОНР в Фейсбуке, дублирую мой комментарий к статье в elibrary https://www.elibrary.ru/wos_scopus_rsci.asp :
Вывод про завышение коэффициентов для Q1-Q3 в КБПР явно некорректен - если, конечно, речь идет не о предсказании числа ссылок на статью, а об оценке значимости работы, которая за ней стоит.
Во-первых, российские ученые в среднем намного меньше включены в международное сообщество, чем средний автор журналов, индексируемых в WoS (у многих нет денег на участие в конференциях, мало кто участвует в международных проектах, мало приехавших после работы или учебы в других странах, и т.д.), поэтому цитирование российских авторов неизбежно должно быть значительно ниже средней по журналу при одном и том же (!!) качестве статьи - по крайней мере, достаточном для попадания в журналы соответствующего уровня. (Случай Q1 несколько особый: можно представить, что внутри Q1 распределение качества статей (оцениваемого не просто по цитируемости, а каким-то более прямым образом) у российских авторов сдвинуто влево, а у зарубежных - вправо. Но по крайней мере в других квартилях это исключено.)
Во-вторых, тяжелые проблемы в России именно с публикациями в наиболее серьезных журналах. (Например, в нейрофизиологии, к которой я имею отношение, уже даже китайцы во много десятков раз больше печатаются в топ-журналах, чем российские авторы, хотя они начинали с нуля, а в России когда-то были всемирно известные ученые.) Если отношение баллов Q1/Q3(Q4) будет вроде того, какое можно было бы вывести из данных по среднему цитированию российских авторов, халтурщики-имитаторы, способные опубликовать в Q3-Q4 кучу бессмысленных статей за то время, которое нужно на одну в Q1, будут цениться больше. (Я, конечно, не хочу сказать, что всякая статья в Q4 плоха и каждый ее автор халтурщик - нередко там оказываются по каким-то причинам очень качественные журналы, как правило, специализированные - речь только о том, что гарантий от халтурщиков низшие квартили не дают.) Было бы правильнее тем немногим, кто все-таки может попадать в Q2 и особенно в Q1 - и, соответственно, может (как правило) и других учить работать на высшем уровне - создавать особые условия, освобождая от необходимости работать на вал. (Можно, конечно, спросить, нужно ли вообще хоть кого-то заставлять работать на вал. Но это все же отдельный вопрос.)
Я не знаю, как рассчитывались коэффициенты для методики КБПР, но там они все-таки куда более адекватные, чем те, которые можно было бы вывести, исходя из соотношений цитируемости российских авторов.
А почему бы сразу не написать на сайте ОНР?
Сергей Львович,
Удивлен Вашим высказыванием "Поскольку большинство участников форума почему-то не бывает в группе ОНР в Фейсбуке...".
А почему бы им там "бывать"?
Не знаю, как у Вас, а у меня наблюдается перенасыщенность "информацией", по большей части бесполезной, а то и откровенно носящей "зазывной" или рекламный характер.
Постоянные приглашения к публикации в журналах, которые совершенно не соответствуют тематике моих исследований; аналогичные приглашения к участию в конференциях; стать "приглашенным редактором", членом редколлегии, и т.п. Только что один коллега "пригласил в друзья" на LinkedIn; не успел я принять приглашение, как он тут же пригласил участвовать в конференции, к тематике которой я никакого отношения не имею...
Поэтому в "Фейсбуке" (и много где еще) я не бываю, и не планирую бывать.
Больше времени нужно на обдумывание своей работы, да и, собственно, на ее проведение.
А относительно обсуждения этого "аналитического материала", абсолютно согласен с Виктором Анатольевичем: качество цитируемостью не измеряется.
Публиковаться в журналах более высокого уровня нужно не для повышения цитируемости, а для получения более глубоких (и профессиональных!) замечаний рецензентов, обдумывая ответы на которые, становишься сильнее в своей области исследований.
Что касается группы ОНР в Фейсбуке
Признаюсь, я в последний год или два пишу в десятки раз больше постов и комментариев в группе ОНР в Фейсбуке, чем здесь. По той же причине: на все не хватает времени. А там все намного быстрее, да и читателей больше. К сожалению, там сложно организовывать серьезные обсуждения. Что с этим делать, пока не знаю.
ОНР и фейсбук
На сайте ОНР чтение комментариев как правило много времени не занимает - их в среднем мало. На странице в фейсбуке этого больше. И там представлены в значительной степени гуманитарии с лозунгами - "нам нужен РИНЦ". Очень любопытное чтение.
А так конечно, времени на все не хватает.
Это только сейчас гуманитарии
Это только сейчас гуманитарии активизировались, у них действительно особо невеселая ситуация, поскольку при разработке методики КБПР особенности их наук учтены меньше всего.
Время тут уходит на поиски новых комментариев, когда их много, и на перенос сюда ссылок (про каждую еще надо что-то написать, да и сообразить, куда именно поместить - а в ФБ часто достаточно буквально трех касаний экрана, тк почти всегда у новостей есть превью, а новые посты в группе сыпятся в общую ленту). А главное, я использую ФБ и для других дел, в том числе, как ни странно, отслеживаю сугубо научные новости (среди френдов есть любители их выкладывать, да и в некоторые группы они попадают), так что мне надо специально организовывать свой приход сюда, но не в ФБ.
Дело не только в гуманитариях
Ну судя по всему гуманитарии справятся - приравняют Скопус и ВоС, будут отчитываться монографиями на килограммы. Но на самом деле есть и другие примеры - вот, например, энтомология, давно не было от них ничего на форуме. Так называемые инженерные науки в той же ситуации, только монографии у них - не решение.
"Каждый выбирает по себе..."
Если в фейсбуке Вам любопытно, почему бы и нет?
цитируемость российских статей
Полагаю, что более низкая цитируемость российских авторов в журналах каждого из квартилей возникает просто из-за отличного от мирового распределения по разделам. Можно предположить, что доля российских статей больше по физике и математике, и совсем мала в медицине. А средняя цитируемость в медицине много выше. Кроме того, замечу, что уровень журналов в Q1 бывает очень разный. Если за статьи будут платить пропорционально коэффициентам КБРД, то возрастёт число российских публикаций отнюдь не в Nature, а в массовых журналах открытого доступа с высокой платой за публикацию.
Цитируемость российских авторов
На эту тему есть анализ Ивана Стерлигова - Попали в хороший журнал, а цитируетесь все равно хуже? Наверное, вы из России
Ну и в дополнении, "наши люди", которые "внезапно" оказались под прессингом требования публикаций, в определенной степени не понимают, где стоит публиковаться зарубежом, потому что нет таких традиций.
Два персональных наблюдания.
1) Когда говорил, ребята, зачем вы туда пишете, это же мурзилка! В ответ, а ты кто такой, чтобы определять качество журнала, отвали.
2) Сначала удивлялся,вот почему статьи в ZAMM цитируюся хуже, чем в Mathematics and Mechanics of Solids? А потом стало примерно понятно - первый считается немецким, а второй - американским. Хотя это уже не так, но какое-то отношение осталосью
эффект цитирования соотечественниками
У Стерлигова мне кажется особенно показательной таблица с процентами цитирований соотечественниками. Скорее всего просто лично знакомыми авторами. Таблица показывает, что положительный сдвиг цитируемости в направлении соотечественников есть у всех. У россиян и китацев сдвиг больше чем у американцев и французов. Но российских авторов мало, а китайских много. Отсюда и более высокая цитируемость китайцев, а вовсе не из-за мифической разницы качества статей в одном журнале, в зависимости от страны пребывания автора.
Новая наукооценочная политика Китая
Пока у нас продолжают ружья кирпичом чистить, Китай неожиданно решил от этого отказаться, причем радикально и системно, кажется, в чем-то даже обойдя многие западные страны.
https://news.cgtn.com/news/2020-02-25/China-to-move-away-from-Science-Ci...
"China's Ministry of Education and Ministry of Science and Technology issued an official notice last week on regulating the use of Science Citation Index (SCI) papers in the evaluation system of universities and academic institutions across the country, calling for a break from the longstanding SCI-supremacy in assessing researchers and institutions.
The authorities issued clear guidelines on reversing the SCI-supremacy phenomenon in a move to change the current academic assessment and evaluation systems that are over-reliant on published papers, as well as to develop a more comprehensive evaluation system in academia."
Конкретные меры описаны здесь:
https://scholarlykitchen.sspnet.org/2020/02/27/new-chinese-policy-could-...
Небольшой пример:
"- Individual researchers are limited to five representative works
- Key subject innovation teams: no more than ten representative works
- National Laboratories/State Key Laboratories and other scientific and engineering research bases: no more than 20 representative works
- Central level science research institutions: no more than 40 representative works
...
For representative works, publishing expenses can be paid for through the special fund of the National Science and Technology. "
Очень интересно, спасибо!
Незашоренное мышлениие в Китае весьма впечатляет.
Здорово, нам есть чему поучиться!
Стоит смотреть именно на наиболее значимые работы, а не на их общее количество. Что-то вроде Хирша - важно не то, сколько статей ты напечатал, а сколько из них тех, которые кому-то ещё (кроме тебя) оказались нужны и достойны упоминания.
Надо еще, чтобы чиновники захотели учиться,
а то они только смотрят в рот вышестоящему начальству. О том, что надо оценивать только 5 или 10 лучших статей, и еще раз в 5 лет, как в Англии, математики давно говорили. Но если так делать, то как министерским выполнить майский указ? Как узнать, попала ли РФ в топ-5 научных стран? Надо придумать способ оценивать науку всей страны только по лучшим работам. Кто предложит такой суверенный способ? Надо еще учесть, что чем меньше работ оценивается, тем меньше они защищены от накруток. О, радость взаимного цитирования!(с)
Китайцы, чиновники, оценки - обо всем сразу
1. Александр Львович, желание, чтобы чиновники хотели научиться, оно конечно похвально, но вряд ли возможно. Хотя бы потому что вряд ли они они способны на это. Тут скорее бы вопрос к научному сообществу, способно ли оно продавить требуемые изменения, используя РАН и все такое. Пока что все выглядит так, что РАН и сообщество реагирует на внешние раздражители. Весьма характерна реакция представителей "социогуманитарных наук" - методика не годится. Но предложения, как поправить, пошли только после. Причем я не уверен, что, например, предложение считать по авторским листам, хорошее. Если не готовы научится академики, то что же хотеть от чиновников. Остается только надеяться...
2. Прочитал бегло ссылки на китайские изменения. Во-первых, у них иные проблемы - China is now the world’s largest producer of scientific articles. Ну и про 5-10 статей, это касается заявок на гранты и отчетов. Насколько я помню, на РНФ от руководителя требуются тоже не все статьи, а сколько-то за последние 5 лет. Кроме того, вот такое требование "One third of high-quality papers will now be expected to flow to domestic Chinese journals" вряд ли будет применимо к нам. Во-вторых, требования переносятся на публикации в лучших журналах, чтобы это не значило.
У нас проблемы те же!
Изменение китайской научной политики связано с тем, что они поняли контрпродуктивность стимулирования количества. В результате такого стимулирования у нас в расчете на душу населения, наверное, производится даже больше мусора, чем у них - по крайней мере, если учитывать все идущее в отчетность, а не только WoS. И у нас уже тоже становится очевидным, что имитаторы приспосабливаются почти к любым количественным критериям, а у нормальных ученых в итоге не остается времени на серьезную науку.
Что касается того, что у нас в заявках на грант представляются тоже только пять статей - это совсем не так. Есть минимальные требования (в РНФ - не меньше семи на конкурс групп), но в заявке вы можете указать сколько угодно, и более длинный список наверняка больше впечатлит экспертов. Более того, мне кажется, "репрезентативные публикации" - гораздо более универсальный принцип в "новой китайской политике" (но пока это не очень понятно, надо дождаться перевода самих официальных указаний).
РНФ
Специально посмотрел заявку в РНФ. Вот это имелось ввиду. Форма 2. Сведения об основном исполнителе. П. 2.10.
В нашумевшую методику Минобрнауки привнесут многоукладность.
См. приложение.
Страницы