Научная группа как основной объект оценки эффективности научной работы
Уважаемые ученые, я решил написать тут несколько соображений, которые являются продолжением некоторой дискуссии в совете. Если кратко, то некоторые члены совета крайне обеспокоены установкой партии и правительства ограничить финансирования науки некоторым числом (звучала цифра 150) "ведущих" научных организаций. Звучали также очередные упреки в сторону библиометрических показателей, но это мне обсуждать не хочется, поскольку много раз обо всем об этом уже говорилось.
Собственно соображения. Лично мне очевидно, что нет смысла ожидать того, что всяческие властные товарищи внезапно прислушаются к разрозненным голосам научного сообщества и прекратят сокращение научного бюджета, или тем более увеличат его. Денег и прочих ресурсов будет меньше. Как следствие, так или иначе будет выживать сильнейший, и вопрос заключается лишь в том, кто будет этим сильнейшим и кто будет решать, кому ими быть. Это значит, что министерству в любом случае придется вырабатывать какие-то критерии. Понятно, что оценивать организации целиком с точки зрения клерков проще всего, собираешь со всех таблички и сравниваешь показатели. Нас, ученых, эта ситуация явным образом не устраивает. Решение типа: а давайте вообще все оставим как раньше, явно конструктивным не является. Поэтому есть предложение сделать упор на то, что основной научной единицей является не институт и не отдел, а научная группа. Предлагается при этом не использовать слово лаборатория, поскольку часто разбиение по лабораториям не соответствует разбиению по группам, кроме того бывают еще сектора и прочее, а наши чинуши очень любят зацепляться за формулировки. Такой упор именно на научные группы мне кажется полезным не только с точки зрения "сохранения и защиты" научного достояния, но и с точки зрения самих институтов. Им будет выгодно не увеличивать количество сотрудников, а фокусироваться на том, чтобы были работоспособные коллективы. По моему собственному опыту, многие подразделения застыли в том виде, в котором они были 20 лет назад и остро нуждаются в реструктуризации.
Полностью согласен.
Полностью согласен.
Да я, собственно вашу мысль и продолжал
Так что это я с вами согласен. Хотел написать более длинное обосование данной идеи, но чего-то сил не хватило.
Как насчёт ресурсов?
Никто централизованно лаборатории или тем более группы оценивать не будет, на это никаких ресурсов в имеющейся ситуации не хватит, даже если предположить что можно выработать адекватные критерии централизованной оценки группы. Группы можно оценить только на уровне института-университета. Так что предложение не к МОН и ФАНО, а скорее к своим собственным дирекциям. Либо предложение нужно развивать и я знаю что у вас при таком "развитии" получится.
Для оценки групп новых ресурсов не надо.
Нужна политическая воля. ФАНО уже 2-й год собирает в конце года данные по научным группам. Год назад это было внезапно и ученые секретари, растерявшись, стали запрашивать данные от руководителей групп (точнее, тем госзаданий, но часто это совпадает). Я, помню, возмутился и стал клеймить бюрократов публично. В этом году спрашивают меньше (боятся или секретари научились экстраполировать): только публикации WoS/Scopus, но тоже по группам.
Так что данные у них уже есть. Если какие-то группы хотят, чтобы их считали отдельно - договаривайтесь с руководством института и ваши данные уйдут наверх отдельно. А вот что с ними потом делать будут - вам не скажут. Возможно, потому, что сами не знают. В вузах, возможно, порядка еще меньше.
Короче, всем этим надо нам самим интересоваться и участвовать в оценке. Хотя бы проверять логику подсчетов.
Непонятно
Мы уже тут вроде бы все решили, что для оценки ученых нужно использоать экспертизу, хотя бы минимальную. Ровно то же самое справедливо и для групп, хотя, действительно, в меньшей степени. С другой сторон цена ошибки при оценке группы выше, чем при оценке отдельного ученого, хотя бы потому, что финансирование группы выше чем у одного.
В любом случае для оценки нужно проделать какие-то шаги, в частности создать ясную и понятную систему таких оценок. Вы считаете для этого ресурсы не нужны? Или нужно потратить время научных сотрудников (причем неоднократно и в авральном режиме как Вы говорите) для того, чтобы они дали обоснование почему они хороши или плохи (а это немалые временные ресурсы). В том закрытом режиме в котором как я понимаю это проходило и проходит в институтах ФАНО никакой разумной оценки сделать нельзя.
Давайте рассмотрим такую схему:
Предложение действительно и в первую и в последнюю очередь к дирекциям, поскольку они еще до экспертизы, дирекции должны сформулировать само понятие научной группы. Сейчас оно достаточно виртуальное. Но ФАНО и МОН могут сформулировать запрос.
Как это можно сделать? Давайте я попробую "на коленке" сформулировать как это может работать:
1) Формируем эти самые научные группы и закрепляем их в уставах институтов.
2) Вырабатываем критерии, по которым научные группы оцениваются. Для простоты можем считать, что всем научным группам мы ставим оценки от 1 до 5.
3) Для начала эти оценки могут выставить сами институты, но для всех групп, претендующих на оценку 3 и выше, проводится внешняя экспертиза (защита оценки).
4) Эффективность института как целого оценивается не по количеству людей и не по количеству публикаций, а по количеству высокоуровневых групп.
Почему это может работать?
1) Мы оставляем первичный вопрос о решении, кто лучше, кто хуже и кто претендует на заоблачные высоты внутри института. Группы, которые пока не тянут на ведущие, спокойно живут в институте и не подвергаются дополнительному бюрократическому гнету, связанному с "защитой" своих оценок.
2) "Дорогая" экспертная оценка применяется не ко всем группам, а только к ведущим и как следствие трата ресурсов на это не велика.
3) Институтам выгодно регулярно ревизировать состав групп, дотягивать "догоняющие" группы до уровня ведущих.
4) То, что оценивается количество ведущих групп, а не количество публикаций/грантов/тортиков приводит к том, что невозможна ситуация, когда одна успешная лаборатория тянет весь институт на себе.
Разумно
Выглядит разумно. Хотя кое-что мне кажется лишним. Например:
Сами предлагаем еще 1 бюрократическую штуку, предполагая к тому же снова законсервировать научные группы на года даже при изменении внешних (научных) условий. А зачем?
Мне вот нравится то как это сейчас с вузах организовано. А организовано так:
1) Есть базовое финансирование. 2) Есть проектное финансирование.
Группы формируются на 3 года по обоим типам финансирования. Финансирование по обоим примерно одинаковое. Тут есть некоторая закрытость каким образом это распределение происходит между вузами, наверняка есть лоббирование, но в целом, наверное, распределение достаточно однородное по стране.
Распределение по базовому финансированию- внутри вуза. Здесь есть недостаток, связанный с возможностью потенциального распределения среди "своих". С другой стороны, а как по другому? По научному финансированию у вуза (или института) тоже должна быть определенная свобода хотя бы для развития каких-то направлений важных именно для конкретного вуза-института и для создания какого-то задела, результаты по которому могут быть не скоро. Так что тут ничего не поделаешь, нужно только бороться за разумное распределение ресурсов внутри организации. МОН тут ни при чем.
А проектное финансирование проходит экспертизу. При этом "пролоббированное" для вуза финансирование может быть в прицнипе изменено при сравнении проектов от разных организаций. Наверное эта экспертиза более формальная и закрытая чем в фондах, но в принципе она работает по результатам не хуже. И да, необязательно при этом финансирование будут получать лучшие из лучших, но определенно это лучшие внутри организации. Замечу, что это тоже разумно, поскольку у гос-ва цель не только поддержать лучших, но и, например, развивать регионы в том числе, и развивать какие-то ныне слабые, но потенциально важные направления.
Ну вот в таком формате никакая особая бюрократия не нужна. Сформировали коллектив-группу, подали заявку, выиграли, 3 года работаете. Позитивно отчитались, сравнили достигнутые показатели, продлили финансирование кому-то автоматом (вот этого пока нет как я понимаю, через 3 года проект придется писать всем снова), кому-то снова проект писать и новый коллектив формировать,- тем, кто не справился. Тут вам и экспертная оценка, и поддержка важных для страны направлений, и поддержка регионов, и поддержка молодых (по условиям в коллективы должно входить какое-то число молодых сотрудников), и мобильность в плане создания под конкретную задачу научных коллективов, и, по большому счету, минимум бюрократии, поскольку кроме отчета и проекта в общем-то ничего научным сотрудникам в плане бюрократии делать не нужно, но это терпимо. По моему это оптимальный в наших условиях подход. Кое-что улучшить можно, например, давать гранты не на 3, а на 5 лет в некоторых случаях, или автоматическое продление у тех кто выполнил показатели, но это детали.
Контракты vs tenure tracks vs permanent positions
В целом согласен. Но все это теряет смысл, если ученый, создающий научную группу, не может сам подбирать себе сотрудников. Следовательно, при такой организации необходимо, чтобы большинство научных работников находилось не на постоянных позициях, как сейчас, а на контрактах, причем не очень-то длительных. А это - серьезный вызов устоявшимся привычкам. И тут надо тщательно продумывать критерии и механизмы отбора тех состоявшихся ученых, которых имеет смысл брать на постоянные позиции. Tenure track может оказаться полезным. Словом, это напоминание еще об одной стороне проблемы, которую надо решать.
Ну не такой уж вызов
Формально мы сейчас уже все на срочных контрактах живем. Я думаю, что проблема с мобильностью кадров не психологическая, а весьма практического характера. В частности она сильно связана с жильем. Размер научной зарплаты, даже если увеличить ее в два раза, не позволяет легко платить за аренду жилья (не только в Москве). Поэтому если человек уже каким-то чудом обеспечил себя условиями проживания, его довольно сложно выдернуть в какое-то другое место. Мобильность присутствует максимум в пределах одного города, да и то не всегда.
Жилье
Согласен, поэтому, нужно либо иметь зарплату, позволяющую арендовать жилье в новом месте, либо запускать программы по строительству при научных центрах и университетах кампусов для приглашаемых научных сотрудников.
Но я боюсь, дело не в жилье. В Красноярск из Москвы мало кто поедет, даже если предложить жилье и зарплату 50-70 тыс. рублей. А у нас большая часть науки сейчас в Москве и Питере.
А почему нет?
У меня есть знакомые, даже не очень молодые, которые таки ехали (не в Красноярск, но по расстоянию примерно то же). Другое дело, что я не вижу большого количества таких предложений, а если они и есть, то это как правило контракты на 2-3 года с очень маленькой вероятностью продолжения.
Вероятности
Вопрос в процентном соотношении. Эти случаи единичные.
В РНФ сейчас гранты были для молодых кандидатов, достаточно приличные по размеру, зарплату можно было бы нормальную платить. Заявок было очень мало, при этом известны факты, когда молодые только числятся в том месте куда они должны были переехать.
Временные ставки и не могут иметь большую вероятность продления. На западе хорошо если 5-10% постдоков остаются где-то, основная масса идет в индустрию или еще куда-то. В этом есть большой смысл. В принципе, за 2-3 года можно получить нормальный результат, как работать будешь, в общем, хотя некий элемент удачи тут тоже есть. Конечно, проще сидеть на одном месте всю жизнь и никуда не выезжать, если позиция фактически постоянная с самого начала. Но это и приводит к застою системы, в которой десетилетиями почти ничего не меняется и в которой новые люди практически не нужны. В Германии, например, постоянную позицию вообще получить практически нереально, если ты на постдоке нигде не был. Должен поездить, посмотреть, набраться опыта и идей, просто расширить кругозор, чтобы мышление не было местечковым-провинциальным. А у нас если уехал куда-то, то все, возвращаться как правило просто некуда. В свое время даже переходы человека между институтами не приветствовались, человека называли "летуном", людей чуть ли не во враги записывали, много таких случаев слышал. Менталитет такой. Это только "через коленку" менять, непопулярно это в России.
По поводу РНФ
По поводу грантов РНФ вопрос обсуждался. Оказалось, что по крайней мере в нашей области ехать некуда. В стране всего несколько организаций, которые могут потянуть проект, на который могут дать РНФ грант по физике частиц. Кроме Москвы, фактически есть ПИЯФ в Петербурге и ИЯФ в Новосибирске. Ни те, ни другие не приглашают (причем в Петербург не поехали бы даже если бы приглашали, поскольку ПИЯФ под Ковальчуком).
По поводу менталитета согласен. У нас даже людей, вернувшихся из за границы и с огромным стажем первые лет пять считают вторым сортом. Но эта проблема не только в мобильности. По этой же причине научные должности даются за выслугу лет, да и диссертации защищаются в "родном" институте. Эту систему разумеется надо ломать (при этом не значит, что все надо делать "как на западе"). Я честно говоря, не уверен, возможно ли это вообще. Практика показывает, что не удается даже добиться изменения деления отдела на лаборатории.
Нетипичный случай
В вашей области и в мире-то не так много мест. Это не показатель. Но, понятно, что в сложившейся возрастной структуре науки мало кому что вообще нужно, а тем более откуда-то кого-то звать. Но факт остается фактом, по моему объявлению на позиции постдока (зарплата от 70 тыс. рублей плюс жилье) и аспирантов (зарплата около 30-40 тыс. руб плюс жилье), на позиции с очень сильными научными руководителями, из России не написал никто. Из-за рубежа порядка 50 заявлений за месяц. Вот и вся мобильность.
позиции постдоков и аспирантов
А как приглашаемые должны были определить "силу" руководителей (что они очень сильные), по каким критериям? Где могли увидеть объявления люди из России и где их увидели люди из-за рубежа?
Насчет того, что не зовут (и вообще мало что нужно) из-за возрастной структуры, так опять же люди (сильно) разные: бывает, что и молодые - пофигисты, и любого возраста. Ну а звать кто реально может, неужели все? Если все, то должен быть механизм подачи заявок на приглашение (типа системы заявок на гранты - для всех) или нет? Это ж сколько денег надо, если только аспирантам оплата примерно в 2 раза больше, чем зарплата у научного сотрудника в институте. А если еще реактивы, расходники и пр.......
Tenure
Совершенно верно. Это и есть часть того, что называется мобильностью.
Тоже согласен. С другой стороны, при введении механизмов личной ответственности руководителей, которые набирают руководителей групп и людей на постоянные позиции, эта проблема автоматически решается. Набрал не тех- вылетел. Я считаю, что даже плохой "директор" решит на месте лучше, чем решат какие-то общие для всех "концепции" и правила. Но это лишь в случае наличия его личной ответственности.
Про личную ответственность
По поводу "введения механизмов личной ответственности", это имеется ввиду "набрал не тех - вылетел"? Директора назначаются (или выбираются) на определенный срок, ведь так? И за этот срок есть вероятность вообще все развалить, если набрать "не тех". Ну вылетит, а что после себя оставит - полный развал и пустоту? Не слишком ли велика цена ошибки? Очевидно, что нельзя давать столько власти в одни руки - набирать "руководителей групп и людей на постоянные позиции". Как один человек в принципе может оценить столько направлений (если групп несколько, то и направлений несколько), оценить каждого конкретного руководителя группы, его компетентность, уровень, умение руководить и прочие качества, включая ту же ответственность? Наоборот предлагается ограничивать власть директора и распределять ее по крайней мере на весь Ученый совет, в который должны входить все руководители подразделений (а не только некоторые, как есть сейчас по крайней мере в части институтов).
И за этот срок есть
Нет такой вероятности практически. К директорам должны предъявляться определенные требования, в частности успешное руководство группой или лабораторией, а также, возможно, требование прошлой работы в нескольких городах России и даже разных странах.
Во-первых, если заранее будут известны жесткие для человека последствия в случае неудачи, то большинство останется сидеть на завлабских должностях, и не будет пытаться лезть выше. Ответственность она, знаете-ли, мотивирует думать не только о том "как мне лично будет хорошо". Во-вторых, за директорами должен быть внешний контроль, их не так много и проследить за результатами раз в год не так уж и сложно. Какие-то минимальные требования к результатам должны быть, конечно.
Легко. Директору не нужно оценивать направления до полной глубины. Ему нужно оценить руководителя группы и послушать, что он говорит и как, а также посмотреть на его результаты, полистать их статьи и обзорные статьи по теме. У руководителя группы тоже должны быть какие-то результаты. и у него тоже личная ответственность.
В консультативном смысле- можно и Ученый совет. Хотя это на самом деле больше нужно директору, чтобы скинуть себя ответственность, а не для пользы дела. Ученый совет это механизм разделения ответственности и не более того. Когда ученый совет большой, то никто фактически ни за что не отвечает. Ответственность (перед вышестоящим начальством ) должен нести один человек- директор. А перед ним - завлабы (которые без директора сами набирают своих сотрудников). Тогда и ученый совет, даже если будет, будет куда как адекватней. Без ответственности принимаемые решения могут быть какими угодно и все это понимают.
Ну и роль директора нужно снизить. В частности тем, что вводить проектное финансирование и прием сотрудников на проекты, а не на базовое финансирование. То есть у директора только небольшая "база", которую он более-менее равномерно распределеяет среди групп.
Еще один важный момент- не нужно создавать институты- монстры с численностью научных сотрудников под тысячу и больше. Такие структуры в принципе неуправляемые, хоть с ответственностью, хоть без. Разве что под какие-то глобальные проекты типа атомной бомбы, но там должна быть совершенно иная структура управления.
про директоров и риски
Насчет риска все развалить. Как его оценить? Наверное можно посмотреть на тот опыт, который уже есть сейчас. Некоторые и поработали в разных странах, и поруководили группой (лабораторией) - уже в России. Посмотреть каковы результаты.
Жесткие последствия, а каковы критерии оценки для этих последствий, что конкретно учитывать, чтобы сказать про неудачу? "Минимальные требования", какие конкретно и кто будет контролировать и оценивать?
Ответственность понятие достаточно абстрактное. "Как мне лично будет хорошо" - это обычно понятно. А "ответственность" нужно конкретизировать. Что "сверху" требуют, если публикации, то ответственность за публикации? Какие публикации, чьи публикации, в каких журналах публикации, о чем публикации и пр.
По поводу оценки направлений. "Послушать руководителя группы что он говорит и как", о-о-о некоторые так могут говорить... Вопрос ЧТО говорят. А не разбираясь в теме (достаточно глубоко) это не просто понять. Для этого как раз экспертная оценка нужна и не одного эксперта, а нескольких (как в конкурсах на гранты). Бывает ведь, что люди очень хорошо умеют нравиться, они могут быть обоятельны и привлекательны (как Остап Бендер у Ильфа и Петрова :(. Статьи, как правило, в соавторстве и понять роль конкретного соавтора не так просто. Обзоры тоже часто в соавторстве. Как оценить ответственность тоже непонятно. Вообще-то должны быть рекомендации (несколько). Правда у рекомендателей тоже должна быть ответственность :)
Ну роль Ученого совета это тоже хорошо бы определить. Не очень понятно что значит "он нужен, чтобы скинуть ответственность"? Если это коллегиальный орган, то конечно он должен отвечать - нести ответственность за свои решения в частности.
Насчет "вышестоящего начальника" - для директора, а кто этот начальник для директора? Такое ощущение, что это выстраивания вертикали власти: кто-то с самого верха (вопрос кто?) пнул кого-то, тот пнул директора, директор завлаба. А дальше что? Завлаб пошел пинать сотрудников напрямую или опосредованно (через других сотрудников). Ну допинали до лаборантов, а дальше что? И где тут ответственность? Ответственности вообще тут нет никакой, только пинки (ответственности за пинки?).
Если есть Ученый Совет, а ответственности нет ни у кого, то это значит, что Совета по сути нет, он "бутафорский", "декоративный". Люди зачем должны быть в Совете, чтобы писать в бумажках, что "член" или чтобы иметь возможность принимать участие в решении вопросов важных для всех?
По поводу "проектного финансирования", что имеется ввиду? И чем это отличается от того, что есть сейчас (бюджетные темы) и того, что пишется в заявке на гранты (там же тоже проект)?
Людей брать на проекты, это типа постдоков (?): есть грант есть посток-позиция (и пост-док), нет гранта...нет ничего. Насчет базы, где уверенность, что распределение будет "равномерным" между группами, если этим будет распоряжаться только один человек - директор?
Насчет институтов-монстров, если полномочия делегированы частям монстра и не надо вставать в очередь, чтобы заявки на гранты подписывать у одного человека (директора) и пр., то какая разница в составе чего находится рабочая группа. Если институт маленький, а директора постоянно нет на месте (в командировках или еще где) и непонятно кто может подписать документы, то головняк будет конкретный (и бардак) и при любых размерах.
по оценке работы
http://sovok.info/akademik-aseev-vozmozhno-kardinalno-sokrashhenie-nauchnyh-organizatsij/
Говорится о том, что "более 150 сильных государственных научных институтов, центров, вузов" "на них приходится примерно 70% патентов", "80% высокоцитируемых работ". "150 - это лишь 10% всех государственных образовательных и научных организаций". "Сейчас в России работает около 600 академических научных организаций, а если учесть ведомственные институты и университеты, то гораздо больше. Судя по высказыванию Президента, возможно, их десятикратное сокращение".
Если звучит конкретное число (хоть и приблизительно), значит должен быть список, хорошо бы его посмотреть.
Александр Львович, а какая "политическая воля ФАНО" нужна, там что-то посчитать должны по собранной информации по данным о научных группах?
Насчет тем госзаданий и того, что по ним реально делается. Вот по дерматоглифике (которая названа хиромантией) - "предсказания" по отпечаткам пальцев и это в РАН: Якушева Марина Юрьевна, доктор медицинских наук, ведущий научный сотрудник лаборатории иммунопатофизиологии Института иммунологии и физиологии Уральского Отделения РАН: http://iip.uran.ru/index.php/menu-deps/14-articles/108-yakusheva-info
Работает в институте с 2004 г. Основное направление научных исследований - "изучение проблемы оценки индивидуальной предрасположенности к развитию заболеваний". Тема ИИ УрО РАН "Исследование этиопатогенетических механизмов возникновения метаболических нарушений" НИР по изучению факторов риска развития различных заболеваний позволили разработать методику выявления предрасположенности к развитию сахарного диабета, метаболического синдрома, сердечно-сосудистых и онкологических заболеваний, срздать программно-аппаратный комплекс, включающий пальцевой и ладонный дактилоскопический сканер, программу "Дерматоглифика" для анализа дерматоглифической картины"
И опубликована вся эта ее дерматоглифика не только в "Вестнике Уральской медицинской академической науки" (2009): http://elibrary.ru/item.asp?id=12786674
но и в журнахах "Цитология и генетика" (1994): http://elibrary.ru/item.asp?id=23810712
"Генетика" (1999): http://proxy.fesmu.ru/elib/Article.aspx?id=39882
Есть у нее и патент - тоже по дерматоглифике: http://elibrary.ru/item.asp?id=18858448
Есть еще и "Институт дерматоглифики" со "Школой дерматоглифики Марины Якушевой" с платными "услугами" диагностики здоровья в том числе:
https://dermatoglyphics.ru/
и списком ее публикаций: https://dermatoglyphics.ru/articles.php
А вот основные научные направления ИИ УрО РАН: http://iip.uran.ru/index.php/aboutiip
Программа фундаментальных научных исследований государственных академий наук на 2013-2020 гг.
Раздел VII. Физиология и фундаментальная медицина
Ну и вопрос какое отношение дерматоглифика имеет к физиологии и тем более к фундаментальной медицине? Очевидно, что никакого, как и к науке вообще.
У нас этих дерматоглификов чуть не побили (пока еще не). Ну и вопрос ЗАЧЕМ обществу такие "исследования", да еще и в РАН? По форме все есть: патент, публикации, а по сути это лженаука, да еще и претендующая на "диагностику" заболеваний, причем не хухры-мухры абы каких, а сердечно-сосудистых и онкологических. КТО этим должен заниматься: ФАНО? КТО?
Выступление Ливанова на Совете по науке и образованию
Стоит обратить внимание на обсуждение оценки организаций и групп на последнем заседании Совета по науке и образованию при президенте, и в особенности на короткое выступление Ливанова (последнее выступление перед заключительным словом Путина):
Хотя это совсем не значит, что вопрос уже решен. В частности, критики наверняка будут педалировать проблему сложности организации экспертизы. Формальные показатели, как мы все знаем, далеко не всегда работают, особенно если применяются на уровне ниже уровня организаций (особенности публикационного паттерна могут быть очень разными даже в близких научных областях; у группы академика, давно выстроившего конвейер вроде бы вполне научной работы, могут быть блестящие показатели, но близкий к нулю потенциал получения по-настоящему новых знаний; нередко получают отличные публикационные показатели за счет коллег, работающих почти постоянно за границей; и т.п.).
На мой взгляд, идеальным решение был бы не выбор какой-то единой схемы, а предоставление возможности использовать разные механизмы. Например, выделение ведущих лабораторий и групп сначала могло бы осуществить и руководство института, но затем те, кто в число ведущих не попал и не согласен с этим, в обязательном порядке должны получить возможность доказать свою состоятельность с помощью других механизмов, и в случае успеха продолжить работу в рамках того же или другого института. Разумеется, механизмы должны быть прозрачными и открытыми.
Организации
На всякий случай я еще хотел бы обратить внимание на то, что хорошая организация - это тоже очень важно и ценно. Конечно, если группы сравниваются в масштабе страны, то сильные организации становятся видны по концентрации в них сильных групп. Но сравнивать группы в масштабе страны очень сложно. Проще всего было бы сначала сравнивать - даже по формальным показателям (но, конечно, с учетом численности сотрудников и, возможно, других существенных факторов) - институты или их крупные подразделения, и затем для разных категорий, которые при этом выделятся, разработать разные варианты процедуры, которая бы применялась уже к уровню групп.
150 лидеров по версии SCIMAGO+
Исходя из тезиса Сергея Львовича о том, что организация это тоже важно, можно, как и говорил Сергей Петрович, обсуждать двухступенчатую систему: оценка организаций - оценка групп. Так вот, несмотря на загадочность того, откуда взялось число 150 высокоцитируемых организаций, способов их определения предостаточно. Один из разумных: подсчитать долю публикаций из верхней четверти журналов по импакт-фактору (списка Q1) в общем числе публикаций организации за данное время (например, 5 лет). Такие списки составляет SCIMAGO, по данным из Скопуса, они есть в открытом доступе.
В приложении - файл рейтинга российских организаций по этому показателю за 2013 год, а также рейтинг всех научных организаций мира для сравнения. Заметьте, российских организаций в списке Q1 чуть более ста. Референты-спичрайтеры из МОН или АП, готовившие речь Путину, вполне могли взять этот список, добавить к нему полсотни "своих", сильных по определению или по другим критериям - и дело сделано. Звучит неприятно, но взгляните на хвост списка: последняя из 108 организаций имеет 0.34% публикаций в Q1, т.е. практически их не имеет. При этом организация №108 в российском списке имеет номер 3291 в мировом списке, а организация №1 в российском списке имеет номер 454 в мировом списке. Вот наше место в мире:(
Интересно узнать: есть ли среди посетителей этого сайта кто-то, работающий в организации НЕ ИЗ РОССИЙСКОГО СПИСКА-108? Ау, откликнитесь! Если никто не проявится, то, может быть, действительно, список SCIMAGO представляет почти все конкурентноспособные в мире научные организации России?
как насчет научных лидеров
https://ru.wikipedia.org/wiki/%D0%A4%D0%B5%D0%B4%D0%B5%D1%80%D0%B0%D0%BB...
например, ВНИИЗЖ явный лидер в сравнении с другими отечественными ветеринарными институтами даже с учетом гос финансирования. А в мире есть очень немного организаций разработавших такой ассовртимент вакцин. т.е. в первую сотню в мире среди профильных научных организаций они несомненно входят, да и по публикациям в высокоимпактных (0.5-4) ветеринарных журналах - я встречал только представителей этого НИИ.
или вот по мясу
http://www.vniimp.ru/
они вообще входят в десятку лидеров. Ничего что на их конференциях всяких японцев -индусов высутапет больше чем русских? Так кто круче ИЦИГ или ВНИИМП в плане влияния на мировом урвоне тогда?
и что? давайте закроем эти два НИИ как не входящие в список ради второсортных фундаментальных НИИ у которых принято обильно публиковатся за рубежом а журналы обладают более высокими импатками? А где в этом списке ГНЦ и ВБ Вектор? Среди инфекционных организаций мира он явно не последний и даже не на 400-м месте.
С другой стороны, перечисленные ветеринарные и с-х. организации входят в структуру минсельхоза т.е. им и денег идет побольше и разработки других нии проходят через НИХ... уберем нищую периферию и сдуются крупные всероссийские ведущие НИИ.
А селекционеры? им порой нужны десятилетия чтобы закончить ту или иную породу, провести селекционные эксперименты и что давайте их накажем?
Это я к вопросу о том что нельзя загонять всю науку в одно прокрустово ложе. Основная роль научной инфраструктуры в том что там можно вырватся из тисков нормативно-правового регулирования и занятся чем-то не предусмотренным гос-стандартами от дерматоглифики до новых инфекций.
Мы опять скатываемся к попытке всех подогнать под один стандарт и даже внутри РАНовских НИИ это не очень получается.
Предлагаю создать несколько рейтингов НИИ и научных групп по разным профилям - начиная с научных рейтингов для министерств (каждого) причем желательно по два рейтинга на профильное министерство (фундаментальных и прикладных исследований) и кстати нужно легализовать возможность министерствам оплачивать исследования у сторонних организаций и научных групп и исключать изх министерских рейтингов НИИ входящие в структуру министерства. Ну и часть научного бюджета министерств перераспределять на лидеров рейтинга.
Мы вот тут переживаем по поводу сокращения гос бюджета на науку, а есть ведь еще министерские бюджеты... которые они тратят только на себя любимых. Это конечно понятно (своя рубашка ближе к телу) но может стоит все же, с учетом кризиса, поднять вопрос о повышении эффективности этих затрат?
и
Чего-то не очень я понимаю этот список
ИФВЭ, на первом месте? Да он почти не живой. Ну то есть в 2007 году еще был, а сейчас уже не очень. Там и так все было не слишком хорошо, а сейчас Ковальчук вообще все придушил. В первую сотню он наверное попадает, но не на первом же месте. ИТЭФ на момент составления списка был гораздо сильнее... хотя сейчас там тот же Ковальчук все угробил окончательно. Если там такие странности в первых строчках, то наверняка и в последних что-то такое есть. Кроме того, такие списки наверняка не учитывают малопубликуемые специальности (в этом списке в основном физика и химия).
В общем, чего-то мне адекватность подобных списков кажется весьма сомнительной, хотя все мои места работы туда входят.
Q1 - это "топовые журналы".
Коллеги, от специальности и от публикационной активности организации место в этом списке не должно зависеть. Влияние этих факторов исключено, поскольку сравниваются не абсолютные величины, а ДОЛИ публикаций в высокоцитируемых, ведущих изданиях (из Q1), причем издания эти учитываются только из Q1 по СВОЕЙ области наук. Q1 - это "топовые журналы". Ну не привыкли наши ученые пробиваться в топовые международные журналы, сколько уже про это говорили. А вот в какой-нибудь Мексике - если человек способен публиковаться в топовых журналах, то на общее количество его публикаций не смотрят вообще.
А в РФ на чем репутация основана? Почему ИТЭФ считается сильнее, чем ИФВЭ?
Это можно считать той самой экспертной оценкой
В данном случае на основе личного опыта и знания, какие работы проводятся там и там. Тут еще проблема вот в чем, человек может последние 15 лет работать за границей, участвовать в большой коллаборации и публиковаться, разумеется, в очень приличном журнале. При этом он указывает какой-то "домашний" институт. В самом этом институте может уже никакой науки и не быть. Так что в этом смысле по публикациям отдельных сотрудников совершенно никак нельзя судить о состоянии организации (особенно учитывая, что работа за границей часто делается на заграничные деньги с заграничной инфраструктурой и вся задача института этому просто не мешать).
Что касается ИФВЭ, то в свое время это был довольно мощный институт, но сейчас из-за характерных для НИЦ КИ зарплат (примерно в два раза меньше академических) и географического расположения (Протвино) туда практически полностью прекратился поток людей. Как следствие, там что-то делают, но все меньше и меньше.
Блеск и нищета экспертных оценок
Вот тут и начинается! А) У Вас один личный опыт, а у другого - другой. В) Что мы оцениваем: мировой уровень сотрудников? Наличие хорошей молодежи? хорошего директора? Потенциал научной области? Если и то и другое и третье, то как складывать разные показатели? С какими весами? Или, может, корень из их суммы квадратов брать, считая, что они ортогональны? Наличие сотрудников из диаспоры может быть большим благом: в ИППИ, например, работают 3 филдсовских лауреата. Они приезжают, проводят семинары и т.д. И потому, посмотрите, какое место занимает ИППИ в списке SCIMAGO. Есть мнение, что место в списке и характеризует уровень и потенциал организации. А тогда власть просто обязана дать больше денег тем, у кого потенциал больше и принять меры, чтобы им не мешали работать (сменить директора). Конечно, при этом опасно нарушать баланс между областями наук, т.е. давать больше физикам за счет агрономов. Но межотраслевой баланс - задача более высокого уровня, для ее решения (назначения квот) нужно учитывать другие критерии.
Мы ходим по кругу
Все, что вы говорите верно, но очевидно, что никакие чисто формальные критерии не дадут вам оценки того, кто лучше, а кто хуже. Тем более, когда вы хотите оценивать организации (лично я не хочу, если что, я вообще считаю, что это глупость). Чего говорить о межотраслевом балансе, когда в одной и той же области никакого баланса нет. Я вот на прошлой неделе минут 20 пытался объяснить нашим теоретикам, что 2 статьи в года для небольшой экспериментальной группы - это вполне нормально. Они говорят: "ну как же, садишься и пишешь...". По-моему так и не объяснил.
Вот еще есть мой любимый пример. У нас в институте один из самых высоких библиометрических показателей у помощника директора, который наукой вообще не занимается. Он чистый, стопроцентный администратор и в этом качестве входит во всяческие экспериментальные коллаборации (причем администрирование - это очень и очень важная работа, об этом надо помнить).
По-моему надо кончать бесконечные танцы вокруг этой темы. Все вроде бы согласились на то, что формальные критерии хороши для определения порогов (в этом смысле они незаменимы), но не для оценки того "кто лучше". Если говорить об организациях, то их вообще нет смысла оценивать по наукометрическим показателям, а тем более делить при этом на число сотрудников. Таким образом только среднюю температуру по больнице измерить можно.
Ну и что?
Александр Аркадьевич, Вы не со мной спорьте, я ведь ничего не предлагаю, а только предполагаю. Я предположил, что те, кто Путину подсунул цифру 150, исходили из списка SCIMAGO. Поэтому спорить надо с ними. Ваши аргументы пока неубедительны и содержат только эмоции. Потому что список этот можно брать как пороговый критерий. 150 отсекли, а остальные - реструктурируйтесь, как говорил Котюков в недавнем интервью ОТР.
Все бы хорошо
Все бы хорошо, да только у научно-образовательных организаций и центров (так было сказано) есть кроме функции написания статей и регистрации пантентов еще целый ряд других функций. Например, образовательная, культурная, развитие территорий и т.д.. Все-таки это высший государственный уровень и очень странно что всю совокупность этих сложных функций свели к двум, мягко говоря, небезупречным критериям оценки. Будем надеяться, что это лишь "слова для электората" для понятного всем обоснования дальнейших преобразований.
Если бы речь шла исключительно о научных организациях, причем занимающихся фундаментальной наукой, то понятно, что нужно смотреть в основном публикации. А так...
Ну так может тогда так и надо?
Александр Львович, эмоции вызваны главным образом тем, что мы эту тему обсуждаем уже несколько лет, но ни на шаг не приблизились к выработке какой-то единой позиции по данному вопросу. Если мы сами не можем понять, как надо, чего удивляться, что министерства делают при этом глупости и идут какими-то странными путями.
Я согласен с тем, что публикационный критерий лучше, чем критерий "я с их директором водку пил", но этот критерий очевидно плох в дальней перспективе. Пора уже начинать думать своей головой, а не просто реагировать на внешний раздражитель.
Вероятно было не так
Там речь о цитировании шла. Наверное корреляция между уровнем журнала и цитированием есть, но она точно не 100%.
Как определялись высокоцитируемые работы?
В стенограмме написано:
Как определялись высокоцитируемые работы? Пока покрыто мраком. Очевидно, это не highly cited papers в смысле Web of Science, поскольку таковых в России было 7 в 2014 году и 3 - в 2015 г.
Я попробовал выбрать в WoS все российские статьи за 2014 г (таких всего 41049 from Web of Science Core Collection) и упорядочил их по цитируемости. Самая-самая цитируемая статья имеет 2740 ссылок, и даже 1001-я статья имеет 11 ссылок. Такая цитируемость за 1-2 года недостижима для многих наук, например, математики, технических наук. Поэтому многие наши сильные организации, например, МИАН, просто не имеют шансов сюда попасть. Т.е. буквальная интерпретация слов Путина не проходит. Список SCIMAGO подменяет цитируемость статьи цитируемостью журнала, но зато считает статьи из Q1 для всех наук, т.е. все науки имеют равные шансы в него попасть.
Высокоцитируемый документ
У меня по ключевому слову Russia в 2015 году находится 46499 статей в WoS. Из них как минимум 150 высокоцитируемые. Дальше просто не листал, но до 150 места по цитируемости почти все статьи высокоцитируемые. Похвастаюсь, моя статья там тоже есть на 107 месте.
Справка о том как выбираются высокоцитируемые статьи:
Честно говоря непонятно даже как технически можно выбрать высокоцитируемые статьи по организациям, я просто даже простых инструментов для анализа даже не знаю. Вручную может сидели считали, с них станется.
У меня за 2014 год WoS показывает 46868 статей по слову Russia. А самая цитируемая статья имеет 2743 цитирований. Если брать Core collection, то статей всего 40404, правда самая высокоцитируемая статья, как и у Вас, имеет 2740 цитирований.
Так что даже на разных компах WoS выдает разные результаты. Разница в 5-10% довольно существенна, не так ли?
Highly cited papers
Насчет Highly cited papers я с Вами согласен. Я дал цифру 3 автора из России в 2015 г - это из HIGHLY CITED RESEARCHERS LIST Туда попадают, видимо, только те, кто имеют несколько highly cited papers. Насчет того непонятно, как вылавливать организации и что могли руками выбирать - с них станется - тоже не могу спорить. Боюсь, нам не ответят на запросы и происхождение "Списка-150" останется в тайне навсегда. Но версия о том, что это список организаций, с которыми аффилированы авторы высокоцитируемых статей весьма правдоподобна, тем более, что это буквальная интерпретация слов Путина.
Еще раз зашел в WoS Core Collection: за 2014 г 41048 статей из России. Отличие от Вашего числа на 1.5% - не так уж и много. Однако поиск (from All Databases) You searched for: ADDRESS: (russia) AND YEAR PUBLISHED: (2014) дает Results: 84,625. Правда, сообщает при этом: (Number of results is approximate).
Еще раз зашел в WoS Core
1.5% действительно не так много, хотя это 400 статей. И, наверное, возможна ситуация когда кто-то персонально в эти 1.5% попадает не с одной, а с несколькими статьями. Для человека может быть существенно. Обвинят еще в подлоге при подаче на грант, например.
А вот тут разница у нас почти в 2 раза! У меня тоже было ADDRESS: (russia) AND YEAR PUBLISHED: (2014) дает Results около 47 тысяч у меня, вместо 84 тысяч у Вас. А это "ничего себе разница". Все основные базы, в том числе CORE, RSCI и китайская у меня есть. При такой разнице инструмент можно считать неработающим.
Статьи по осени считают ...
Коллеги, вот что попалось на глаза:
http://www.gazeta.ru/science/2016/02/08_a_8063723.shtml
Ещё очень рекомендую блог специалиста по наукометрии TR Павла Касьянова:
http://pavel-kasyanov.blogspot.ru/
Откликаюсь!
Александ Львович!
В полемическом задоре Вы написали:
Свой институт в этом списке я не нашел, что прискорбно и несколько задевает. Сегодня вот дошли руки немного поразбираться с этой табличкой.
Итак, в ней приведены данные за пять лет (2007-2011 гг.), выборка сделана в 2013 г. (т.е. это год ранжирования журналов по квартилям). Организации ранжированы по ДОЛЕ публикаций в журналах Q1. Все сделано по базе SCOPUS. Для последней организации в списке эта доля равна 0.3%. Стало быть, все остальные институты, которые ниже этого порога, еще хуже. Поскольку института, где я работаю, в списке нет, он относится к числу таковых, т.е. неконкурентоспособных. Я правильно описал исходные данные и логическую цепочку рассуждений?
Вот профиль нашего института (Институт экологии растений и животных УрО РАН, Institute of Plant and Animal Ecology, Ural Branch of Russian Academy of Sciences) в SCOPUS: http://www.scopus.com/affil/profile.url?afid=60104905
По приведенным выше исходным данным считаем: в 2007-2011 гг. у нас было 227 публикаций в SCOPUS, в журналах Q1 - 27 статей, т.е. доля равна 27/227=11.9%. Насколько я понимаю, это несколько выше 0.34% и соответствует примерно 80 месту в списке. Но нас там нет. Почему? Возможны две причины: 1) техническая (например, отсутствие на момент выборки сформированного профиля организации, мы таковой сделали только в 2014 г.; но думаю, что далеко не все инстиуты в РФ такой профиль сформировали); 2) при отборе организаций задействован еще какой-то дополнительный критерий - например, общее количество статей (тогда небольшие институты, как например наш, в список не попадают по определению).
В любом случае приведенную таблицу, на мой взгляд, некорректно интерпретировать как рейтинг конкурентоспособности институтов. Впрочем, ее нельзя интерпретировать и как ранжирование по вкладу в топовые публикации (для этой цели надо было бы долю в Q1 умножить на общее количество публикаций).
Страницы