Работающие системы оценки результативности подразделений НИИ и вузов?
спасибо за приглашение поучаствовать в работе ОНР
хочу предложить такую тему:
В не столь отдаленном будущем начнется реализация проекта построения карты российской науки, про который говорил Ливанов (видео тут). Насколько я понимаю, речь про выявление сильных исследовательских групп внутри всех гражданских организаций госсектора науки и вузов. Вероятно, все будет сведено к оценке результативности структурных подразделений уровня лабораторий.
Еще в эпоху до ПРНД наиболее продвинутые научные организации и вузы начали самостоятельно создавать системы такой оценки для своих нужд (обычно распределение фонда стимулирующих выплат, редко - организационные решения). Из тех, что знаю, могу отметить ФТИ (Забродский и ко http://www.ioffe.ru/index.php?mod=main_menu/publDB/get_svodka2.php ), ИБГ (Георгиев), сибирские НИИ, про которые рассказывали участники старого сайнтифика, СПбГУ (Москалева), ИКИ. Сейчас на фоне нарастания библиометрического и рейтингового зуда у чиновников и ректоров системы учета результативности массово создаются в "ведущих вузах", но зачастую методики и результаты скрыты от внешних наблюдателей.
Очень хочется получить комментарии от руководителей и компетентных участников исследовательских групп, которые регулярно проходят подобную внутреннюю оценку, или, быть может, сами разрабатывают ее правила. Сейчас стоит собрать и обобщить имеющийся опыт возникших "снизу" систем оценки, и на основе комментариев участников процесса попробовать оценить перспективы масштабирования лучших практик на широкие научные направления (имхо единой системы для всех областей науки не сделать).
Повторюсь, речь идет об оценке подразделений, а не отдельных сотрудников (хотя они могут пересекаться, а первая - быть производной второй).
см.труды конференции "SCIENCE ONLINE"
На elibrary.ru на главной странице есть ссылка на презентации конференции "SCIENCE ONLINE".
Есть там презентация Ольги Васильевны Москалевой, где подробно описана система СПбГУ. Для рейтингования лабораторий и кафедр она пока не применялась, но вполне для этого пригодна.
Есть доклад "Рейтинги подразделений - инструмент поощрения или развития" (М.А. Акоев ), но он малоинформативен.
Есть содержательный доклад "Ранжирование институтов Российской академии наук с помощью Российского индекса научного цитирования: анализ на примере химических институтов", И.В. Зибарева. Там есть кое-что интересное. Делается вывод (с которым я совершенно согласен), что для ранжирования не столь важно, какие показатели используются для рейтингования. Хороший институт будет хорошим по-любому. Даже РИНЦ для этого пригоден. Незачем составлять и заполнять простыни таблиц. Единственное, что существенно - это абсолютные или относительные показатели считаются. По относительным показателям лидером может быть ин-т в 30 нс-ов, а ин-т в 1000 нсов - аутсайдером. Кому из них давать больше денег? Это- политическое решение.
Спасибо, это-то я как раз
Спасибо, это-то я как раз знаю хорошо, раз работаю в elibrary :)
а из ФТИ тут есть кто-нибудь?
интересно также, в какой форме сейчас действуют системы оценки, описанные еще в 2005 году Алексеем Колесниченко, Алексеем Ивановым и Егором Задереевым http://www.slidefinder.net/-/------_-----_---_------_------/kolesnichenkoivanovzadereev/2765655 а также прочими участниками форума, например, Алексеем Крушельницким http://www.scientific.ru/dforum/scilife/1151487918
Что то ответ не появился. Еще
В нашем Институте (земной коры) работают примерно в том же виде. Кое какие изменения есть конечно, но не принципиальные. Журнальные публикации - по импакт-факторам, журналы без импакт факторов и монографии имеют свои, достаточно разумные, коэффициенты. Тезисы имеют свои баллы, но кол-во тезисов ограничено для отчетности в год. Деление баллов идет на корень из числа соавторов.
Что то ответ не появился. Еще более кратко - работают в принципиально том же виде, с рядом технических изменений.
Карта науки
Поскольку у Ливанова употребляется понятие "Карта науки", то в первую очередь возникают ассоциации исключительно с системой Elsevier "SciVal Spotlight", в которой испаользуются именно эти термины и которая именно для этого предназначена. Можно обтом посмотреть прошлогоднюю Science on Line или раздел конференций и мероприятий на российском сайте Elsevier. Там везде есть, как это используется в СПбГУ (и может использоваться в разных местах и на разных уровнях). Не очень понятно, зачем изобретать велосипед, когда лучше купить хорошо разработанную систему, возможно, подключив туда российские публикации (хотя они мало что дадут для анализа на международном уровне).
Карта науки - это просто
Карта науки - это просто модное сейчас понятие. Вообще стоит почаще пользоваться гуглом :)
http://www.google.ru/search?q=A+Map+of+Science
человеческий фактор
А мне представляется, что во многом еще такие подсчеты-оценки будет зависеть от того, кто будет проводить (или руководить) эти процессом. Если ты не владах с начальством, страна (научное или вузовское сообщество) и не узнают о своих героях...Со всеми ведь мил не будешь!! А ваша карта результативности будет составлена без вас.
"вертикаль в вузе"
Для работающих в вузе ученых совершенно очевидно, что вузовская "вертикаль", выстроенная в последние годы, когда в ректорате (и в ученом совете) собираются далеко не лучшие, а правильно сказать далеко не ученые, привела к тому, что сейчас важны показатели, а не реальные научные достижения. "Научной школой" зачастую "руководят" бездари и некомпетентные люди.
Основной вывод, который я могу сформулировать исходя из своего 40-летнего опыта работы в вузе и в науке, таков: незвависимым (толковым) ученым не "светит" в нынешней вузовской обстановке.
Расценки в ИТЭФ
Прилагаю расценки, которые существовали в Институте теоретической и экспериментальной физики (ИТЭФ, Москва) некотое время тому назад, а потом отменённые. Насколько я понимаю, они хотят к этому вернуться.
В ИТЭФе много очень сильных теоретиков, печатающихся по 1-2-3 автора, и много очень сильных экспериментаторов. Специфика области (физика высоких энергий) такова, что там характерны публикации, подписанные десятками и сотнями авторов, а с недавней поры на БАКе - тысячами авторов. Предлагаемый документ - очевидный результат компромисса между двумя этими категориями.
прнд
Положение о ПРНД нашего института (ИМ СО РАН). Видимо довольно удачное, поскольку в последние два года предложений об изменениях в нём практически нет.
прнд
Для того, что бы понять что, в каких организациях (институтах) и насколько эффективно стимулирует ПРНД, необходимо знать не только как он рассчитывается (в больщинстве мест способы близки и общедоступны) но и какая сумма на него выделяется. Как я понимаю институты РАН получают "сверху" Фонд Оплаты Труда(ФОТ). Он состоит из 2-ч частей: Фонд Зарплаты (ФЗ) со всеми обязательными надбавками и Фонд Стимулирования (ФС) (как я понимаю, соотношение между ними принимает Директор по согласованию с Ученым Советом и профсоюзом): Деньги на ПРНД выделяются из Фонда Стимулирования.
Так без знания процентного соотоншения ФЗ/ФОТ, ФС/ФЗ, ПРНД/ФС понять что и насколько стимулирует ПРНД невозможно. А в отличии от Правил Рассчета ПРН, эта информация достаточно закрытая - все 3 соотношения за 2 месяца мне добыть пока не удалось. Может в Вашем институте это не так и Вы этицифры знаете, или можете запросто найти - ПРИВЕДИТЕ ИХ.
На мой взгляд было бы очень познавательно собрать информацию по разным (всем) институтам РАН и публиковать этот список на нашем сайте по мере поступления, возможно в отдельном разделе.
"Полезность" такой акции, на мой взгляд, заключается не только в получении реальной картины до какого уровня администрациям институтав удалось "опустить" (поднять) ПРНД,.но даст людям, которые будут выкапывать такие цифры (и окружающим) более ясное представление насколько закрыта вся система администрирования.
Для " почину" назову ту цифру, которую удалось узнать мне: на ПРНД тратится 2.56% от Фонда Оплаты Труда (не от Фонда Стимулирования)
прнд
На заседании учёного совета эти цифры приводились, я, увы, не записал. Насколько я помню за балл по ПРНД полагается примерно 80руб./ мес. Среднее количество баллов у сотрудников примерно 50. Если средняя ставка с доплатой за степень 20 тыс., то ПРНД примерно пятая часть. Для молодёжи (до 35 лет) деньги выделяются отдельно и за балл по ПРНД платят больше.
ПРНД
Мне представляется, что самое важное в предлагаемой "акции" - попробовать на этом, самом простом примере, добиться открытости и прозрачности....
А для этого надо знать не только (и не столько) какая сумма приходится на балл ПРНД и как эти баллы считаются - это как раз в большинстве случаев узнать довольно легко. А для понимания -что на самом деле стимулирует администрация (при всех громких заявлениях о необходимости стимулировать публикационную активность) надо знать
соотоншения (Фонд Зарплаты)/Фонд Оплаты Труда), (Фонд Стимулирования)/(Фонд Зарплаты), ПРНД/(Фонд Стимулирования). ПРИВЕДИТЕ ИХ.
Было бы интересно также на какие вопросы Вы нарветесь в попытке узнать эти соотношения.
Еще раз:
1Нникто не знает "правильной" системы стимулирования;
2.Она (система) должна совершенствоваться и может стать разумной;
3. Это возможно только в том случае, если она прозрачна.
Уточнил. Средняя доплата по
Уточнил. Средняя доплата по ПРНД в нашем институте равна 5863 руб./ мес.
копать нужно и в другом месте
Обсуждение тех крох (2.56% от Фонда Оплаты Труда (не от Фонда Стимулирования) да еще с учетом числа претендующих!), конечно хорошо, но как-то мелко. Мне напоминает это все игры в демократию с д....ками. Вот вам буханка хлеба, и делите братцы по справедливости, а мы в сторонке посидим. Когда у нас были деньги на ПРНД, я просто отказался сам в это участвовать – фонд был мал, а справедливость была такова. Члены Ученого Совета просто решили, какие публикации, с каким коэффициентом, они поддержат, и было все ясно сразу. У членов УС - ПРНД был выше остальных. Нет, конечно, всем по несколько сотен насчитали, но когда у членов УС по несколько тысяч, то сами понимаете....
А вот я хотел бы обратить внимание уважаемых со - форумчан на другой источник. Мы все отчисляет 15% со своих грантов РФФИ, МОН - в организацию. Это нехилые денежки, которые без пыли руководство распиливает по своему разумению....
Все сложнее
Уверяю Вас, что вопрос с делением ФОТ на составляющие намного сложнее, чем кажется на первый взгляд - он делится далеко не на две части (но вряд ли имеет смысл это подробно обсуждать). Но вот отношение ПРНД к ФОТ точно не имеет смысла (по крайней мере, как показатель того, хорошо или плохо живется в конкретном институте). В ФОТ, например, входит районный коэффициент (а в собственно "фонд ПРНД" он не входит). Понятно, что сравнивать институты в Европейской части (коэф. =0), на Урале (=15%) и на Севере (=130%) некорректно (при одинаковом ПРНД ФОТ будет различаться). Но это мелочи. Более важно, что все дополнительные суммы по проектам в рамках общего бюджетного финансирования в институтах РАН включаются в ФОТ. Соответственно, при одинаковом ПРНД предлагаемое Вами отношение будет меньше там, где больше проектов. Посмотрел для примера по нашему институту: ПРНД составляет 4.38% от ФОТ. И что из этого? Это может говорить как о том, что на ПРНД у Вас тратится меньше, так и о том, что у Вас в институте проектов (и дополнительных денег) больше. Добавим сюда, что в разных институтах разная доля научных сотрудников от общей численности персонала (соответственно, общий ФОТ зависит и от этого).
Намного более осмысленно (как некий индикатор) отношение ПРНД к фонду стимулирующих выплат (ФСВ), из которого вычли дополнительные суммы по проектам, а также отношение ФСВ к ФОТ (хотя последнее не лишено всех указанных выше недостатков). Отношение ПРНД/(ФСВ-проекты) у нас равно 49.65%, а ФСВ/ФОТ=20.0%. Это максимальные соотношения, разрешенные действующими или действовавшими ранее нормативными актами.
Еще пример действующей системы
Привожу пример системы, действующей у нас в институте (Институт экологии растений и животных УрО РАН). Это общее положение о фонде стимулирующих выплат; расчета рейтингов касается раздел №4. Рейтинги индивидуальные, но их сумма по соответствующему набору персон дает рейтинг лаборатории (что также рассчитывается). Система придумывалась очень давно (более десяти лет назад, еще до ПРНД), почти каждый год "донастраивалась". Данная система - это, конечно, компромисс между разными (часто очень различающимися) точками зрения. В этом году сумма баллов по институту (190 научных сотрудников от инженера-исследователя и выше) составила 11390, "стоимость" одного бала = 31.5 руб./мес; минимальный балл=0, максимальный - 567, средний - 32.8, медиана - 59.3 (соответственно, максимальная, средняя и медианная надбавка составляют 17860, 1030 и 1866 руб./мес.)
ПРНД
Спасибо! Вы первый, кто назвал достаточно полные цифры:
"Отношение ПРНД/(ФСВ-проекты) у нас равно 49.65%, а ФСВ/ФОТ=20.0%."
И хотя я не все в них понял - выше Вы написали "все дополнительные суммы по проектам в рамках
общего бюджетного финансирования в институтах РАН включаются в ФОТ" , а не в ФСВ, но это уже цифры!
На мой взгляд СУТЬ НЕ столько в конкреьных ЦИФРАХ!!!
Мне кажется, что СУТЬ в ЗАКРЫТОСТИ И НЕПРОЗРАЧНОСТИ ВССЕГО
(возможно Ваш институт исключение. А на институтском сайте эти (и другие) цифры есть?)
И ПОКА ВСЕ БУДЕТ НАСТОЛЬКО ЗАКРЫТО, ЛЮБАЯ система стимулирования (старая, новая,...) деградирует за 2-3 года.
Постараемся сделать открытыми процедуры и цифры - возможно получим шанс прийти к чему-то разумному.
Уточнение
Возможно, я не точно выразился: дополнительные суммы по проектам входят в ФОТ в том же смысле, в котором в него входит и ФСВ. Ранее дополнительные суммы однозначно включались в ФСВ. Сейчас такой однозначности нет, но это не столь важно. А важно знать какую долю занимает ПРНД от той суммы, которая может быть потрачена на надбавки научным сотрудникам (включая и научную часть администрации). Эту цифру я привел. На внешнем институтском сайте ее нет. Во внутренней сети (доступной абсолютно всем сотрудникам института) выложены все материалы: исходные данные, алгоритм расчета, промежуточные и окончательные результаты (включая суммы надбавок по всем персонам). Любой может проверять и наводить статистику, чем некоторые и развлекаются. Вилка для соотношения ПРНД/ФСВ прописана в нашем Положении о надбавках (40-50%), поэтому это отнюдь не тайна, величина в конретном году озвучивается на Ученом совете.
Абсолютно согласен с Вами, что любая система стимулирования должна быть максимально прозрачной.
Страницы