Сборник "Наукометрия и экспертиза в управлении наукой"
Вышел сборник "Наукометрия и экспертиза в управлении наукой" -специальный выпуск журнала "Управление большими системами"
Оглавление сборника
Сборник есть в свободном доступе в интернете: постатейно и в виде одного PDF-файла (7,5 Мб).
Враги народа (к статье П.Ю.Чеботарёва)
Если по одной из двух моих тем в России никто не работает, значит ли это, что я - враг народа, работающий на Запад за деньги россиян?
Если уж рне брезговать
Если уж рне брезговать термином "враги народа", то к ним надо отнести тех, кто мешает науку с геополитикой и прочей дребеденью.
Я точно тогда
Я точно тогда враг. Поскольку считаю что науку нужно развивать (и финансировать) по разному в разных регионах, поскольку наука в "нормальных условиях" всегда "тянет" за собой оборазование, а сейчас на Дальнем востоке, например, это крайне актуально, просто потеряем скоро территории...
Нет, я имею в виду не
Нет, я имею в виду не зависимость финансирования от географии, а понимание науки главным образом как фундамента обороны. Что плачевно сказывается на тематиках, с обороной и "мощью гос-ва" напрямую не связанных, порождает паранойю гиперсекретности и т.д. Так что, если Вы такой взгляд на науку не разделяете, то и не враг.
Это смотря что под наукой понимать.
У науки много функций, оборона- одна из них. Эту функцию чиновники ("гос. деятели") понимают лучше всего, поэтому исторически, наверное, наука (и особенно технология, связанная с наукой) во многом развивалась именно благодаря "оборонке" в том или ином виде. Это данность. Закрытие "оборонки" приводит не к тому, что деньги от "оборонной науки" идут в другие тематики, а к тому, что вообще никто ничего не получает- никаких "перекосов", всем по нулям, мы это наблюдали в последние 25 лет.
Закрывать оборонку для России
Закрывать оборонку для России нелепо. Но еще более нелеп утилитарно-милитаристский взгляд на науку в целом. Его не было даже при Сталине.
Можно привести примеры людей с таким взглядом?
Я таковых даже среди самых полных идиотов не знаю.
Говоря об " утилитарно
Говоря об " утилитарно-милитаристском взгляде", я немножко сузил. Точнее речь о людях, рассматривающих наукув первую очередь как средство борьбы с "геополитическим противником" (раньше говорили "идеологическим", но теперь это смешно). Они совсем не идиоты. Таких особенно много среди работающих на оборонку, космос и т.п. Некоторые из них публикацию в международном журнале называют предательством. К ним относится мой оппонент по сборнику А.И .Орлов. В какой-то мере - даже горячая защитница РАН Т.А.Сушкевич. Позже приложу 1 файл.
Одна цитата из отчасти верной
Одна цитата из отчасти верной приложенной статьи: "[Международные] публикации, говоря словами классика, преподносят "на блюдеке с голубой каемкой" достижения отечественной науки нашим зарубежным конкурентам".
а что понимается под управлением? цель?
1. по поводу интернационалистов и изоляционистов.
да, в условиях существующей действительности фундаментальные исследования в россии это способ финансирования прикладных наук в западных странах. отчасти это так. Виноваты в этом не ученые публикующиеся за рубежом а низкая эффективность конверирования фундаментальных знаний в прикладные и т.д. в России
публикации на русском языке малополезны для русских ученых-фундаменталов но, довольно полезны для инженеров, врачей и т.д. т.е. людей которые моргли бы конверировать фундаментальные знания во что-то практическое (что в свою очередь мотивировало бы правительство и народные массы к необходимости увеличения финансирования науки, даже РАНовской).
2. уровень цитируемости в международных системах цитирования можно было бы повысить путем регистрации отечественных журналов в этих самых системах. т.е. чтобы импакт фактор хирш и прочее в РИНЦ начал совпадать с данными по международным базам. В конце концов, если у ученого в РИНЦ статьи активно цитируются значит они востребованны, пусть и нашими соотечественниками, так ли уж это плохо? Стоит ли противопоставлять ученых активно цитируемых за рубежом ученым активно цитируемым в России, при наличии немалого количества ученых которых не цитирует никто?
3. разные методы оценки формальных критериев в конечном итоге все равно структурируют ученых по формальным признакам со всеми вытекающими. Не было бы лучше выделять ученых которые добились результатов по любому из формальных критериев и ругать тех кто не добился ничего (ведь таких людей немало, согласитесь)?
в селекции продуктивных признаков (а это тоже управление большими системами) резкое сокращение поголовья (по формальному признаку) обычно приводит к обеднению популяции в плане генетического разнообразия и сокращению потенциала роста продуктивности или иного комплексного признака.
кстати, советую, присмотрется к природным аналоговым моделям больших систем перед тем как ставить опыты на людях. Например, если цветы вынуть из дерьма смешанного с песком отрезать всякие грязные и некрасивые корни и воткнуть цветочки с красивым хиршем в красивую вазу-сколково ....
ну или следует тупо перекопировать всю систему организации науки по западному типу (всю это включая прикладные исследования и т.д.) для этого ученые не нужны
Считаю, что сборник удался.
Василий Николаевич, Вы все-таки отнеситесь с бОльшим уважением к труду своих коллег. Авторы сборника - специалисты, непосредственно связанные с экспертизой: либо как теоретики, исследователи, либо как практики. А конкурсное финансирование, да и все остальное в науке немыслимо без экспертизы. Конечно, разные люди могут иметь разные мнения по острым вопросам, но ценность сборника как раз в том, что разные мнения собраны под одной крышей. Я так и написал, представляя сборник на сайнтифике:
Я категорически не согласен с идеологическими установками некоторых авторов, но мне интересны их статьи как профессионалов. И надо поблагодарить редакторов сборника за смелость: собрать вместе противоположные мнения. К наукометрии у нас с подозрением относились еще в советские времена: прочтите в статье Грановского "Наукометрия в Московском университете" о преследовании замечательного ученого В.В.Налимова.
Считаю, что сборник удался и послужит росту взаимопонимания экспертов и авторов, а также повышению качества научной экспертизы в России.
Согласен, что публикация данного сборника - дело полезное.
Другое дело, что наукометрия основана на предшествующем опыте, данные которого нужно с большой осторожностью проецировать на будущее.
С одной стороны, у ученого "А" может быть высокий индекс Хирша, но это не является залогом его высокой научной продуктивности в будущем или полезности его будущих изысканий для общества.
С другой стороны, если ученый "Б" занимается областью, пока малопонятной широкой научной общественности, и у него низкий индекс Хирша, это не свидетельствует о неперспективности проводимых им исследований.
Ничего полезного.
Основной вывод как был, так и остается: наукометрия не работает на массиве 10+--10-, то есть в 80% случаев. Как сказал сталин синоптикам: вероятность легко можно увеличить до 80%
Возможно, Вы не прочли мой пост?
Сергей Петрович, по-видимому, Вы не прочли мой пост до конца. Я, как раз, призываю к осторожности по использованю наукометрических показателей для оценки исследователей и научных направллений.
Да, конечно.
Но я продолжаю считать, что наукометрия приносит сейчас в России больше вреда чем пользы. А если по гамбургскому счету., то есть ТОП-10, то им наукометрия не очень-то и нужна, и так все видно.
Но сборник Вы точно
Но сборник Вы точно внимательно не посмотрели. Потому что мало кто из авторов ассоциирует наукометрию с гамбургским счетом.
Я читал
Я читал (просматривал в меру своих способностей) довольно много научных статей (англоязычных) с довольно хорошей математикой, связанных с наукометрией.
Этот сборник, наверняка, кому-то будет полезен, хотя, имхо, основной вывод будет простым и очевидным: наукометрия не работает при индивидуальной оценке ученого на большей части массива (80% "серядняков"). Она более-менее может выделить только, ну скажем, 10% лучших и 10% худших, причем стат. ошибка может быть большой и, имхо, непрогнозируемой. При этом и ТОП-10 и БОТТОМ-10, хоть по гамбургскому, хоть по любому другому счету видно и без всякой наукометрии. Тогда вопрос: а зачем она вообще эта наукометрия нужна, если для оценки большей части массива она не годится вообще, а для оценки краев распределения она просто излишня? Мой ответ простой: она нужна чиновникам и больше никому.
Или я ошибаюсь и в сборнике кто-то нашел простые, но точные критерии для оценки ученых, которые действительно работают и которые действительно сравнимы с экспертной оценкой?
Мой взгляд: библиометрия в
Мой взгляд: библиометрия в принципе годна для классификации ученых. Это интересная научная задача.
Существует с десяток типов ученых. И если мы возьмем десяток разнородных наукометрических показателей, то по ним и экспертным оценкам (эксперты классифицируют известных им ученых) можно решать задачу распознавания. Аналогично можно решать задачи регрессии с полученными экспертно выходными показателями типа "успешность ученого". Это - подход к оцениванию ученых и за пределами top10 и bottom10.
Научная задача решена?
1) Даже на этот вопрос наука пока не дала однозначного ответа. Непонятно, как минимум, что именно формализовать, зачем формализовать и к чему эта формализация может привести (гонка за рейтингом вместо науки, например).
2) Не все что может быть сделано в принципе, должно быть сделано практически. На мой взгляд библиометрия для индивидуальной оценки ученого нужна только чиновникам, чтобы они могли проводить такую оценку минуя и игнорируя экспертное сообщество.
Научная задача решена? Нет? Тогда и говорить пока не о чем... Более того, просто неэтично вводить какие-то показатели пока задача не решена.
Вы сейчас сделали пару утверждений, типа "библиометрия в принципе годна", "существует с десяток типов ученых", которые доказать невозможно (особенно второе), вопрос веры. При этом саму задачу нахождения наукометрических показателей привязываете к экспертизе, которая тоже может быть неидеальной и зависит даже от таких вещей как состояние общества в целом. Не ирония ли? И при этом еще забывается, что речь идет не просто о научной задаче, а о людях, чья жизнь будет зависеть от того как их "проиндексируют".
Библиометрия: зачем нужна?
Сергей Петрович, указанная задача не решена, лишь поставлена. Но постановка, как известно, – заметная часть решения. Это нужно для экспресс-анализа. Разумеется, не безошибочного. И, конечно, роль любого расчета в этой области сугубо вспомогательная. Цель его – дать экспертам информацию к размышлению. Кроме этого эксперту следует ознакомиться с некоторыми работами оцениваемого ученого или подразделения. Наукометрия должна быть полезным дополнением к этому содержательному впечатлению, в котором трудно одновременно достичь и требуемой глубины, и нужного охвата (т.е. просмотреть гарантированно репрезентативную часть работ). Ясно, что всё в этой области неидеально, поэтому и строгих доказательств требовать не стоит. Жизнь людей зависит от стольких "неидеальных" вещей, что требовать идеальных решений в этом частном вопросе было бы более чем странным. Важен относительный консенсус сообщества, что методы полезны. Должен сказать, что и в математике на практике нет другого критерия верности длинного доказательства трудной теоремы, кроме консенсуса специалистов:)
Или консенсуса специалистов и
Или консенсуса специалистов и компьютера (помните бурные обсуждения решения проблемы 4-х красок, когда финальный перебор был сделан компьютером?). Консенсус специалистов не может быть критерием истинности нигде, тем более в математике. Фактически ваши слова означают, что вы всегда оставляете ненулевую вероятность того, что любые специалисты могут ошибиться. Аналогичным образом можно и в физике сомневаться (особенно сейчас), что где-то, что-то сбойнуло (ведь результаты обрабатываются не человеком, а компьютером, кто сейчас просмотрить триллионы треков?), т.е. в вашей терминологии -- решение о значимости в пределах 5 сигм это консенсус между несколькими коллаборациями физиков. Верность длинного доказательства (какая длина здесь критична?) это не результат консенсуса, а результат того, что если несколько крупнейших специалистов проверили это доказательство, то вероятность того, что они все же ошиблись очень мала, практически пренебрежима.
Прочитав Ваш комментарий, я
Прочитав Ваш комментарий, я не увидел принципиального расхождения позиций. Говоря попросту, я считаю, что даже в случае теоремы с доказательством в 5 строк, проверенным всеми в мире специалистами, есть ненулевая вероятность ошибки. И в случае компьютерной его проверки эта вероятность остается ненулевой, т.к. возможна ошибка в программе. Согласны?
То есть я писал о "практическом", относительном, а не абсолютном критерии, который недостижим.
Плохо Вам, математикам.
Плохо Вам, математикам. Нет критериев для верификации знания. Фактически до сих пор без научного метода работаете.
Кажется, Фейнман говорил, что математика не является наукой...
В том смысле, что она не является естественной наукой, где критерием истинности служит эксперимент. Математика - это скорее язык для описания явлений и процессов.
Ну да, как скажем английский
Ну да, как скажем английский и русский -- два языка для описания явлений и процесоов:))). А можно еще на эсперанто описывать оные. Скажите это любому физику-теоретику, многие из них в большей степени математики, чем самые правоверные математики. Да! Давайте еще примем точку зрения Н.Г.Чеботарева, что любая фраза этого языка -- это оценочное суждение со степенью правдоподобия p <1. Самое забавное тут, это то, что даже такой мир математика в состоянии описать (см. нечеткие логики и пр.), если конечно не сомневаться в том, что верны законы логики.
Является ли эксперимент критерием истинности в математике?
Вы откомментировали вторую часть моего поста, а основной, все-таки, является первая.
Владимир Васильевич, напрямую
Владимир Васильевич, напрямую нет, никакой эксперимент не является мерилом истинности в математике, именно потому, что (с моей точки зрения) математика добывает абсолютное знание о исследуемых структурах (в терминологии тех же Бурбаки). Можно в принципе считать экспериментом то, что многие хорошо описанные структуры оказались удивительным образом полезны в той же физике. Сейчас например есть такой тренд (пришедший частично из физики) -- категорификация, то есть замена известных структур их категорными "аналогами". Будет ли из этого какой-то прок для тех же физиков? Никто не знает. Однако доказанные теоремы останутся таковыми, вне зависимости от их приложимости.
.
Александр Николаевич, собственно, здесь у нас нет разночтений.
До сих пор цитировал по памяти.
Цитирую по книге:
"Принцип науки, почти что ее определение, состоит в следующем: пробный камень всех наших знаний - это опыт. Опыт, эксперимент - это единственный судья научной "истины"".
Р. Фейнман. Фейнмановские лекции по физике, М.: Из-во "Мир", 1965, т.1, стр.22.
и далее:
"Математика, с нашей точки зрения, не наука в том смысле, что она не относится к естественным наукам. Ведь мерило ее справедливости отнюдь не опыт".
Р. Фейнман. Фейнмановские лекции по физике, М.: Из-во "Мир", 1965, т.1, стр.55.
Давайте еще примем точку
Если Вы действительно имели в виду знаменитого алгебраиста, то какую его работу?
да, и тут разверзлись бездны
да, и тут разверзлись бездны агностицизма:))). По поводу 5-ти строк, нет не согласен, если конечно эти 5 строк не состоят из ссылок на 100-страничные доказательства и нескольких логических связок. Если отбросить ссылки, то проверить 5 строк рассуждений наверное можно? Или вы даже в этом сомневаетесь?
Увы, да. Сомневаюсь.
Увы, да. Сомневаюсь.
Если мы допускаем возможность ошибки отдельного специалиста (а специалисты ошибаются), то вероятность той же ошибки 20 специалистов, скорее всего, не меньше p^20, где p - вероятность ошибки 1 специалиста. Но я подозреваю, что она значительно выше p^20, т.к. есть склонность попадать в одни и те же ловушки.
ок, пусть p=0,5. Чему равно 0
ок, пусть p=0,5. Чему равно 0,5^20 ? И что это за ловушки такие? Если уж они одни и те же, то почему их нельзя как-то классифицировать и научится их избегать?
Не равно нулю;
Не равно нулю; головокружительные совпадения случаются. И бывает экспертов не 20, а 4-5.
Может быть, и можно, но не до конца и пока это не сделано. У нас когда-то в курсе логики было задание написать логически полное формальное (в духе Бурбаки) доказательство какой-нибудь простой теоремки из планиметрии. Это занимало тонкую тетрадку. Никто так не делает. Во всех доказательствах мы прыгаем через 3 ступеньки, полагаясь на интуицию, иногда пропуская маргинальные случаи.
Павел Юрьевич, извините за
Павел Юрьевич, извините за описку. Все же вы мне не ответили на мой вопрос, о каких ловушках идет речь? Касательно полностью формального изложения теорем, то так действительно никто не делает, но не потому, что полагается на интуицию, а просто потому, что большинство доказательств -- это гипертекст, то есть какие-то куски заменяются на ссылки, хорошо известные в данной области результаты заменяются словами "хорошо известно, что" и т.д. Вы про эти ловушки? Н-да, стоило ли ломать копья из-за таких тривиальностей (свойственных кстати любой науке)? Однако если вы имеете в виду доказательство, в котором автор преподносит нам перл типа -- я интуитивно чувствую, что это верно, поэтому пойдем дальше, то такой текст не пропустит ни один референт, не говоря уж о экспертах в данной области. Вам ли, математику, не знать насколько придирчиво проверяются заявления на решение крупных проблем в оной?
О ловушках. Случается, например
О ловушках. Случается, например, что мы ссылаемся на чужой результат, но там определения сформулированы чуть иначе и из-за этого не включают некоторые маргинальные случаи, предусмотренные нашим определением. Вообще забытые маргинальные случаи (так сказать, неполная полная индукция) - может быть, самая распространенная ошибка.
формализация
Надеюсь ещё при нашей жизни начнётся деятельность по переводу всей математики на формальный язык "среднего" уровня доступный одновременно человеку и компьютеру. Так что любое доказательство можно будет разбивать на обозримое число шагов, а каждый шаг будет уже формально компьютерно проверяем. Уже сейчас специальные программы доказывают вполне нетривиальные утверждения и специалисты по дискретной математике реально такими программами пользуются. Работа математиков станет более эффективной и творческой: главное придумать интересную теорему и найти идею доказательства, а рутинные шаги сможет делать компьютер.
Конено, должно быть так.
Конечно, эти идеи пытаются реализовать давно - с тех пор, как существуют компьютеры. Есть безусловные успехи. Но есть и большие сложноси перевода на язык "среднего" уровня, и порок экспоненциальной сложности перебора. Быстродействия уже хватает, чтобы побеждать гроссмейстеров по шахматам, но здесь комбинаций, как правило, больше.
Именно так.
С этим я полностью согласен. Однако, при таком подходе очень, очень легко осуществить подмену понятий и заменить экспертную оценку, которой библиометрия лишь помогает (довольно незначительно и косвенно), простой формальной оценкой по библиометрическим показателям. На мой взгляд, именно это сейчас и происходит в России. Во всех проектах МОН говорится о формальных показателях как ОСНОВЕ для оценки не только подразделений (лабораторий, институтов), но и индивидуальных ученых. И практически ничего не говорится об экспертизе, дадут экспертам опросник в котором библиометрия занимает 90% и все, приплыли. Эксперт в таком случае становится лишь библиотекарем, экспертной оценки в таком случае просто нет. Вы считаете это правильным и не видете опасности?
О том и речь, что без
О том и речь, что без содержательной экспертизы библиометрия никуда не годится.
Речь идет не только об России
Я интересовался ситуацией в США. Несколько человек из разных институтов и университетов, не сговариваясь, сообщили мне, что индексы Хирша не используются при оценке отдельных исследователей ("И так всем ясно, кто чего стоит").
а я разве кого-то оскорбил?
если так - извините.
вопросы управления, подобно балету обсуждать может каждый... с моей позиции - биологические процессы в управлении наносят столько иррационального, что под этим тонут многие рациональные идеи, включая экспертные оценки формальных показателей. Полагаю в ИПУ РАН стоило бы взять на работу побольше биологов, экологов и психологов если есть желание начать прогнозировать состояние ситем в т.ч. научного сообщества. Это не означает что я негативно отношусь к текущей работе ИПУ РАН, дорогу осилит идущий и лучше делать хоть что-то чем бездумно критиковать.
Спасибо за отзыв. Я был
Спасибо за отзыв. Я был против названия с "управлением наукой". На мой взгляд, надо было назвать "Оценка ученых: экспертные и наукометрические методы". С рядом Ваших соображений согласен.
Важные и очень нужные работы
Уважаемый Павел Юрьевич,
Спасибо - очень ценный сборник - представлены различные точки зрения, много наглядных примеров, читается легко. Как бы это всё противопоставить дилетантизму, царящему в МОН и в Госдуре ? Может быть отпечатать 10-20-30 экземпляров и отправить туда? Вдруг кто-то там соберётся силами и прочтёт?
...противопоставить дилетантизму
Павел Юрьевич, статья на тему
Павел Юрьевич, статья на тему наукометрии и накрутки цитируемости, с "картинками":) http://forscientists.ru/2012/08/citation-index-improver/ Вполне популяная и заканчивается тезисом: "В общем, нынешние попытки практического использования наукометрических показателей вносят сумбур и безобразие. А адекватные способы количественной оценки научных трудов еще предстоит разработать."
Как бы вы оценили этот материал?
Спасибо, Алексей Валерьевич!
Спасибо, Алексей Валерьевич! Статья разумная, хотя и не очень глубокая. Думаю, что пик увлечения оценочной "цифирью" проходит, и понемножку возвращается внимание к содержанию. С помощью наукометрического профеля можно пытаться распознать тип ученого. Возможно, интерес к таким задачам будет повышаться.
Страницы