Последние комментарии

Свежее подтверждение:
http://echo.msk.ru/blog/a_ivanchik/1237112-echo/

"Получила продолжение скандальная история с проф. И.И. Абылгазиевым, полковником запаса, бывшим главным федеральным инспектором в г. Москве, который недавно стал и.о. директора ИСАА МГУ, а заодно является членом экспертного совета ВАК и председателем международного экспертного совета РГНФ.
Его докторская диссертация привлекла внимание Диссернета, о результатах анализа которого уже сообщали СМИ: «Оказалось, что основой его докторской диссертации стали скомпилированные куски из нескольких чужих диссертаций и других источников». 

Ну что же, на это позорище российские востоковеды шли с открытыми глазами. Никто из них не может сказать, что не знал, за кого голосует. Более того, голосование было тайным, и можно считать, что директора себе ученый совет ИСАА выбрал свободно, никто не может ссылаться на то, что он был навязан сверху. То есть профессора ИСАА сами, прекрасно понимая, что делают, решили, что отставной чиновник со скомпилированной диссертацией (зато настоящий полковник) достоин руководить одним из двух главных российских центров, где учат будущих востоковедов. Такое вот самоуправление ученых."

И если уж толковать о Mathematics Subject Classification 2010, то важно понимать, что она занимает 46 страниц по 80 строк на странице в 2 столбца (см. приложение) и содержит примерно 6000-6500 категорий на 3 уровнях. Для подбора экспертов это, пожалуй, слишком дробно. А двух уровней достаточно в некоторых разделах и совершенно недостаточно в других. Так, многие элементы 2-го уровня - целые большие теории (теория графов, теория игр, математическая экономика, теория оптимизации, исследование операций и т.д.), которые значительно шире, чем область экспертизы нормального эксперта.  

Выбор рубрикатора определяется целью. 

Неверно, что MSC - на все случаи жизни.

Есть детально разработанный List of academic disciplines, где рубрикатор по математике короче, чем MSC и сильно от него отличается. 

arXiv пользуется своим классификатором - математики к нему привыкли. 

Есть классификатор of MathEduc Database, также отличный от MSC. Наконец, есть классифиткатор  of International Congress of Mathematicians, который, заметим, не повторяет MSC. Он и был взят разработчиками за основу в данном случае.

Для CS есть CCS, разработанный ACM, а есть INSPEC. И т.д.

Делать какие-либо оргвыводы на основании сравнения хирша ученого со средним хиршем по области все равно нельзя. По крайней мере, в математике. Это консенсус математического сообщества.

1. Ясно, с И. Кричевером, М. Цфасманом, С. Ландо, делавшими мат-рубрикатор, Вы не связались.  М.В. Фейгельман писал мне: "Математиков,  желающих обсуждать его изменение или написание нового классификатора, я прошу связаться с упомянутыми коллегами,  либо с  председателем московского математического общества Виктором  Васильевым". У меня из-за занятости не было возможности это сделать, хотя был ряд конкретных предложений, включая использование MSC. Но другого пути нет. Обсуждать это надо не с 1 физиком и 1 химиком, а с математиками. Нужна коллективная работа. Просто выкинуть то, что предложено математиками, и поставить MSC не получится.

2. Речь шла о рубрикаторе для экспертной оценки лабораторий. Топ 20% журналы и средние хирш-факторы от этого довольно далеко. Напротив, основной подход - оценивать, читая работы, а не по косвенным индикаторам. 

3. Конкретно, что MSC устарел, насколько помню, никто не утверждал. Если это не так, дайте подтверждение. Критиковался  PACS, для чего у физиков есть основания.

4. Никто не собирался сваливать CS в одну кучу. По этому разделу работа еще не сделана. Для нее нужен координатор. Обсуждался вариант привлечь А.П. Кулешова. Возможное решение использовать международный класс-р здесь тоже может быть принято лишь специалистами. Так, физики выбрали существенную модификацию.

5. Зачем выделять 25% "лучших", да еще по индексам?

Фейгельман  и Цирлина при обсуждении рубрикаторов с расширенным советом ОНР  написали что рубрикатор по математике создан Кричевером и одобрен Ландо. В этом же письме Фейгельман спрашивает меня откуда вдруг взялся "неизвестный никому" классификатора AMS.

В следующем письме он утверждает, что и PACS и MSC давно устарели и что именно они создают новый инновационный  продукт, который превосходит все что создано на западе  и который скоро признают во всем мире. После этого мне с ними разговаривать расхотелось - эти  же письма наверное и у Вас в ящике еще лежа, так что проверить мои слова очень просто.  Там же есть письмо А.М. Сухова, который перевел на русский основную первую ступень международного классификатора по CS. 

Если Вы тоже не понимаете крайней важности рубрикаторов, то разговаривать нам действительно бесполезно, так как я  считаю, что 25% организаций РАН  как снизу так и сверху, точно так же как и топ 20% журналов, точно так же как средние показатели цитируемости, средние хирш-факторы и прочие средние индикаторы  определяют именно по РУБРИКАТОРАМ. Именно поэтому  использование стандартных международных рубрикаторов, вместо слепленных на скорую руку и выгодных вполне конкретным персонажам,  является одним из самых важных вопросов.

Конкретно -  если в  Computer Science  всё будет по прежнему  свалено в одну рубрику и в этой общей куче потребуется выделить 25% лучших, то ни один эксперт не сможет этого сделать по человечески просто потому, что CS слишком большая и неоднородная область науки.

Точно также в геометрии эксперт по дифференциальной геометрии, не может судить о  людях занимающихся алгебраической, симплектической, контактной  и прочими геомериями. Ну за исключением уходящего поколения ученых типа Арнольда, Гельфанда и т.д.  

Приятно видеть, как два умных человека говорят правильные вещи. Т.е. спор идет с кем-то третьим, невидимым.

Проблема в том, что этот невидимый - это мы сами, многие из нас. Сколь бы ни была велика разница между учеными и чиновниками, если не будет конструктивного диалога между ними - не будет изменений к лучшему. Пока со стороны ученых лишь жалобы и предупреждения. Нужны предложения, но, видимо, такие, которые способны привести к компромиссу. Пока таковых мало.

Например, математики говорят, что им не подходит WoS и точка. Но ведь есть у них свои списки престижных журналов (точно знаю, что в ПОМИ есть список А и список В). Почему никто не сравнил их с WoS - сколь велика разница? Почему бы не постараться включить в WoS  те журналы, которых там еще нет? Да, это требует сил и времени. Но жить потом будет легче. И это только один пример...

В ответ называют 2-3 фамилии создавших этот рубрикатор. Математики хорошие, спору нет.

Просто для сведения -  для обновления рубрикатора AMS раз в четыре года  сначала анализируют Mathematical Review и Zentrablatt Math - две крупнейших профессиональных базы данных по публикациям американского и европейского сообщества математиков. Затем проводится опрос  десятка тысяч математиков по всему миру , проект изменений обсуждается на специальных сессиях Конгресса   и только затем математики  принимают этот рубрикатор официально.

Аналогично поступают и в сообществе Computer Science - там только в силу специфики рубрикатор обновляют почаще.

Итак, на одной чаше весов работа тысяч математиков по всему миру, а на другой мнение пары московских экспертов, и о чудо!  весы "комиссаров" без всякой там капли сомнений выбирают именно своих.

Абсолютно аналогично поступают и чиновники МОН, когда слушают только своих советников и плюют на мнение остальных.  Так чем же тогда одни лучше других?  Ничем. 

Очень много исследований на эту тему, например в последнем номере Scientometric есть статья 
Impact of bibliometric studies on the publication behaviour of authors
в которой проведен большой статистический анализ публикаций немецких ученых. Основные выводы:
"We can conclude that authors adapt their publication behaviour to aim for journals that are more internationally known and have a US publisher. Also, a trend from more specialized journals to journals with a broader scope can be observed that raises the question whether the implicit penalization of specialized fields in the bibliometrics leads to undesired shifts in conducted research."

А пока, наверное, по-новому и не получится. Официальной смены названия и изменения в уставе еще не было. И, скорее всего, и после официального утверждения нового названия должна быть процедура учета по старому на переходный период. Ну, или, по крайней мере, кажется, что это было бы логично и правильно, а как уж будет, посмотрим.

ну что за бред, извините. Я уже предлагал Вам не приписывать мне Ваши измышления. Читайте хоть внимательнее что ли, что я писал прежде чем такие комментарии публиковать. Единственное что я действительно предлагал, так это при экспертной оценке оценивать в том числе и возрастной состав лаборатории (вместо оценки численности ученых до 35 как было раньше), и смотреть (эксперту) насколько при таком составе лаборатория жизнеспособна и конкурентна на международном уровне хотя бы в среднесрочной перспективе именно в данной области науки. Кроме того, прочтите внимательно для чего вообще все это делается, о чем пишут организаторы. Нигде, никто, никому в вину ставить что-либо в этом проекте вообще не собирается, и я о "вине" тоже не писал. Согласитесь это сильно отличается от того о чем пишете Вы?

Насколько я понимаю, речь идёт об оценке научных организаций. Вы предлагаете при оценке лабораторий учитывать насколько личный состав подразделения соответсвует некой придуманной "идеальной" схеме возрастного состава. И если лаборатория имеет другой состав, то вы предлагаете ставить это в вину коллекиву и оценивать неудовлетворительно их работу. Я с таким подходом категорически несогласен!

Виктор Анатольевич и коллеги,

Я хотел бы отметить две принципиальные позиции, которым наше сообщество не уделяет достаточного понимания или поддержки:

1) Большинство из нас критикует наукометрические показатели, причем зачастую как-то болезненно - нервно, и мало кто ее защищает. И этот перевес негатива мне кажется тенденцией ошибочной. Да, у наукометрии есть недостатки, но ведь и у экспертизы тоже есть недостатки не менее серьезные. Ну так давайте их хотя бы усредним в каких-либо пропорциях и хоть как-то снивелируем недостатки. И перестанем считать наукометрию врагом науки. Есть ли какие-либо лучшие предложения?

 давайте менять индекс Хирша на один из просоветских коэффициентов, учитывающих разницу статей, тезисов и монографий на разных языках и их объем с приложением оценочных экспертиз от экспертов от организации (начальственной и сторонней) и от оцениваемого ученого (заказанной им самим) для сопоставления их в комиссии.

Едва ли это лучше. Выполнить столько экспертиз сложнее, фальсифицировать легче. Да и экспертов порой столько не найдешь. И сколько экспертиз придется совершать каждому из нас.

2) Проблема сколько-нибудь точной оценки научного труда это не только российская проблема, это проблема мировая. В былые времена, когда науку делали выдающиеся одиночки, и труд их можно было оценивать индивидуально. Сейчас, когда в исследования вовлечены сотни тысяч, пора (давно пора всему миру) задуматься об адекватном и логически строгом способе оценки научного труда. Цитирование - основа наукометрии, но исходно оно не предназначалось на роль оценки чьего-то труда.

Отсюда масса известных проблем. Как лишь один пример  - соседняя реплика Э.С. Медведева:

Раньше можно было в преамбуле сослаться на хороший обзор по теме, а теперь что? Всех, кто работал в этой области, процитировать? И как не процитировать коллег? Объём статьи непомерно возрастает за счёт цитирования, ....

То есть получается, сколько-то людей работали, а цитирование их статей достается обозревателю. Читать удобно, но цитирование перестает быть мерой оценки труда. Кстати, я не ситаю, что обильное цитирование является проблемой - электронная бумага и не такое стерпит. 

Как сырую идею для обсуждения, я бы предложил создать новый инструмент оценки статей, связанный с цитированием, но не идентичный ему. На каждую новую публикуемую публикуемую статью выдаем по 100 "бонусов", и авторы делят их между цитируемыми работами пропорционально важности этих работ для их публикации. И вот сумма этих "бонусов" может быть оценкой работ любого автора вместо цитирования. По крайней мере, в идеале. 

И по мелочи.

Полученные баллы использовать в должностных рейтингах и при начислении надбавок типа ПРНД. 

Баловство этот ПРНД, копейки. ВЕСЬ объем финансирование должен быть в пропорции с полученной оценкой.

Ненаучную деятельность (преподавание, администрация, советы, редакции) лучше в коэффициенты не включать, и оплачивать из отдельных средств.

А здесь 100% согласен.

50/50 - это реально, ... но не для организующих начал конкретных дирекций; да и при создании крупных экспертных советов можно оторваться по полной и выполнить любой "заказ".

Не понял, что это за начала дирекций и каким образом они отрываются. Нельзя ли подробнее?

импакт-фактор журнала зависит...от пробивной активности редактора, онли.

А это как? Нет хороших статей, так и не буду его журнал цитировать, пусть хоть как активничает. И никакие хитрые словечки не заставят меня цитировать, если статья неинтересна.