КЛАССИФИКАЦИОННАЯ СХЕМА СЕМАНТИЧЕСКОГО СЛОВАРЯ СИСТЕМЫ МОНИТОРИНГА: ОПЫТ ПРИМЕНЕНИЯ В ПРОЦЕССЕ ОЦЕНКИ РЕЗУЛЬТАТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ

CLASSIFICATION SCHEME OF THE SEMANTIC DICTIONARY OF THE MONITORING SYSTEM: TEST APPLICATION TO EVALUATION OF SCIENTIFIC WORK’ PERFORMANCE

Кожунова О.С. (kozhunovka@mail.ru, okozhunova@ipiran.ru)

Институт Проблем Информатики Российской Академии наук

Кратко описывается эксперимент по оценке результативности научной деятельности в Российской Академии наук, проведенный в первом полугодии 2007 года. Рассматриваются выявленные по итогам этого мероприятия проблемы, для решения которых предлагаются метод и соответствующий инструментарий, а именно: классификационный метод и семантический словарь с интегрированной в него классификационной схемой.

Введение

Проведенный в первом полугодии 2007 года эксперимент по оценке результативности научной деятельности в Российской Академии наук показал, что сегодня существенно изменилось значение данных мониторинга научных исследований и деятельности субъектов сферы науки. В 2006 и 2007 годах был разработан ряд нормативных документов, направленных на распределение значительной части научного бюджета с учетом значений индикаторов результативности научных исследований (Совместный приказ Министерства образования и науки РФ, Министерства здравоохранения и социального развития РФ и Российской академии наук № 273/745/68; Устав РАН, утвержденный постановлением Правительства РФ от 19 ноября 2007 г. № 785; Постановление Правительства РФ от 22.04.2006 года № 236) [[1], [2]]. Таким образом, в настоящее время данные мониторинга стали оказывать существенное влияние на бюджетный процесс. Поэтому системы мониторинга, анализа и оценки (далее – системы мониторинга) и определяемые с их помощью значения индикаторов используются в качестве основных критериев в процессе принятия решений, согласования оценок результативности и вынесения окончательных оценок научной деятельности экспертами.

На сегодняшний день накоплен отечественный и зарубежный опыт мониторинга, анализа и оценки результативности в сфере науки [[3], [4], [5]]. Анализ этого опыта позволяет утверждать, что изменение роли систем мониторинга и определяемых с их помощью значений индикаторов придает весьма актуальный характер задаче построения словаря терминов для описания и решения широкого спектра задач этой области.

Это мотивировано тем, что системы мониторинга должны стать, во-первых, депозитариями сертифицированных информационных ресурсов, так как их данные начинают использоваться в процессах бюджетирования и принятия решений. Во-вторых, процедуры обеспечения процессов бюджетирования и принятия решений, реализованные в системе мониторинга, должны быть легатимизированы. В-третьих, в целях обеспечения инвариантности системы именно в семантическом словаре должны быть локализованы формы представления знаний экспертов, результатов согласования категоризации и степени полноты их знаний об окружающей системе и взаимодействующей с ней институциональной среде, о ее целях и решаемых ею задачах.

В работе в связи с этим были рассмотрены следующие аспекты:

·        Краткое описание эксперимента по оценке индивидуальных показателей результативности научной деятельности, проведенного в Российской Академии наук в первом полугодии 2007 года;

·        Проблемы, выявленные по итогам проведения эксперимента, и предлагаемые в данной работе метод и инструмент их решения.

Эксперимент по оценке результативности научной деятельности

Совместным приказом Министерства образования и науки РФ, Министерства здравоохранения и социального развития РФ и Российской Академии наук № 273/745/68 от 03.11.2006 с целью оценки научной работы на наноуровне§ (ученые и инженеры) был утвержден список индикаторов [1]. В Приказе предполагалось инициировать анализ и оценку деятельности отдельных работников Академии наук с июня 2007 года при помощи приведенных в тексте этого нормативного документа оценочных количественных и качественных индикаторов. Для индикаторов были приведены некоторые единицы измерения, на основании подсчета которых вычислялись промежуточные и итоговые баллы результативности деятельности отдельно взятого ученого (или инженера). Количеству набранных баллов в рамках бюджета определенного подразделения Академии наук выставлялся в соответствие некоторый денежный эквивалент, выплачиваемый сотрудникам в виде надбавки по итогам такого исследования их результативности.

Поскольку данные проведенного эксперимента недоступны на уровне всей Академии наук, то описать его особенности возможно только на примере отдельного учреждения. В предлагаемой работе кратко описываются результаты мониторинга, анализа и оценки деятельности ученых и инженеров Института Проблем Информатики РАН (ИПИ РАН, 20 отделов и 2 филиала), поскольку автор является одним из разработчиков инструментария мониторинга и оценки индивидуальных показателей результативности научной деятельности, проведению оценок, анализу списка утвержденных Приказом (ссылка) индикаторов и вычислению итоговых показателей и оценок результативности для присваивания баллов сотрудникам.

В работе [[6]] уже говорилось о задаче согласования понимания терминов с целью разрешения терминологических разногласий между экспертами и необходимости в инструменте для их устранения. Проведенный эксперимент подтвердил актуальность использования именно семантического словаря в качестве такого инструмента, поскольку точность, наглядность и адекватность определений терминов (в частности, значений отдельных индикаторов) играет решающую роль в вычислении показателей результативности ученых и итоговой оценке их деятельности.

Например, пункт 2.3 вышеупомянутого Приказа [1]: «Индивидуальный ПРНД научных работников, работающих по совместительству, умножается на коэффициент, равный отношению продолжительности рабочего времени совместителя в месяц к нормальной продолжительности рабочего времени штатного работника на аналогичной должности. При этом в расчет должны приниматься только те результаты, которые получены при работе в Институте и официально к ней отнесены (наличие наименования Института, как места выполнения работы, в публикациях, материалах конференций и иных результатах научной деятельности, учитываемых при расчете индивидуального ПРНД, или публикация результатов в изданиях Института). Для работников, поступивших на работу в Институт не ранее, чем за два года до года выплаты надбавок стимулирующего характера, при расчете индивидуального ПРНД учитываются их результаты, полученные по основному месту работы».

При подаче материалов для вычисления индивидуальных показателей результативности научной деятельности (сокращенно ПРНД) многие сотрудники-совместители столкнулись с проблемой многозначного толкования этого пункта. Члены Комиссии по оценке ПРНД также были вынуждены дополнительно согласовать свое понимание пункта о совместителях и о новых сотрудниках перед проведением оценки. К сожалению, параграфов, подобных примеру, в Приказе оказалось немало.

Кроме того, в Приказе не было приведено дефиниций результатов научной деятельности и соответствующих индикаторов, характеризующих достижение того или иного результата и степень достижения, а также какой-либо классификации результатов и индикаторов. Из данного нормативного документа следовало, что цитируемость автора, его научное руководство и участие в конференциях, например, есть суть результаты одного уровня и одной категории.

Все эти аспекты существенно усложняли проведение мониторинга, анализа и оценки деятельности ученых, приводили к конфликтным ситуациям внутри подразделений и между экспертами по анализу и оценке предоставляемых данных.

Для решения перечисленных проблем автором предложена методика и инструмент согласования смысла индикаторов. Описанная ниже методика категоризации знаний о мониторинге, анализе и оценки в сфере науки, в основана на том числе, знаний о результатах категоризации и методе классификации. В качестве главного инструмента прояснения смысла используется разрабатываемый семантический словарь и информационные схемы ресурсов системы мониторинга.

Система мониторинга и семантический словарь

В настоящее время, на стадии концептуального проектирования, разработана архитектура словаря, включая ссылки на нормативные, информационные, алгоритмические и другие компоненты системы мониторинга [6]. Архитектура словаря основана на схеме классификации, полученной в результате анализа Приказа № 68 и других нормативных документов и категоризации показателей. Разные категории показателей могут быть связаны между собой родовидовыми и функциональными тезаурусными отношениями (Рис. 1):


 

Text Box: … 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


Рис.1. Классификационная схема семантического словаря системы мониторинга: иерархия показателей и отношения между ними


При использовании классификационного метода в процессе разработки семантического словаря как средства уточнения смысла индикаторов результатов научной деятельности были рассмотрены и учтены следующие гипотезы и базовые положения:

1.         нормативные документы редко содержат явные определения индикаторов и других показателей;

2.         иногда значения индикаторов с теми же самыми названиями определены по-разному в различных публикациях;

3.         иногда индикаторы научной деятельности неодинаково интерпретируются лицами, принимающими решения, менеджерами, экспертами, специалистами по оценке, лингвистами и IT-специалистами;

4.         существуют индикаторы, зависящие от нескольких параметров, изменение которых изменяет их численные значения (например, значения индексов цитирования зависят от глубины ретроспективы используемого массива научных статей). Кроме того, индикаторы могут зависеть от выбора варианта используемого алгоритма вычисления, что может изменить их смысл (например, пункт 2.3 Приказа, приведенный выше – индикатор результативности совместителей имеет несколько вариантов вычисления в силу многозначности приведенного в документе текста);

5.         численные значения индикаторов могут зависеть от числа записей в используемых нормативных файлах и содержания этих записей (например, значения индексов цитирования зависят от списка используемых журналов).

Вышеперечисленные аспекты были учтены автором при разработке процедуры уточнения смысла индикаторов, которую предлагается проводить в два этапа. На первом этапе осуществляется встраивание каждого предлагаемого к использованию индикатора в классификационную схему, полученную в результате категоризации показателей. Размещение в схеме позволяет согласовывать предварительное понимание значения индикатора, которое можно извлечь из этой схемы (Рис. 1). В приведенной классификационной схеме предусмотрены отдельные позиции как для индикаторов научной деятельности, так и для технологической и образовательной видов деятельности. Эти виды деятельности приведены в новом Уставе РАН, утвержденным постановлением Правительства РФ от 19 ноября 2007 г. № 785.

На втором этапе происходит уточнение смысла индикаторов посредством использования словарных статей, связанных с нормативными, информационными и алгоритмическими компонентами системы мониторинга.

Основная идея предлагаемой методики получения согласованных индикаторов состоит в разработке итерационной процедуры прояснения их смысла, учитывающей одновременно влияние нормативного, лингвистического и экстралингвистического факторов (например, выбор вариантов вычисления того или иного индикатора, иллюстрации дефиниций индикаторов, ссылки на нормативные документы, точность и ясность дефиниций результатов научной деятельности и т.п.).

Разработанная итеративная процедура согласования смысла индикаторов одновременно использует следующие компоненты системы мониторинга [[7], [8]]:

§         нормативный компонент системы;

§         семантический словарь с названиями и определениями видов индикаторов, характеристик, критериев, параметров и экспертных оценок;

§         информационный компонент системы;

§         библиотеку алгоритмов и программ (алгоритмический компонент системы).

Первый этап согласования смысла индикаторов был протестирован на индикаторах результатов наноуровня. В результате было получено распределение индикаторов результатов для наноуровня в пределах классификационной схемы индикаторов и других категорий показателей, которое будет приведено далее в статье.

По итогам анализа Совместного Приказа № 68 [1] автором был выделен следующий перечень индикаторов результатов для наноуровня (научных сотрудников):

1.         Монографии и учебники (единица измерения - число печатных листов);

2.         Доклады на российских конференциях (единица измерения – число докладов в течение календарного года);

3.         Доклады на международных конференциях (единица измерения – число докладов в течение календарного года);

4.         Приглашенные доклады на российских конференциях (единица измерения – число докладов в течение календарного года);

5.         Приглашенные доклады на международных конференциях (единица измерения – число докладов в течение календарного года);

6.         Разработки новых курсов, выполненные в течение календарного года (единица измерения – суммарное число семестров, вычисленное для каждого нового курса отдельно);

7.         Доработки существующих курсов, выполненные в течение календарного года (единица измерения – суммарное число семестров, вычисленное для каждого доработанного курса отдельно);

8.         Защиты кандидатских диссертаций в течение календарного года (единица измерения – выписки из решения ВАК или удостоверения кандидатов наук);

9.         Защиты дипломов (единицы измерения  - выданные дипломы, учитываемые только при условии дальнейшего поступления дипломанта в аспирантуру и/или на работу в научную организацию);

10.     Защиты докторских диссертаций в течение календарного года (единица измерения – выписки из решения ВАК или удостоверения докторов наук);

11.     Патенты, полученные в течение календарного года (единица измерения – число патентов);

12.     Программные продукты, зарегистрированные в течение календарного года (единица измерения – число свидетельств о регистрации программных продуктов);

13.     Базы данных, зарегистрированные в течение календарного года (единица измерения – число свидетельств о регистрации баз данных);

14.     Топологии микросхем, зарегистрированные в течение календарного года (единица измерения – число свидетельств о регистрации топологий микросхем);

15.     Российский индекс цитирования, учитываемый в текущем году (единица измерения – количество ссылок в этом индексе; измеряется на основе импакт-факторов журналов, в которых опубликованы статьи);

16.     Международный индекс цитирования, учитываемый в текущем году (единица измерения – количество ссылок в этом индексе; измеряется на основе импакт-факторов журналов, в которых опубликованы статьи);

17.     Статьи в российских или зарубежных журналах с impact-фактором ≥ 0,2 (единица измерения – число статей в календарном году);

18.     Статьи в зарубежных журналах с impact-фактором ≤ 0,2 или без impact-фактора (единица измерения – число статей в календарном году);

19.     Статьи в российских журналах, включенные в Перечень ВАК для кандидатских диссертаций (единица измерения – число статей в календарном году);

20.     Статьи в российских журналах, включенные в Перечень ВАК для докторских диссертаций (единица измерения – число статей в календарном году).

В пределах классификационной схемы, полученной в результате категоризации, каждый из двадцати перечисленных индикаторов отнесен к одной из категорий, указанных на схеме (Рис.1). В результате проведенной классификации этих двадцати индикаторов автором было получено следующее распределение (для каждой из ниже перечисленных категорий указан полный или сокращенный путь к этой категории, начиная с вершины схемы на рис.1, и приведен список индикаторов, относящихся к этой категории):

 

1.       Показатели → Индикаторы → Индикаторы результатов научной деятельности → Индикаторы наноуровня → Непосредственные результаты → Публикации:

§         Монографии и учебники;

§         Статьи в российских журналах, включенные в Перечень ВАК для кандидатских диссертаций;

§         Статьи в российских журналах, включенные в Перечень ВАК для докторских диссертаций.

2.        Показатели → …→ Конференции:

§         Доклады на российских конференциях;

§         Доклады на международных конференциях;

§         Приглашенные доклады на российских конференциях;

§         Приглашенные доклады на международных конференциях.

3.       Показатели → Индикаторы → Индикаторы результатов научной деятельности → Индикаторы наноуровня →  …→ Индексы цитирования:

§         Российский индекс цитирования, учитываемый в текущем году;

§         Международный индекс цитирования, учитываемый в текущем году.

4.       Показатели → Индикаторы → Индикаторы результатов научной деятельности → Индикаторы наноуровня → …→ Impact-факторы:

§         Статьи в российских или зарубежных журналах с impact-фактором ≥ 0,2;

§         Статьи в зарубежных журналах с impact-фактором ≤ 0,2 или без impact-фактора.

5.       Показатели → …→ Индикаторы результатов образовательной деятельности:

§         Разработки новых курсов, выполненные в течение календарного года;

§         Доработки существующих курсов, выполненные в течение календарного года;

§         Защиты кандидатских диссертаций в течение календарного года;

§         Защиты дипломов;

§         Защиты докторских диссертаций в течение календарного года.

6.       Показатели → …→ Индикаторы результатов технологической деятельности:

§         Патенты, полученные в течение календарного года;

§         Программные продукты, зарегистрированные в течение календарного года;

§         Базы данных, зарегистрированные в течение календарного года;

§         Топологии микросхем, зарегистрированные в течение календарного года.

Распределение перечисленных индикаторов по шести категориям (рубрикам) классификационной схемы наглядно показывает, что все согласованные и утвержденные индикаторы наноуровня для результатов научной деятельности относятся к категории «Непосредственные результаты» или к категории «Индикаторов взаимосвязи и влияния научных результатов на сферу науки». При этом полностью отсутствуют индикаторы таких значимых категорий как «Целевые результаты» и «Индикаторы результативности научной деятельности». Это говорит, прежде всего, о неоднородности утвержденного Приказом № 68 списка индикаторов результатов научной деятельности, а также о том, что в этом нормативном документе были проигнорированы достаточно весомые при формировании согласованных оценок категории. На практике, при проведении эксперимента, кратко описанного в статье, это привело к затруднению принятия решений экспертами при вынесении предварительных и итоговых оценок результативности научной деятельности сотрудников Российской Академии наук, а также к неоднозначным трактовкам индикаторов и их значений. Следствием этого были конфликтные ситуации между экспертами и оцениваемыми сотрудниками и не всегда адекватный учет значимых научных результатов (например, у таких категорий сотрудников как совместители, молодые специалисты, руководители подразделений и т.п.)¨.

Заключение

В статье представлено краткое описание эксперимента по оценке индивидуальных показателей результативности научной деятельности, проведенного в Российской Академии наук в первом полугодии 2007 года, а также проблемы, выявленные по его итогам.

В результате анализа соответствующих нормативных документов, являющихся основанием для проведения эксперимента, и итогов самой процедуры этого мероприятия была выявлена необходимость в разработки методики согласования смысла индикаторов результатов научной деятельности (базовых терминов, одобренных нормативными документами и использованных в ходе эксперимента). В качестве основного метода автором был предложен классификационный метод, основанный на итеративной процедуре уточнения смысла индикаторов с последовательной категоризацией этих терминов и поиском их дефиниций и иллюстраций значений при помощи компонент системы мониторинга. Кроме того, была выявлена необходимость в разработки инструмента, обеспечивающего проведение мониторинга, анализа и оценку результативности научной деятельности в Российской академии наук. Это семантический словарь, проектируемый и разрабатываемый в настоящее время параллельно с созданием системы мониторинга в ИПИ РАН и ЦЭМИ РАН. Классификационная схема словаря, встроенная в него для проведения первого этапа классификации, позволила выявить ряд недочетов в нормативных документах, содержащих перечень индикаторов для проведения оценки результативности научных сотрудников, и наметить пути решения проблемы согласования понимания смысла индикаторов.

 

Литература

 



§В дальнейшем предполагается проведение анализа и оценки результатов и результативности деятельности РАН на четырех институциональных уровнях:

§         макроуровень – Российская академия наук в целом;

§         мезоуровень – институты Российской академии наук;

§         микроуровень – научные коллективы институтов;

§         наноуровень – ученые и инженеры.

 

¨На основе данных эксперимента по оценке результативности индивидуальных показателей результативности научной деятельности в ИПИ РАН.



1.        Совместный приказ Министерства образования и науки РФ, Министерства здравоохранения и социального развития РФ и Российской академии наук № 273/745/68 от 3 ноября 2006г. - http://www.ras.ru/news/shownews.aspx?id= 328a9bb8-b7ba-4275-93f6-f63698c471d9&_Language=en.

2.      Постановление Правительства РФ от 22.04.2006 года № 236 «О реализации в 2006-2008 годах пилотного проекта совершенствования системы оплаты труда научных работников и руководителей научных учреждений и научных работников научных центров РАН» (http://www.government.ru/data/news_print.html? he_id=103&news_id=21148).

3.      Analytical Perspectives. Budget of the United States Government, Fiscal Year 2007. - Washington, DC: U.S. Government printing office, 2006.

4.      Минин В.А. Мониторинг научных исследований российских ученых. В кн.: Российский фонд фундаментальных исследований: десять лет служения российской науке.- М.: Научный мир, 2003.- С. 295-314.

5.      National Science Board, Science and Engineering Indicators – 2006. Two volumes. Arlington, VA: National Science Foundation, 2006.

6.      Кожунова О.С., Зацман И.М. Прагматические аспекты создания семантического словаря терминов информационного мониторинга // Труды международной конференции Диалог-2007 "Компьютерная лингвистика и интеллектуальные технологии".- М.: Изд-во РГГУ, 2007. - С. 278-285.

7.      Зацман И.М. Информационные ресурсы для систем мониторинга в сфере науки // Системы и средства информатики. Вып. 15.- М.: Наука, 2005 (б).- С. 288-318.

8.      Зацман И.М. Полидоменные модели в системах оценки инновационного потенциала и результативности научных исследований // Тр. конференции Диалог-2006 "Компьютерная лингвистика и интеллектуальные технологии". - М.: РГГУ, 2006. - С. 178-183.