При разработке полезной модели, направленной на техническое решение, относящегося к программному комплексу для оптимизации управления эффективностью научно-инновационной деятельностью Университета (организации) выявлены основные барьеры к использованию информационных технологий [10, 12]:
– возросшая сложность управления академической научно-исследовательской деятельностью;
– повышение требований к отчетности на институциональном уровне;
– оценка и анализ не проводится на систематической основе, недостаточно надежная информация для поддержки обоснованных стратегических решений;
– потребность в текущих и прогнозных данных для оценки основных возможностей университетов в условиях ограниченных ресурсов, в обмене показателями, необходимыми для эффективного и долгосрочного институционального исследования и мониторинга стратегий;
– по мере увеличения числа и сложности повышения научно-исследовательских программ, емкость систем и оперативной поддержки часто отстает от необходимой потребности.
Полезная модель направлена на техническое решение, относящееся к компьютерному (программному) устройству в целях получения результата – автоматизированной рейтинговой оценки результативности научно-инновационной деятельности и потенциала организации на полном массиве публикаций объекта исследования (автор, структурное подразделение, научная организация, научный журнал).
Объектоспособными результатами интеллектуальной деятельности, охраняемыми в качестве полезных моделей, являются технические решения, относящиеся к устройствам [6]. Условия патентоспособности – промышленная применимость и новизна совокупности существенных признаков (отсутствие сведений об идентичном техническом решении), влияющих на технический результат – управленческий учет и повышение управляемости научно-инновационной деятельности организации.
Рабочая гипотеза исследования – формализация измерений по набору показателей публикационной и инновационной (патентной) активности научно-педагогических работников (НПР) и организации, использование стандартных операций и процедур нормирования, ранжирования и их алгоритмизация повысит объективность и адекватность оценки, устойчивость к изменениям данных.
Цель исследования – разработка технического решения (модели, алгоритмов), относящегося к программному комплексу для оптимизации управления эффективностью научно-инновационной деятельности НПР организации.
Для реализации цели сформулированы задачи исследования:
1. Формирование базы данных организации по совокупности систематизированных данных научных публикаций и ее государственная регистрация.
2. Научное обоснование полезной модели рейтинговой оценки научно-инновационной деятельности и анализа потенциала организации по совокупности существенных признаков, влияющих на результат, и относящейся к программному устройству.
3. Разработка программы ЭВМ для получения результата и построения аудиовизульных отображений.
Проблемы систематизации наукометрических метрик
Метрики определяются как стандарты измерения, с помощью которых измеряется производительность, результативность, эффективность, прогресс или качество. Их назначение состоит в обеспечении высокой стоимости мер, которые оптимизируют решения о будущих направлениях для улучшения производительности организации [2,3]. Руководство организации в соответствии с институциональными требованиями, целями и критериями заинтересовано в повышении общего престижа своего университета и показателей качества или конкурентоспособности.
Часто используемые исследовательские метрики имеют ряд недостатков, поскольку они не охватывают ряд мероприятий и показателей эффективности, особенно в крупных, университетах с сотнями дисциплин. Некоторые из показателей, используемых в настоящее время, как оценки цитируемости публикаций, становятся предметом манипуляций, что искажает результаты. Ряд исследователей оспаривает обоснованность широкого применения импакт-фактор журнала в качестве меры для оценки качества отдельных публикаций [7, 8].
Отсутствие стандартизации показателей, используемых для оценки производительности, результативности и эффективности научно-исследовательской деятельности является серьезной проблемой. Ставится задача использования аналитических инструментов, которые основаны на стандартизированных и согласованных определениях данных, которые будут использоваться в качестве стандартов, а не для принятия решений на основе интуиции.
Количество меры, как правило, относительно легко получить путем ранжирования систем. Однако целью является найти способ, чтобы выявить или предсказать качество, так что оценка организации должна иметь комплексный характер, включая исследователей и исследовательских программ.
Оценка имеет принципиально две функции [9]:
1) оценка исследовательской организации, в которой функционируют исследователи;
2) оценка самих исследователей.
Стандартные показатели включают оценки научной деятельности и трансформационные метрики развития исследовательского профиля до следующего уровня.
Необходимо исследование мер многофакторной производительности, которые касаются производства исследований и разработок на единицу набора «входов».
Такие меры позволяют рассматривать рост факторов производства в связи с ростом производительности труда, то есть в связи с темпами роста в относительных затратах и с ростом «выходов».
Скорее всего, как это имеет место в организации, «входы» и «выходы» не связаны друг с другом. Таким образом, организационная эффективность и экономическая эффективность в значительной степени игнорируются, а основное внимание нацелено непосредственно на растущий уровень затрат. В этом случае, соотношение между входами и выходами будет более эффективным подходом [4].
В рамках проекта наукометрических метрик организации разрабатываются:
– система показателей производительности, результативности и экономической эффективности;
– параметры «входы» (ресурсы), «процессы» (производительность) и «выходы» (эффективность);
– архитектура аналитической системы, базы данных публикаций, аффилированных с учреждением;
– автоматизированные инструменты отчетности, включая: разработку клиентской и серверной частей системы, их программирование, разработку инструментария для управления базой данных и для унификации обработки загруженных данных.
Рабочая гипотеза исследования – формализация измерений по набору показателей публикационной и инновационной (патентной) активности НПР и организации, использование стандартных операций и процедур нормирования, ранжирования и их алгоритмизация повысят объективность и адекватность оценки, устойчивость к изменениям данных.
К приоритетам научных исследований и разработок следует отнести:
– разработка метрик индекса цитирования и позиционирования автора и организации по показателям продуктивности, наблюдаемым и ожидаемым показателям воздействия и патентной активности;
– разработка технологии организации электронного репозитория публикаций.
Системы отчетности организации должны быть надежными и стать действенными. Меры количества или качества данных о производительности организации должны быть невосприимчивы к внешним манипуляциям. Например, манипуляция с помощью самоцитирования, искусственная манипуляция размерами организации путем объединения единиц отчетности.
К основным характеристикам представления данных исследований и наукометрических метрик относятся:
– достоверные данные;
– стандартные определения вывода;
– транспарентный (прозрачный) анализ;
– предсказуемые результаты;
– фокус на результативность и эффективность.
Проблемы разработки методики расчета интегрального показателя (рейтинга) научного журнала, рейтинга авторов и организации
Глобальные мировые рейтинги оказывают значительное влияние с точки зрения стратегических решений и распределения ресурсов Университетов. Важно отметить, что только очень небольшое количество (не более чем 3 %) из более чем 7500 университетов участвуют в этих рейтингах [1].
Однако подняты серьезные проблемы относительно стандартизации данных и методологий, используемых в рейтингах. Одной из наиболее распространенных ошибок, является взвешивание различных факторов, которые не точно отражены в окончательном рейтинге. Такие несоответствия вводят пользователей в заблуждение и могут мотивировать непроизводительные действия для повышения рейтинга учреждения [11].
В рамках проекта планируется разработка:
– методики расчета интегрального показателя (рейтинга) научного журнала в рейтинге, гармонизированного с показателями международных индексов цитирования;
– системы рейтинга авторов и организации по набору нормированных и средних значений параметров оценки.
При разработке методики рейтинга научного журнала основным ориентиром являются журналы, индексируемые в международных базах данных, значения наукометрических показателей для которых выше среднее уровня (SNIP>1) с учетом интервала стабильности [14].
SNIP (Source Normalised Impact per Paper) – журнальный индикатор нового поколения; нормализованный показатель с учетом предметной области; предиктор показателя цитируемости – основного библиометрического компонента рейтингов QS и THE [13, 15, 16]. Рассчитывается как количество цитат, приведенных в настоящем году на публикации в течение последних трех лет, деленное на общее число публикаций за последние три года.
Stability intervals – интервал стабильности, отражает стабильность и надежность показателя. Чем шире интервал стабильность показателя, тем меньше надежность индикатора. Если для конкретного источника SNIP имеют широкий интервал стабильности, показатели имеют низкую надежность этого источника.
Таким образом, планируется сформировать «целевой список журналов» с учетом выбранных приоритетных направлений. Активно отслеживается уровень публикационной активности, используя и другие источники информации, в частности РИНЦ, показатели вузов, которые в последние годы демонстрируют стабильный опережающий рост.
Научное обоснование полезной модели рейтинговой оценки научно-инновационной деятельности и анализа потенциала организации обеспечивается по совокупности существенных признаков, влияющих на результат, и относящейся к программному устройству.
Разработка полезной модели и алгоритма рейтинга автора и организации производится по темпоральным индикаторам оценки, с последующей проверкой по критериям надежность, валидность, адекватность.
В настоящее время целесообразно создать дорожную карту для развития научно-исследовательских метрик, построенных в стандартизированной форме, в качестве основы для проведения сравнительного анализа и выработки стратегических решений [5].
Новизна проекта и ожидаемые результаты
Новизна проекта заключается в том, что впервые:
● устанавливается соответствие полезной модели условию патентноспособности «новизна» по условиям промышленная применимость и новизна совокупности существенных признаков, влияющих на конечный результат (отсутствие сведений об идентичном техническом решении).
● использование методологии темпорального анализа индикаторов для произвольного массива научных публикаций во взаимосвязи с описанием динамических объектов (автор, группа, организация, научные журналы).
Подходы, которые будут использоваться для ее решения на различных этапах:
I этап – научная постановка задачи, содержащая формулировку проблемы, цели и рабочую гипотезу исследований.
II этап – формирование и стабилизация базы данных по публикациям авторов, структурных подразделений, научной организации, публикаций в научных журналах.
Разработка полезной модели и алгоритма рейтинга организации по темпоральным индикаторам оценки, проверка по критериям надежность, валидность, адекватность.
III этап – разработка программы ЭВМ для обработки полного массива публикаций, относящихся к динамическим объектам (автор, научная группа, научная организация, научные журналы).
Ожидаемый результат проекта и его практическая значимость:
1. Формирование и стабилизация БД организации по полному массиву публикаций.
2. Построение модели и автоматизированной системы рейтинговой оценки результативности научно-инновационной деятельности.
3. Программа развития научно-инновационного потенциала организации (положение об аттестации НПР, положение о материальном стимулировании, формирование дорожной карты организации).
Практическая значимость проекта:
1. Научно-техническая продукция (Свидетельство о регистрации базы данных).
2. Научно-техническая продукция (Патент на полезную модель).
3. Научно-техническая продукция (Программа ЭВМ).
Значимость ожидаемых результатов для медицинской науки:
1. Объективизация оценки научно-инновационной деятельности по совокупности индикаторов, влияющих на конечный результат.
2. Инновационный менеджмент и прогнозирование развития организации.
Заключение
Проблема не в том, будут ли измерены университеты в публично финансируемых исследованиях и рейтингах. Проблема в том, будут ли эти системы измерения обеспечивать мотивацию и действенные меры по увеличению результативности научно-инновационной деятельности и потенциала организации.
Успех организации обеспечивается путем улучшения их эффективности, результативности и общей производительности. Первым шагом для академического сообщества, является признание необходимости действовать сообща, прежде чем они сталкиваются с непредсказуемыми последствиями, навязанные извне оценками и позиционирования системы сомнительного авторитета и значения.
Библиографическая ссылка
Вялков А.И., Глухова Е.А., Бастрон А.С., Мартынчик С.А. РАЗРАБОТКА ПОЛЕЗНОЙ МОДЕЛИ «АНАЛИТИЧЕСКАЯ СИСТЕМА ОЦЕНКИ РЕЗУЛЬТАТИВНОСТИ И ПОТЕНЦИАЛА НАУЧНО-ИННОВАЦИОННОЙ ДЕЯТЕЛЬНОСТИ» УНИВЕРСИТЕТА МЕДИЦИНСКОГО ПРОФИЛЯ // Международный журнал прикладных и фундаментальных исследований. – 2015. – № 10-4. – С. 634-637;URL: https://applied-research.ru/ru/article/view?id=7596 (дата обращения: 20.04.2024).