Интерес и спрос на оценки научных исследований растет на международном уровне. Это связано с динамично эволюционирующими университетами, с растущей подотчетностью, требований управления на национальном и международном уровнях и формирования политики, демонстрации ответственности за инвестирование государственных средств в научных исследованиях [3, 11].
Разработка научно-исследовательских метрик позиционирования медицинского университета соответствует политике интеграции университета в международное научное сообщество, создает условия для обмена результатами исследований, способствует выявлению и актуализации проблем и тенденций в областях знаний, развитию научного сотрудничества [12].
В настоящее время развиваются сопряженные с медицинской наукой передовые научные разработки в области информационно-коммуникационных технологий по определению потенциала университета, оценки результативности и развития исследовательских метрик, требующих стандартизированных данных и нормирования аналитических методов [1, 6].
Целью исследования явилась разработка технического решения (модели, алгоритмов, системы индикаторов, научно-исследовательских метрик), относящегося к программному комплексу для адекватной оценки научной деятельности и управления изменениями, ориентированными на повышение конкурентоспособности и вхождение в предметные мировые рейтинги.
Для этих целей предлагается использовать весь спектр показателей, учитывающих как различия по областям знаний, так и размеры организаций, дополняя их показателями, альтернативными библиометрическим показателям (исследовательская продуктивность, влиятельность исследований, исследовательское превосходство).
Новые механизмы и принципы оценки результативности научной деятельности
Из текста изменения к приказу Министерства образования и науки 2009 года «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» следует, что вводится три новшества в оценке научно-исследовательской деятельности – ее вневедомственный характер, составление «референтных» групп институтов, а также изменение периодичности сбора данных [2].
Первый аспект – вневедомственный характер оценки будет достигаться благодаря созданию Межведомственной комиссии по оценке результативности научных организаций.
Второй аспект – «референтные группы» (группы, служащие своеобразным стандартом, сиcтемой отчета, эталоном, образцом для подражания) и в целом принципы проведения оценки. При этом университеты из «референтной группы» демонстрируют более высокий рост публикационной активности и уровень научных изданий, широкий спектр научных интересов, находятся на более высоких рейтинговых позициях.
Для формирования «референтных групп» из университетов схожего профиля и количества научно-педагогических работников (НПР) требуется экспертный подход, поскольку сделать сопоставимыми области знаний, да еще и учесть характер проводимых работ, и при необходимости – «источники и механизмы финансирования, а также организационно-правовую форму научных организаций» – это очень сложная проблема. Проект по формированию «Корпуса экспертов» – отличный пример того, насколько кропотливой является работа по классификации областей и подобластей знаний.
Третий аспект – периодичность оценки. Данные будут собираться ежегодно, и это названо мониторингом, а оценка проводиться раз в пять лет.
Четвертый аспект – изменение методологии оценки. Вводится глубокая разметка библиографических данных о публикациях, балльная оценка результативности с учетом взвешивающих коэффициентов, детализированной оценкой информации по соавторам, принадлежности к референтным вузам.
Оценка – это характеристики различных структур и инструментов в их соотношении друг с другом. Комплексная оценка: степень, в которой оценка намеревается быть всеобъемлющей, охватывающей широкий спектр потенциальных результатов научных исследований, а не сосредоточенная на ограниченном числе ключевых областей, представляющих интерес [7].
При оценке научно-исследовательской деятельности, измерения могут быть приняты на различных этапах процесса исследований: входные меры, выходные меры, критерии оценки и меры воздействия.
Цели оценки научно-исследовательской деятельности ассоциируются с итогами и результатами и последствиями: продвижение знаний; наращивание потенциала; информирование политики и развития научной продукции; широкие социально-экономические выгоды.
Чтобы быть эффективным, дизайн базы данных зависит от цели оценки: информирование, подотчетность, анализ и обучение, распределение финансовых инвестиций.
Необходимо получить некую объективную меру сравнительной эффективности научной деятельности университетов, которую используют в качестве основы для распределения финансирования, в то время как информирование – это случай для дополнительной поддержки в конкретной области исследования, группы учреждений, или других исследований группировки.
Подходы к разработке базы оценки научных исследований и панели инструментов анализа
При разработке базы оценки научного исследования применяются следующие подходы [5]:
● Количественные подходы (численные результаты) обеспечивает предоставление итоговой меры; при этом итоговая оценка не является исчерпывающей. Как правило, используются суммационные инструменты, которые не требуют толкования, они количественные, масштабируемые, прозрачные, сопоставимые и подходят для продольного исследования. Данные, не требуют суждения или интерпретации и относительно прозрачны, но имеют высокую начальную нагрузку (требуется значительная работа по разработке и внедрению подхода).
● Формирующие подходы (обучение и совершенствование), являются исчерпывающими, оценивая по целому ряду направлений, и гибкими, но не позволяют производить сравнения между учреждениями. Формирующие инструменты, являются гибкими и имеют дело с кросс-дисциплинарной и мультидисциплинарной оценкой. Формирующий подход необходим для того, чтобы показать, «как» и «почему» исследование является эффективным, а не просто обеспечить представление итоговой меры.
Исследования опираются на подходы к использованию логической (концептуальной) модели и формирования сбалансированной системы показателей [10].
Логические модели – графические изображения основных элементов рабочего процесса. Они способствуют систематическому мышлению о программе и ее основных предположениях, и в какой-то степени о других внешних факторов, влияющих на достижение конечных результатов. Логические модели может служить в качестве идеального руководства для планирования, мониторинга и оценки.
Модель описывает, как входы, так и рабочие процессы, связанные с ожидаемыми результатами: выходы, результаты и последствия.
В рамках системы оценки медицинского университета определяются:
– показатели производительности, результативности и экономической эффективности;
– параметры «входы», «процессы» и «выходы»;
– архитектура аналитической системы, базы данных публикаций, аффилированных с учреждением, система управления базой данных;
– автоматизированные инструменты отчетности, включая: разработку клиентской и серверной частей системы, их программирование, разработку инструментария для управления базой данных и для унификации обработки загруженных данных.
Логическая модель – некий фундамент для построения архитектуры системы. Модули – клиентская, серверная части системы, автоматизированные инструменты отчетности, СУБД. Полезная модель направлена на техническое решение, относящееся к компьютерному (программному) устройству в целях получения результата – автоматизированной оценки результативности научной деятельности и потенциала организации на полном массиве публикаций объекта исследования (автор, структурное подразделение, научная организация, научный журнал).
Использование стандартного протокола оценки позволяет оценить четыре аспекта научного исследования: качество (международное признание и инновационный потенциал); производительность (научный выход); последствия (научные и социально-экономические последствия); устойчивость и возможность (перспективы на будущее).
Система охватывает следующие пять компонентов: установка приоритета исследований, финансирование исследований, управления исследованиями, развитие потенциала исследований и проведение научно-исследовательской деятельности, внутренние процессы и взаимодействия с внешними сторонами.
Оценка производится на основе следующих ключевых элементов: количество результатов исследований; качество результатов исследований; влияние результатов исследований; устойчивость исследовательской среды.
Количество результатов исследований – метрики публикационной активности (показатели продуктивности в зависимости от числа публикаций на автора; наблюдаемые показатели воздействия, основанные на цитатном анализе; ожидаемые показатели воздействия, основанные на импакт-факторе журналов, в которых были опубликованы статьи).
Однако действующей системы метрик свойственны ограничения в оценке результативности научной деятельности, так использование количественных методов не дает возможности оценить качественный уровень работы исследователя.
В системе оценки результативности научных исследований используются современные метрики [8, 9]:
– SNIP (Source Normalised Impact per Paper) – журнальный индикатор нового поколения; нормализованный показатель с учетом предметной области; предиктор показателя цитируемости – основного библиометрического компонента рейтингов QS и THE;
– Stability intervals – интервал стабильности, отражает стабильность и надежность показателя. Чем шире интервал стабильность показателя, тем меньше надежность индикатора. Если для конкретного источника SNIP имеют широкий интервал стабильности, показатели имеют низкую надежность этого источника.
– Квартили – Q1-Q4 (ранжированная оценка по уровню журнала);
– Проект РИНЦ – по размещению 1000 лучших российских журналов на платформе WoS c аббревиатурой (RSCI) – Russian Index Science Citation Index.
«Качество» и «совершенство»: мера количества публикаций учреждением, которые находятся в топ-10 процентов мирового распределения. Эта мера была использована для отслеживания тенденций в положении научно-исследовательских университетов и групп на верхних уровнях их соответствующих предметных областях. Тем не менее, понятия «качество» и «превосходство» в оценке исследовательской деятельности сопряжено с трудностями.
В рамках исследования планируется разработка:
– Система оценки результативности авторов и подразделений по набору нормированных и средних значений параметров оценки с переводом в балльную шкалу.
– Разработка полезной модели и алгоритма производится по темпоральным индикаторам оценки, с последующей проверкой по критериям надежность, валидность, адекватность.
– Внедрение нового инструмента управления: информационно-аналитической системы поддержки принятия решений при распределении стимулирующих надбавок, ориентируясь на лучшие международные практики в области развития научных исследований, в частности на методики, разрабатываемые в Центре наук и технологий – CWTS.
Автоматизация и компьютеризация анализа данных потенциально повышает качество и точность исследований. Рабочая гипотеза исследования – формализация измерений по набору показателей публикационной и инновационной (патентной) активности НПР и организации, использование стандартных операций и процедур нормирования, ранжирования и их алгоритмизация повысят объективность и адекватность оценки, устойчивость к изменениям данных [4].
Анализ данных используется для алгоритмизации и извлечения информации и анализа из баз данных, для прогнозирования и описания информации, для кластеризации или сегментирования данных, обобщения информации.
Критерии системы оценки: полезность для спонсоров; совместимость с существующими структурами; возможность международного сравнения; способность определять полный спектр потенциальных воздействий.
К основным характеристикам представления данных исследований и наукометрических метрик относятся: достоверные данные; стандартные определения вывода; транспарентный (прозрачный) анализ; предсказуемые результаты; фокус на результативность и эффективность.
Наукометрические метрики используется для построения карт развития новых мультидисциплинарных областей исследований, а также для измерения научной коллаборации, оценки междисциплинарных исследований через институциональные принадлежности авторов публикации.
Отображение научных исследований: карты цитирования, кластеры публикаций, отражающие характер развития того или иного направления в науке.
Выводы
Новые подходы к оценке эффективности инвестиций в научные исследования направлены на улучшение процесса выработки политики, обеспечение подотчетности и привлечение финансирования.
Разработка системы оценки имеет две основные цели. Во-первых, направленность на реализацию механизма, с помощью которого обеспечивается создание надежной и точной записи сотрудников учреждений. Во-вторых, измерение влияния науки на экономику результатов, генерации знаний, и результаты, развитие науки, технологий и инновационной политики. Разработка рассчитана на минимизацию нагрузку на учреждения в процессе участия за счет автоматизации процессов.
Включение международных стандартов данных предусматривает использование дополнительных видов бенчмаркинга.
Используется интегрированный процесс оценки в рамках всех научно-исследовательских подразделений, программ и вуза в целом.
Система оценки отражает:
● производительность (качество, количество, последствия исследования) – оценка текущего состояния деятельности научно-исследовательского подразделения;
● международная стратегия и инновационный потенциал – управление, развитие научных коллективов;
● качество (оригинальность, качество, перспективы) – перспективы и возможности.
На уровне университета, оценка фокусируется на политике и стратегии, с упором на улучшение, в то время как оценка на уровне программы фокусируется на эффективности и подотчетности.
Библиографическая ссылка
Вялков А.И., Глухова Е.А., Мартынчик С.А. РАЗРАБОТКА НАУЧНО-ИССЛЕДОВАТЕЛЬСКИХ МЕТРИК ПОЗИЦИОНИРОВАНИЯ МЕДИЦИНСКОГО УНИВЕРСИТЕТА, ГАРМОНИЗИРОВАННАЯ С МЕЖДУНАРОДНЫМИ ТРЕБОВАНИЯМИ // Международный журнал прикладных и фундаментальных исследований. – 2015. – № 12-4. – С. 629-632;URL: https://applied-research.ru/ru/article/view?id=7992 (дата обращения: 25.04.2024).