ОРИГИНАЛЬНОЕ ИССЛЕДОВАНИЕ

Ключевые показатели результативности деятельности научных организаций в сфере здравоохранения за 2011–2015 гг.

Информация об авторах

1 Министерство здравоохранения Российской Федерации, Москва

2 Высшая школа управления здравоохранением,
Первый Московский государственный медицинский университет имени И. М. Сеченова, Москва

Для корреспонденции: Анискевич Анна Сергеевна
Рахмановский пер., д. 3, г. Москва, 127994; ur.xednay@hciveksina.anna

Информация о статье

Вклад авторов в работу: А. С. Анискевич — планирование исследования, анализ литературы, сбор и анализ данных, подготовка черновика рукописи; Р. А. Хальфин — сбор и интерпретация данных, общее научно-методическое руководство.

Статья получена: 10.02.2017 Статья принята к печати: 17.03.2017 Опубликовано online: 14.03.2017
|

Оценка результативности деятельности научных организаций в сфере здравоохранения крайне значима и актуальна для дальнейшего развития научно-исследовательского потенциала России. Важность проведения данного анализа продиктована задачами повышения эффективности на фоне модернизации государственного сектора науки [1, 2]. С другой стороны, современные теоретические и практические разработки и инструменты оценки, применяемые к медицинским научным учреждениям, зачастую не позволяют провести комплексный мониторинг их деятельности.

Особенностью российского методологического подхода к анализу результативности деятельности научных организаций в сфере здравоохранения, в отличие от ряда западных стран, является использование большого числа критериев [3, 4]. Типовая методика оценки, применяемая в России [2], основана преимущественно на количественных, а не на качественных показателях. Для системного мониторинга используют дополнительные критерии, в том числе для учреждений, имеющих коечный фонд. Поскольку результат проведенного анализа непосредственно влияет на принятие решения о финансировании, выявление ключевых критериев представляется особенно актуальным.

Медицинские научные организации имеют характерную специфику деятельности и обладают важными отличиями от остальных учреждений науки [5, 6]. Утвержденные показатели оценки результативности деятельности научных организаций в сфере здравоохранения включают мониторинг следующих направлений:

  • результативность ивостребованность научных исследований;
  • развитие кадрового потенциала;
  • интеграция вмировое научное пространство, распространение научных знаний и повышение престижа науки;
  • ресурсное обеспечение деятельности научной организации.

МАТЕРИАЛЫ И МЕТОДЫ

Исследованы показатели результативности 55 научных организаций, подведомственных Минздраву России, за период 2011–2015 гг.В соответствии с принятой классификацией, научные организации, подведомственные Минздраву России (n = 55), были разделены на имеющие (n = 41) и не имеющие коечный фонд (n = 4), экспертные и социально значимые учреждения (n = 10).

Статистическая обработка выполнена с использованием пакета программ Statistica 10.0. Для проверки статистических гипотез о виде распределения применяли критерий Колмогорова–Смирнова с поправкой Лиллиефорса. Установлено, что во всех случаях данные не подчиняются нормальному закону распределения, поэтому для статистического анализа использованы непараметрические критерии.

Для определения ключевых показателей результативности деятельности научных организаций в сфере здравоохранения были применены критерий Краскела–Уоллиса и медианный тест. Дополнительно проведено сравнение 2011 и 2015 г. по критерию Манна–Уитни и обнаружено, что именно эти показатели достаточно изменяются.

Корреляционный анализ осуществлен с использованием рангового коэффициента корреляции Спирмена. Показатели, меняющиеся в динамике, были включены в корреляционный анализ с фоновыми показателями за 2011 г., поскольку он является начальной точкой отсчета. За уровень статистической значимости был взят p < 0,05. 

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

Большинство научных учреждений, подведомственных Минздраву России, имеют коечный фонд (74,5 %), однако это не упрощает процедуру оценки, поскольку невозможно применить показатели, характеризующие оказание медицинской помощи, к остальным научным организациям. В связи с этим для анализа результативности деятельности учреждений науки, имеющих коечный фонд, применяют дополнительные критерии.

Статистический анализ 5-летней динамики (2011–2015 гг.) критериев результативности позволил выявить 16 ключевых показателей (p < 0,05). Структура выделенных критериев и их доля в общем числе параметров представлены на рис. 1 и рис. 2.

За анализируемый период 2011–2015 гг. выявлены следующие ключевые показатели.

Ключевые показатели результативности и востребованности научных исследований:

  1. Совокупный импакт-фактор журналов, в которых опубликованы статьи организации. Следует отметить, что для показателя отмечена умеренная корреляционная связь с численностью докторов наук (rs= 0,455, p < 0,01), внутренними (rs = 0,449, p < 0,01) и внешними (rs = 0,411 p < 0,01) текущими затратами на научные исследования и разработки, числом публикаций организации в журналах, индексируемых международной базой Web of Science (rs = 0,406, p < 0,01).
  1. Количество использованных результатов интеллектуальной деятельности, переданных по лицензионному договору (соглашению). Выявлена умеренная корреляция показателя с внутренними текущими затратами на научные исследования и разработки, в том числе на поисковые исследования (rs= 0,475, p < 0,01).
  2. Количество использованных результатов интеллектуальной деятельности, внесенных в качестве вклада в уставнойкапитал.
  3. Число малых инновационных предприятий, созданных с участиеморганизации.
  4. Совокупная среднесписочная численность работников малых инновационныхпредприятий.
  5. Совокупный доход малых инновационныхпредприятий.
  6. Финансовая результативность научной организации по источникам дохода. Прослеживается слабая связь с внутренними текущими затратами на научные исследования и разработки (rs= 0,302, p < 0,05), в том числе положительная корреляция с фундаментальными (rs = 0,351, p < 0,01) и отрицательная — с поисковыми (rs = −0,324, p < 0,05) исследованиями.

Ключевой показатель интеграции в мировое научное пространство, распространения научных знаний и повышения престижа науки

Единственным ключевым показателем определено количество обращений (посещаемость) официальных сайтов и (или) страниц организации, размещенных в сети Интернет. Выявлена умеренная корреляция критерия с количеством положительных и нейтральных упоминаний организации в средствах массовой информации федерального уровня (rs = 0,357, p < 0,01), в том числе в интернет-изданиях (rs = 0,325, p < 0,05), и числом публикаций организации в изданиях, индексируемых РИНЦ (rs = 0,339, p < 0,05).

Ключевые показатели ресурсного обеспечения деятельности научной организации:

  1. Стоимость основных средств и нематериальных активов, в том числе зданий и сооружений, машин и оборудования, нематериальных активов. Для показателя выявлена умеренная корреляционная связь с финансовой результативностью научной организации по видам выполненных работ и оказанных услуг, в том числе по товарам, работам и услугам производственного характера (rs= 0,491, p < 0,01).
  2. Внутренние текущие затраты на фундаментальные научные исследования. Отмечена корреляция с финансовой результативностью научной организации по видам выполненных работ и оказанных услуг: по числу исследований и разработок (rs= 0,548, p < 0,01); с численностью работников, выполнявших исследования и разработки (rs = 0,516, p < 0,01), в том числе исследователей (rs = 0,418, p < 0,01), из них кандидатов наук (rs = 0,405, p < 0,01), докторов наук (rs = 0,368, p < 0,01), в возрасте до 39 лет (rs = 0,505, p < 0,01).

Все ключевые показатели ресурсного обеспечения деятельности научной организации взаимосвязаны с финансовой результативностью научной организации по видам выполненных работ, оказанных услуг и по источникам дохода.

Ключевые дополнительные показатели результативности деятельности научной организации:

  1. Число применяемых научных критических технологий из перечня, одобренного Научным советом Минздрава России. Отмечена корреляция показателя с числом публикаций организации в изданиях, индексируемых международной информационно-аналитической системой Scopus (rs= 0,367, p < 0,01), и числом инновационных медицинских технологий, одобренных Научным советом Минздрава России, используемых в учреждении (rs = 0,356, p < 0,01). Прослеживается слабая корреляционная связь с количеством положительных и нейтральных упоминаний организации в средствах массовой информации федерального уровня (rs = 0,295, p < 0,05), в том числе в федеральных печатных изданиях, теле- и радиоСМИ (rs = 0,291, p < 0,05), и численностью исследователей, направленных на работу в ведущие российские и международные научные и научно-образовательные организации (rs = 0,268, p < 0,05).
  2. Доля высококвалифицированных врачей от общего числа врачей. Интересна отрицательная корреляционная взаимосвязь показателя с общим количеством научных, конструкторских и технологических произведений (rs= −0,273, p < 0,05), количеством положительных и нейтральных упоминаний организации в СМИ (rs = −0,311, p < 0,05), финансовой результативностью научной организации по видам выполненных работ и оказанных услуг — по исследованиям и разработкам (rs = −0,308, p < 0,05), и числом подготовленных проектов стандартов, порядков оказания медицинской помощи, клинических рекомендаций и других нормативных актов (rs = −0,276, p < 0,05).
  3. Число инновационных медицинских технологий, одобренных Научным советом Минздрава России, используемых в учреждении. Выявлена корреляция показателя с числом публикаций организации в изданиях, индексируемых Scopus (rs= 0,367, p < 0,01), с количеством созданных результатов интеллектуальной деятельности (rs = 0,406, p < 0,01), в том числе имеющих государственную регистрацию и (или) правовую охрану в Российской Федерации (rs = 0,392, p < 0,01), процентом жителей других регионов, которым была оказана высокотехнологичная медицинская помощь (ВМП) в данном учреждении (rs = 0,360, p < 0,01).
  4. «Федеральность» учреждения: процент жителей других регионов, которым была оказана специализированная медицинская помощь в данном учреждении. Установлена умеренная корреляция показателя с числом жителей других регионов, которым была оказана ВМП (rs= 0,474, p < 0,01), и количеством субъектов Российской Федерации, жители которых пролечены в отчетном году (rs = 0,437, p < 0,01).
  5. Процент расходов на оказание медицинской помощи по ОМС от общих расходов. Показатель коррелирует с количеством созданных результатов интеллектуальной деятельности (rs= 0,350, p < 0,01), в том числе имеющих государственную регистрацию и (или) правовую охрану в Российской Федерации (rs = 0,459, p < 0,01), с финансовой результативностью научной организации по источникам дохода (rs = 0,369, p < 0,01), с внутренними текущими затратами на фундаментальные научные исследования (rs = 0,417, p < 0,01).
  6. Число подготовленных проектов стандартов оказания медицинской помощи, проектов порядков оказания медицинской помощи, клинических рекомендаций (протоколов лечения), других нормативных актов. Выявлена корреляционная связь показателя с числом публикаций организации в изданиях, индексируемых Scopus (rs= 0,384, p < 0,01), с финансовой результативностью научной организации по видам выполненных работ и оказанных услуг, в том числе образовательных услуг (rs = 0,394, p < 0,01), подготовкой специалистов по программам дополнительного профессионального образования по уникальным технологиям по профилю научной организации (rs = 0,449, p < 0,01), процентом жителей других регионов, которым была оказана ВМП (rs = 0,358, p < 0,01).

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Анализ показателей результативности научных организаций, подведомственных Минздраву России, позволил установить 16 ключевых критериев, большинство (43,75 %) из которых характеризуют результативность и востребованность научных исследований.

Наукометрический анализ, представляющий особую важность для системной оценки [7, 8, 9], выявил, что среди анализируемых критериев (число публикаций организации в изданиях, индексируемых РИНЦ, Web of Science, Scopus; совокупная цитируемость публикаций организации и др.) именно совокупный импакт-фактор журналов, в которых опубликованы статьи организации, является ключевым показателем. Вероятно, это связано с более осознанным выбором изданий, поскольку публикации в высокорейтинговых журналах, в том числе иностранных, повышают не только цитируемость авторов, но и заинтересованность зарубежных коллег российскими исследованиями и дальнейшим сотрудничеством.

Инновационная модель развития российской науки подразумевает ее более тесную взаимосвязь с экономическим сектором [10]. На этом фоне особая роль принадлежит малым инновационным предприятиям и ключевым показателям, отражающим их деятельность. Однако за изученный период 2011–2015 гг. медицинские учреждения науки практически не проявляли интереса к коммерциализации интеллектуальной продукции. Установлено, что только 14,5 % организаций, имеющих коечный фонд, создали малые инновационные предприятия.

Стандартная оценка кадрового потенциала научных организаций в сфере здравоохранения включает четыре количественных показателя, ни один из которых не является ключевым. Отсутствие качественных факторов и разная значимость исследуемых параметров создают препятствия полноценному анализу. Для эффективной оценки кадрового потенциала, согласно ряду исследователей [5, 11], необходим системный подход, включающий мониторинг профессиональной компетентности, обучаемости, условий и размера оплаты труда и многих других показателей.

Поскольку результативность учреждений напрямую зависит от выполняемых исследований и других работ, связанных с основной деятельностью организации, а также от соответствия состояния отечественной науки современному мировому уровню [12, 13, 14, 15], необходима разработка качественных критериев для данного направления.

За рассматриваемый период 2011–2015 гг., несмотря на уменьшение упоминаний научных организаций в средствах массовой информации, установлено резкое повышение посещаемости официальных сайтов медицинских научных учреждений. Предположительно, это связано с возросшей интернет-активностью заинтересованных лиц.

Использование дополнительных критериев оценки результативности деятельности научных организаций в сфере здравоохранения доказало свою целесообразность — они составили 37,5 % общей доли ключевых показателей. Интересно отметить связь критерия, отражающего число применяемых научных критических технологий из перечня, одобренного Научным советом Минздрава России, с числом публикаций организации в изданиях, индексируемых международной информационно-аналитической системой Scopus и с численностью исследователей, направленных на работу в ведущие российские и международные научные и научно-образовательные организации.

ВЫВОДЫ

При оценке результативности деятельности учреждений науки в сфере здравоохранения за 2011–2015 гг. были установлены 16 ключевых показателей, среди которых особенно значимы критерии, отражающие результативность и востребованность научных исследований.

В ходе оценки подтверждена актуальность дополнительных критериев. Полученные данные наглядно демонстрируют, что для дальнейшего развития научного потенциала организаций крайне важны применяемые научные критические и инновационные медицинские технологии из перечня, одобренного Научным советом Минздрава России, подготовленные проекты стандартов оказания медицинской помощи, проекты порядков оказания медицинской помощи и клинических рекомендаций.

Для учреждений, имеющих коечный фонд, ключевыми дополнительными показателями выступили доля высококвалифицированных врачей, процент жителей других регионов, которым была оказана специализированная медицинская помощь, и процент расходов на оказание медицинской помощи по ОМС.

Показана недостаточность стандартных показателей анализа кадрового потенциала и необходимость в создании не только количественных, но и качественных критериев.

КОММЕНТАРИИ (0)