КАРТИНА ВУЗОВ В СВЕТЕ ДАННЫХ ИЗ СТРУКТУРИРОВАННЫХ И НЕСТРУКТУРИРОВАННЫХ ИСТОЧНИКОВ ИНФОРМАЦИИ[16]

И.В. Абанкина,

Ф.Т. Алескеров,

В.Ю. Белоусова,

A.А. Бонч-

Осмоловская,

Т.А. Городенцева, К. В. Зиньковский, Е.А. Князев, Ю.К. Коган,

Д.Л. Огороднийчук,

B.В. Петрущенко

Национальный исследовательский университет «Высшая школа экономики»

Введение

В современном мире управление любыми социально-экономическими объ­ектами, в том числе вузами, тесно связано с оценкой результативности их дея­тельности.

При этом нельзя сказать, что оценка эффективности деятельности рос­сийских вузов - абсолютно новая задача. Определенный опыт и соответствую - щие данные накоплены в оценке ресурсных показателей деятельности вузов [Государственное финансирование... 2008]. В ходе обсуждения предваритель­ных результатов данной работы на научном семинаре Института развития об­разования НИУ ВШЭ эксперты обратили внимание, что такие показатели, как бюджетная обеспеченность в расчете на одного студента или фондовооружен­ность позволяли в недавнем прошлом адекватно сравнивать друг с другом тех­

нические вузы. Однако большие изменения во внешней среде, произошедшие за последнее десятилетие, породили заметные отличия в фактических целях, стратегиях и результатах деятельности даже однотипных вузов [Титова, 2008]. В связи с этим ресурсный подход к оценке эффективности [Холл, 2001], при­влекательный с точки зрения простоты и объективности показателей, но не учитывающий результаты деятельности, вряд ли позволит сегодня надежно сравнивать вузы.

Тем не менее современные рейтинги вузов, достаточно объективно отра­жающие результаты их деятельности, не учитывают фактической разницы в це­лях.

В работе, с одной стороны, проводится оценка того, насколько оптималь­но размещены ограниченные ресурсы университета по отношению к другим вузам. При этом учитываются взаимосвязи использования ресурсов учебного заведения с вопросами качества образования и научной деятельности. С другой стороны, особое внимание уделяется репутации вузов, представляющей собой сложный комплекс характеристик, который в конечном счете оказывает непо­средственное влияние на выбор вуза абитуриентами. Для того чтобы репута­цию разных университетов в количественном измерении можно было сравни­вать, в работе определяется, из каких компонентов складывается репутация и как ее следует измерять, сравнивать вузы на ее основе, как отслеживать ее из­менения.

В развитие данной работы запланировано исследование разных групп ву­зов (выделенных в том числе по географическому расположению, историче­скому и стратегическому типу, экономической модели поведения) и выявле­ние наиболее сильных факторов, оказывающих на них влияние.

Методология и результаты

В работе для сопоставления результативности вузов на основе структури­рованных данных используется метод оболочечного анализа данных (Data En­velopment Analysis - DEA). Он базируется на оценке кусочно-линейной гра­ницы эффективности (целевой эффективности) путем построения огибающих

значений. В качестве целевого ориентира оценивается производительность ин­ститутов с учетом их ресурсной обеспеченности [Coelli et al., 2005].

В исследовании применяются две основные модели DEA: с постоянным и переменным эффектами масштаба, которые часто используются для анализа продуктивности университетов [Coelli, 1996; Johnes, 2006].

В качестве входных параметров в модели A (без учета финансирования) были взяты прокси-переменные для основных факторов производства - труда и основных средств, а именно:

• численность студентов (бюджетный и внебюджетный контингенты);

• доля штатных ППС с ученой степенью (д.э.н. и к.э.н.);

• фондовооруженность.

Выходными переменными (параметрами результата) являются следую­щие показатели функционирования вуза:

• рейтинг качества приема (среднее значение ЕГЭ);

• рейтинг научной и публикационной активности.

В свою очередь, модель B (модель с учетом финансирования) дополняет предыдущую модель (А), поскольку в качестве результата рассматривается объем внебюджетных доходов, которые заработал вуз, по отношению к бюд­жетному финансированию. Кроме этого, в качестве ресурсных параметров оце­нивается финансовая компонента - величина бюджетных расходов. Обе модели показали согласованные результаты. Однако стоит подчеркнуть, что включение в анализ финансовой информации о деятельности вузов позволяет получить более точные оценки эффективности его работы. Кроме того, в этом случае снижается разброс оценок среди всех вузов в выборке (см. табл. 1).

Таблица 1. Анализ эффективности вузов при постоянном

масштабе

Полученные результаты по своей структуре вполне схожи с аналогичны­ми результатами в этой области [Garcia-Aracil, Palomares-Montero, 2008].

Распределение вузов по уровню эффективности

Для оценки репутационной составляющей предлагается решение, осно­ванное на алгоритмах автоматического извлечения и анализа данных из текстов СМИ, которое реализуется в среде OntosMiner. В основе процедур извлечения данных лежат заранее заданные модели - концептуальная модель, определен­ная экспертами, и лингвистическая модель, базирующаяся на анализе реальных контекстов упоминаний вузов. Для построения лингвистической модели были выбраны 10 региональных вузов, не входящих в топ-30 и представляющих разные образовательные направления. Были проанализированы около 4000 кон­текстов, в которых упоминаются вузы. В итоге были выделены основные типы событий, связанных с деятельностью вузов, которые, в свою очередь, были объединены в 11 категорий верхнего уровня. Упоминание вуза в одной из 10 ка­тегорий (образовательный процесс, наука и инновации, социальная деятель­ность, инфраструктура, связь с государством, связь с бизнесом, трудоустрой­ство, студенческая активность, финансы и выпускники) рассматривается как индикатор повышения его рейтинга. Одиннадцатая категория - скандалы - по­нижает репутационный рейтинг вуза.

Для использования моделей агрегирования был осуществлен переход от числовых значений показателя к бинарным сравнениям, так что большие зна­чения исходного показателя для вуза по сравнению с другим соответствуют более высокому рангу в ранжировании по этому показателю . Это привело к

²Для параметра «скандалы» использовались инвертированные данные, иначе говоря, боль­шие значения показателя соответствуют меньшему количеству скандалов.

построению 13 ранжирований, в которых каждый вуз имел ранг от 1 до 5. Далее для вузов было построено результирующее ранжирование по методу Коупленда и методу порогового агрегирования [Алескеров, 2006].

Процедура Коупленда сравнивает только вузы, присутствующие в выборке. Идея процедуры Коупленда состоит в следующем. По ранжированиям строится мажоритарный граф, предпочтение в котором показывает, что вуз 1 предпоч­тительнее вуза 2, если в большинстве (7 из 13) ранжирований вуз 1 имеет более высокий ранг, чем вуз 2. Заметим, что в этой модели предполагается, что пока­затели равноценны. Далее в мажоритарном графе для каждого вуза подсчи­тывается число вузов, менее предпочтительных, чем данный, и число вузов, бо­лее предпочтительных, чем данный. Разность этих чисел дает оценку Коуп­ленда, которая далее служит основанием для ранжирования вузов.

Идея пороговой процедуры состоит в следующем: низкие оценки по од­ному показателю не могут быть «компенсированы» высокими оценками по дру­гим показателям, т.е. вуз, получивший хотя бы одну плохую оценку, даже при остальных хороших оценках в результирующем ранжировании будет ниже (получит худшую оценку), чем вуз, имеющий средние оценки (см. табл. 2).

Таблица 2.

Результаты порогового ранжирования

Для пороговой процедуры (индекс) для 13 параметров и 5 градаций мак­симальное значение индекса равно 2380. Иначе говоря, если бы у нас были всевозможные значения показателей для всевозможных вузов, т.е. все разно­образие оценок от вектора (1, .. .,1) до вектора (5, .. .,5), то согласно этой про­

цедуре всего рангов было бы 2380. Тот факт, что, например, СГТУ получил ранг 1565, означает, что при таких оценках он находится несколько выше сере­дины возможного рейтинга. В то же время ЧГПУ получил рейтинг 252, т.е. среди 10% нижних по уровню оценок. Предложенная процедура позволяет сравнивать место вуза среди всех условных вузов с идеальными оценками (5,.. .,5) и самыми худшими оценками (1,.. .,1). Для пороговой процедуры (ме­сто) полученные оценки служили основанием для построения ранжирования вузов в выборке (см. сопоставление результатов по двум процедурам в табл. 3).

Таблица 3. Результаты расчетов по процедурам: Коупленда III

и пороговой процедуре (5 градаций)

Таким образом, алгоритм автоматического извлечения информации ак­кумулирует сведения о всех событиях каждой категории для рассматриваемого вуза. После применения процедур нормирования данных вуз может быть оха­рактеризован набором индексов, отражающих его рейтинг в каждой из собы­тийных категорий. Таким образом, создается основание для сравнения ре­путаций вузов. Отметим, что автоматическая обработка подобной информации предоставляет возможность гибкой «экспертной» настройки системы: ранжи­рование источников по степени значимости (федеральные vs. региональные), ранжирование событий или типов событий, выделение ключевых событий ре­путационного профиля, свободное увеличение списка рассматриваемых вузов.

Выводы

В работе были получены следующие результаты:

• оценен уровень эффективности работы для каждого вуза с учетом его ресурсной обеспеченности при использовании двух моделей - с постоян­ной и переменной отдачей от масштаба;

• выделено подмножество эталонных эффективных вузов (ориентиров) для неэффективных вузов;

• рассчитаны эффективные цели - оптимальные значения входных и выходных параметров для неэффективных университетов;

• получены репутационные оценки университетов, в основе которых ле­жат не отдельные мнения, а событийная карта за заданный период времени;

• показана общая картина вузов с учетом данных из структурированных и неструктурированных источников информации (на примере 10 университетов).

Стоит особо отметить, что предлагаемая методика оценки результативно­сти работы вуза является транспарентной процедурой: совокупный показатель может быть развернут в ряд компонентов, индивидуальный для каждого вуза. Также формируется новый материал для анализа - вузы с близкими показате­лями по разным категориям могут быть объединены в кластеры.

Литература

Алескеров Ф.Т., Хабина Э.Л., Шварц Д.А. Бинарные отношения, графы и коллективные решения. М.: Изд. дом ГУ ВШЭ, 2006.

Государственное финансирование высшего профессионального образования / Абанкина И.В., Абанкина Т.В., Вавилов А.И. и др. М.: Изд. дом ГУ ВШЭ, 2008.

Титова Н.Л. Путь успеха и неудач. Стратегическое развитие российских вузов. М.: МАКС Пресс, 2008.

Холл РХ. Организации. Структуры. Процессы. Результаты. СП-б.: Питер, 2001.

Экономическое положение вузов в условиях бюджетной реформы, повы­шения автономии и введения ЕГЭ / Абанкина И.В., Абанкина Т.В., Николаенко Е.А. и др. М.: Изд. дом ГУ ВШЭ, 2010.

Coelli T.J., Rao D.S.P., O’Donnell C.J., Battese G.E. An Introduction to Effi­ciency and Productivity Analysis. 2^nded. Springer, 2005.

Coelli T.J. Assessing the Performance of Australian Universities Using Data Envelopment Analysis. Mimeo. Center for Efficiency and Productivity Analysis, Uni­versity of New England, 1996.

Garcla-Aracil A., Palomares-Montero D. Methodological Problems to Measure University Efficiency in Relation with its Geographic Localization. Institute for Inno­vation and Knowledge Management, 2008.

Johnes J. Data Envelopment Analysis and its Application to the Measurement of Ef­ficiency in Higher Education // Economics of Education Review. 2006. № 25. Р. 273-288.