ОЦЕНКИ ЕГЭ КАК ИНДИКАТОР ПОСЛЕДУЮЩИХ АКАДЕМИЧЕСКИХ УСПЕХОВ СТУДЕНТОВ МЕЖДУНАРОДНОЙ ПРОГРАММЫ ПО ЭКОНОМИКЕ

О. О. Замков

Национальный исследовательский университет «Высшая школа экономики»

Мы ставим своей задачей провести эконометрический анализ зависимо­сти последующих успехов студентов Международного института экономики и финансов (МИЭФ) НИУ ВШЭ от их результатов ЕГЭ.

В 2009 г. профильными для МИЭФ считались оценки ЕГЭ по математике, английскому языку, русскому языку. Выпускники МИЭФ получают два дипло­ма бакалавра по экономике, НИУ ВШЭ и Лондонского университета, обучение ведется на английском и русском языках. При этом результаты первого года обучения служат в качестве вступительных для зачисления на международную (внешнюю) программу Лондонского университета. Для этого используются экзамены Advanced Placement Tests американской системы АР.

Оценки по АРТ выставляются по шкале от 1 до 5, для поступления в Лон­донский университет положительной считается оценка 3 и выше. Студенты МИЭФ сдают экзамены АРТ по математическому анализу (Calculus AB), ста­тистике, микроэкономике и макроэкономике. Для поступления нужно получить по крайней мере две положительных оценки из трех (оценки по микро- и мак­роэкономике агрегируются).

По итогам этих экзаменов мы будем рассматривать переменную PASS_UL, равную единице при выполнении требований Лондонского университета и нулю в противном случае. По каждому предмету в МИЭФ выставляются оцен­ки за год по 100-балльной шкале, агрегирующие все текущие, промежуточные и финальные оценки.

Мы будем рассматривать итоговые оценки по четырем предметам АРТ, это CALC_FIN (математический анализ), STAT_FIN (статистика), MIC_FIN (микроэкономика), MAC_FIN (макроэкономика). Естественно, эти оценки фор­мируются как в зависимости от начального уровня знаний студентов, так и, что не менее важно, от их усилий в течение учебного года. Для конечного резуль­тата имеют значение способности студентов, их мотивированность, социальные условия, здоровье и другие факторы. Мы не будем здесь непосредственно вво­дить переменные для измерения этих факторов (какими могли бы быть, напри­мер, различные известные показатели способностей, получаемые на основе спе­циального тестирования, и т.п.). Вместо этого мы будем использовать заме­щающие переменные, агрегирующие в себе как показатели способностей, так и мотивации и усилий студента. В виде таких замещающих контрольных пе­ременных в модель включаются интегрированные показатели успехов студен­тов в изучении отдельных предметов в определенные периоды, причем пред­почтение отдается тем предметам, которые не изучались студентами ранее и отличны от предметов, представленных зависимыми переменными. Могут рас­сматриваться и другие объясняющие контрольные переменные, характеризую­щие, например, пол студента, место его проживания (Москва - регионы), нали­чие медали и т.п. В результате объясняющие переменные модели можно разде­лить на две группы: переменные, характеризующие начальный уровень знаний студентов, и переменные, отражающие эффективность их усилий в течение учебного периода.

Основными объясняющими переменными, интересующими нас в данной работе, будут оценки ЕГЭ по 100-балльной шкале: EGE_M (математика), EGE_E (английский язык), EGE_R (русский язык). Выборка включает 137 студентов, число наблюдений, включаемых в конкретные спецификации, указывается в распечатках. Предварительные расчеты были проведены также по результатам студентов, зачисленных в МИЭФ в 2010 и 2011 гг. По набору 2010 г. резуль­таты расчетов оказались в целом аналогичными представленным в данной ста­тье.

Вначале мы рассмотрим зависимость годовой оценки по математическо­му анализу (CALC_FIN) от оценок ЕГЭ и контрольных переменных. В отличие от трех других предметов, для математического анализа среди экзаменов ЕГЭ есть непосредственно относящийся к той же области знаний экзамен по мате­матике. Мы добавляем также переменную ENT_ICEF_MATH, показывающую результат входного тестирования МИЭФ по математике (перед началом учеб­ного года МИЭФ проводит собственное тестирование, с учетом непосредст­венно требующихся в учебном процессе математических знаний). Это тестиро­вание сопоставимо с ЕГЭ по уровню требований и системе оценивания, хотя содержание экзамена в определенной мере различно. Ниже приведена распе­чатка оценивания зависимости с помощью программы Econometric Views.

Dependent Variable: CALC_FIN.

Included observations: 110.

По результатам оценивания мы видим, что для последующих успехов в изучении математического анализа значимыми являются оценки ЕГЭ по мате­матике, а также оценки собственного математического входного теста МИЭФ.

семестр, и MAC_05, показывающая оценку по макроэкономике за тест в начале мая, проведенный непосредственно перед началом экзаменов APT. Нужно при этом иметь в виду, что и статистика, и макроэкономика были новыми предме­тами для большинства студентов МИЭФ и поэтому отражают преимущественно эффективность их учебных усилий в соответствующие периоды учебного года, а не уровень начальной подготовленности. Переменная STAT_01 характеризует эффективность учебных усилий студентов в первом семестре, а MAC_05 - во втором; эти переменные, как замещающие, интегрируют в себе и ряд других факторов - от некоторых важных видов способностей студентов до их усилий в определенных видах учебной деятельности - самостоятельной работе, выпол­нении домашних заданий и др. В них же, очевидно, отражается и способность студентов обучаться на английском языке, ибо все рассматриваемые нами дис­циплины изучаются на английском языке, на нем же сдаются и все внешние и внутренние экзамены. Это объясняет, видимо, тот факт, что переменная EGE_E не является в модели значимой, что, в свою очередь, говорит о том, что экзамен ЕГЭ по английскому языку в недостаточной степени проверяет способность сту­дента проходить в дальнейшем профессиональное обучение на языке.

После исключения незначимых переменных (они незначимы и как группа, как это показывает F-тест) получаем следующую модель.

Dependent Variable: CALC_FIN.

Included observations: 110.

Из данной модели можно сделать вывод о том, что, во-первых, оценка ЕГЭ по математике является высокозначимым фактором, определяющим по­следующие успехи студента в изучении математического анализа, по крайней мере - не меньше, чем специально построенный «входной» тест МИЭФ. Во- вторых, начальный уровень подготовленности студентов и их усилия в течение

учебного года примерно в равной степени объясняют итоговый годовой ре­зультат студента по данной дисциплине. Об этом говорит тот факт, что при оди­наковой шкале (0-100) измерения всех четырех объясняющих переменных сумма коэффициентов двух первых переменных, отражающих начальный уровень ма­тематической подготовки, примерно равна сумме коэффициентов двух послед­них переменных, служащих замещающими для эффективности усилий в течение учебного года. Заметим, что в качестве замещающих переменных для эффек­тивности учебных усилий в первом и втором семестрах были опробованы и другие переменные, аналогичные CALC_01 и MAC_05 (относящиеся к другим предметам), но существенной разницы в результатах оценивания это не дало. Коэффициент детерминации во всех приведенных, как и других, спецификаци­ях модели равен примерно 0,75, что достаточно высоко для модели, построен­ной по данным перекрестной выборки.

Далее построим аналогичную модель для курса статистики. Отличие дан­ного предмета от математического анализа в МИЭФ заключается в том, что он не изучался в какой-либо форме в средней школе, и его содержание, методы и подходы являются новыми для студентов. У статистики нет непосредствен­ного «предшественника» среди дисциплин ЕГЭ (хотя априори можно предпо­ложить важной для нее школьную математику). Можно ожидать и значимость для курса статистики английского языка, поскольку экзамен АРТ по статистике предъявляет достаточно серьезные языковые требования, и важность хорошего владения английским языком для изучения курса статистики в МИЭФ уже была ранее установлена, в том числе эконометрическими методами. Являются ли здесь хорошими индикаторами для начального уровня оценки ЕГЭ по мате­матике и английскому языку, покажет последующий анализ.

После исключения незначимых переменных ЕГЭ (они незначимы и как группа) получаем следующие результаты.

Dependent Variable: STAT_FIN.

Included observations: 112.

Уровень коэффициента детерминации здесь, как и в предыдущих специ­фикациях, примерно 0,75. Высокая значимость для успехов в статистике оценки ЕГЭ по русскому языку, видимо, потребует отдельного дополнительного ана­лиза. Можно лишь предположить, что этот экзамен ЕГЭ отражает общий уро­вень культуры студентов, ее широту, которая не нашла должного отражения в других оценках ЕГЭ, но крайне важна для достижения успехов в изучении но­вого для них предмета статистики, впитавшего в себя различные аспекты зна­ний и навыков, т.е. человеческой культуры в широком смысле.

Далее мы рассмотрим аналогичные модели для курсов микроэкономики и макроэкономики. Эти предметы являются новыми для части студентов, в то время как другая часть изучала их в школе, на подготовительных курсах или самостоятельно. Среди предметов, по которым для поступления в МИЭФ ис­пользуются оценки ЕГЭ, непосредственных «предшественников» профессио­нальных экономических дисциплин нет. В начальной спецификации для ито­говой годовой оценки по микроэкономике присутствуют все три оценки экза­менов ЕГЭ, а также контрольные переменные STAT_01 и MAC_05 (аналогич­ные контрольные переменные, например, CALC_01 и MAC_04, дают практи­чески те же результаты с содержательной точки зрения). Несомненно, и мате­матика, и английский, и русский языки важны при изучении экономических дисциплин, но в нашей спецификации все три соответствующие переменные оказались незначимыми. То есть можно сказать, что экзамены ЕГЭ проверяют либо те аспекты знаний по указанным предметам, которые в дальнейшем мало востребованы при изучении микроэкономики, либо те аспекты, которые еще лучше улавливаются в переменных академических результатов студентов в про­цессе обучения, STAT_01 и MAC_05.

Исключим незначимые переменные ЕГЭ.

Dependent Variable: MIC_FIN.

Included observations: 126.

В данной модели переменные ЕГЭ отсутствуют, остаются лишь замеща­ющие контрольные переменные для эффективности учебных усилий студен­тов в первом и втором семестрах. В то же время коэффициент детерминации здесь даже выше, чем для рассмотренных выше моделей, и превышает 0,77.

В аналогичной модели для курса макроэкономики в качестве индикатора эффективности учебных усилий в течение года «своя» переменная МАС_05 или МАС_04 использована уже быть не может, поэтому с данной целью была использована оценка за экзамен АРТ по микроэкономике. Поскольку эта оценка из 5 баллов, а не из 100, соответствующим получился и ее коэффициент - 8,68. Данная величина коэффициента соответствует примерно 0,4-0,45 в случае пе­рехода к 100-балльной шкале. Из оценок ЕГЭ значимой для курса макроэко­номики, как и ранее для статистики, оказалась лишь оценка по русскому языку. И, как и ранее, интерпретация этого может быть той же, что и ранее - видимо, экзамен ЕГЭ по русскому языку отражает широкий спектр навыков и позна­ний, полученных в ходе школьного обучения, важных для изучения новых предметов и не учитываемых другими переменными. В данной спецификации снова весьма высок коэффициент детерминации (0,78).

Переменные ЕГЭ незначимы, исключим их.

Dependent Variable: MAC_FIN.

Included observations: 122.

В заключение была также оценена модель двоичного выбора (логит-мо­дель) для функции поступления в Лондонский университет. Она описывает уже не итоговые оценки по отдельным предметам, а один из основных обобщающих результатов обучения на первом курсе МИЭФ. Двоичная переменная PASS_UL равна единице, если данный студент выполнил требования Лондонского уни­верситета, описанные выше (оценка не ниже трех из пяти по крайней мере по двум предметам из трех), и равна нулю в противном случае. В качестве объяс­

няющих переменных взяты три оценки ЕГЭ, а также, как замещающие конт­рольные переменные, результаты за первый семестр по трем предметам АРТ (макроэкономика изучается только во втором семестре) и оценка майского теста МИЭФ по макроэкономике.

Из оценок ЕГЭ здесь вновь значимой оказалась лишь оценка по русскому языку, а из оценок за первый семестр наиболее показательной оказалась оценка по математическому анализу. Исключим из модели незначимые переменные.

Dependent Variable: PASS_UL.

Method: ML - Binary Logit (Quadratic hill climbing). Included observations: 112.

Оценка ЕГЭ по русскому языку оказалась здесь значимой, поскольку она значима для успехов в изучении статистики, микроэкономики и макро­экономики (как это показано выше), а именно эти три предмета представляют собой «узкое место» при поступлении в Лондонский университет (экзамен АРТ по математическому анализу студенты МИЭФ сдают наиболее успешно, и он таковым «узким местом», определяющим поступление или непоступление студента в Лондонский университет, не является). В то же время результаты за первый семестр по математическому анализу являются наиболее значимыми для последующих успехов студента, поскольку этот предмет изучается в пер­вом семестре наиболее интенсивно и закладывает, кроме того, базу для даль­нейшего изучения статистики и экономических дисциплин.

Таким образом, эконометрический анализ значимости оценок ЕГЭ (для набора 2009 г.) для последующего академического прогресса студентов МИЭФ дал неоднозначные результаты. Оценка ЕГЭ по математике важна для успе­

хов в последующем изучении студентом математических дисциплин, наряду с эффективностью его дальнейших учебных усилий. В то же время для изу­чения новых, как количественно-инструментальных, так и профессиональных экономических дисциплин, разница в оцениваемых с помощью данного экзаме­на знаний и навыков уже не так существенна.

Тот факт, что оценки экзамена ЕГЭ по английскому языку оказались в наших расчетах незначимыми для последующих успехов в изучении основных учебных дисциплин программы МИЭФ на английском языке, заслуживает внимания и более подробного изучения. Тут нужно иметь в виду, что студенты первого курса МИЭФ набора 2009 г. имели весьма высокий средний балл ЕГЭ по английскому языку (около 90 баллов, при стандартном отклонении около 7), и практически все их оценки находились в диапазоне от 80 до 100 баллов. По­этому можно говорить о влиянии на последующие успехи не оценок ЕГЭ во­обще, а только оценок в рамках данного диапазона.

Неожиданно значимым для широкого спектра предметов оказался резуль­тат ЕГЭ по русскому языку. Можно предположить, что этот экзамен эффекти­вен для проверки на входе определенного набора знаний и навыков, не прове­ряемых другими формами входного вузовского контроля, но важных для по­следующей учебы. Это, например, широта образования студента, в том числе гуманитарного, его умение читать и осмысливать прочитанное, писать различ­ные тексты и т. п. Как и в других случаях, проведенный анализ может относить­ся лишь к тому диапазону, в котором лежат оценки первокурсников МИЭФ (в случае ЕГЭ по русскому языку для набора 2009 г., при среднем балле около 80 и стандартном отклонении около 8, это диапазон порядка 65-95 баллов).

В целом проведенный анализ может дать полезный материал для разви­тия процедур отбора студентов, а также критериев предоставления, например, скидок по оплате обучения, не только в МИЭФ НИУ ВШЭ, но и на других факультетах и в других вузах по результатам экзаменов ЕГЭ, с использованием также наличия и индикаторов других достижений абитуриентов.

Литература

Замков О. О. Эконометрический анализ факторов академических достиже­ний студентов в МИЭФ НИУ ВШЭ (на примере курса эконометрики). Доклад на XII Международной научной конференции по проблемам развития экономики и общества. М.: НИУ ВШЭ, 2011.

Канторович Г.Г., Македонский А.Л., Замков О.О. Влияние результатов ЕГЭ на успеваемость студентов на примере НИУ ВШЭ. Доклад на научном семинаре ИНИИ НИУ ВШЭ 3 марта 2011 г. (Видеозапись: http://cinst.hse.ru/news/27397119.html)

Пересецкий А.А., Давтян М.А. Эффективность ЕГЭ и олимпиад как инстру­мента отбора абитуриентов // Прикладная эконометрика. 2011. 3(23).

Пересецкий А.А., Давтян М.А. Эффективность ЕГЭ и олимпиад как инстру­мента отбора абитуриентов. Доклад на Научном семинаре ЛИУ НИУ ВШЭ, 26 ян­варя 2012 г. (http://video.edu.ru/files/video/760/HSE_2012_01_26.pdf)

Польдин О.В. Прогнозирование успеваемости в вузе по результатам ЕГЭ // Прикладная эконометрика. 2011. 1(21).

Lockshin J., Zamkov O. Predictors of Academic Achievement and their Possible Ap­plications. Presented at the International Conference on Education, Economy & Society. Paris, 2008.