5.3. линейные регрессионные модели с переменной структурой. фиктивные переменные

5.3. линейные регрессионные модели с переменной структурой. фиктивные переменные

До сих пор мы рассматривали регрессионную модель, в которой в качестве объясняющих переменных (регрессоров) выступали количественные переменные (производительность труда, себестоимость продукции, доход ит. п.). Однако на практике достаточно часто возникает необходимость исследования влияния качественных признаков, имеющих два или несколько уровней (градаций). К числу таких признаков можно отнести: пол (мужской, женский), образование (начальное, среднее, высшее), фактор сезонности (зима, весна, лето, осень) и т. п.

Качественные признаки могут существенно влиять на структуру линейных связей между переменными и приводить к скачкообразному изменению параметров регрессионной модели. В этом случае говорят об исследовании регрессионных моделей с переменной структурой или построении регрессионных моделей по неоднородным данным.

Например, нам надо изучить зависимость размера заработной платы У работников не только от количественных факторов Х, Xi,..., Хп, но и от качественного признака Z (например, фактора «пол работника»).

В принципе можно было получить оценки регрессионной модели

Уі =Ро+Рі*п + +є,-, /= !,...,/!

(5.1)

для каждого уровня качественного признака (т. е. выборочное уравнение регрессии отдельно для работников-мужчин и отдельно — для женщин), а затем изучать различия между ними (см. § 5.4).

Но есть и другой подход, позволяющий оценивать влияние значений количественных переменных и уровней качественных признаков с помощью одного уравнения регрессии. Этот подход связан с введением так называемых фиктивных (манекенных) переменных1, или манекенов (dummy variables).

В качестве фиктивных переменных обычно используются дихотомические (бинарные, булевы) переменные, которые принимают всего два значения: «О» или «1» (например, значение такой переменной Z по фактору «пол»: Z= О для работников-женщин и Z= — для мужчин).

В этом случае первоначальная регрессионная модель (5.1) заработной платы изменится и примет вид:

Л =Ро + + +azn + є,, /=1,..., я, (5.2)

1, если /-й работник мужского пола; О если /-и работник женского пола.

В отечественной литературе используется также термин структурные переменные.

Таким образом, принимая модель (5.2), мы считаем, что средняя заработная плата у мужчин на сц • 1= сц выше, чем у женщин, при неизменных значениях других параметров модели. А проверяя гипотезу Щ: щ = 0, мы можем установить существенность влияния фактора «пол» на размер заработной платы работника.

Следует отметить, что в принципе качественное различие можно формализовать с помощью любой переменной, принимающей два разных значения, не обязательно «О» или «1». Однако в эконометрической практике почти всегда используются фиктивные переменные типа «0—1», так как при этом интерпретация полученных результатов выглядит наиболее просто. Так, если бы в модели (5.2) в качестве фиктивной выбрали переменную Zi, принимающую значения z/i=4 (для работников-мужчин) и z/2=l (для женщин), то коэффициент регрессии си при этой переменной равнялся бы 1/(4—1), т. е. одной трети среднего изменения заработной платы у мужчин.

Если рассматриваемый качественный признак имеет несколько (к) уровней (градаций), то в принципе можно было ввести в регрессионную модель дискретную переменную, принимающую такое же количество значений (например, при исследовании зависимости заработной платы Y от уровня образования Z можно рассматривать к=3 значения: z/i=l при наличии начального образования, z#=2 — среднего и z#=3 при наличии высшего образования). Однако обычно так не поступают из-за трудности содержательной интерпретации соответствующих коэффициентов регрессии, а вводят (к-1) бинарных переменных.

В рассматриваемом примере для учета фактора образования можно было в регрессионную модель (5.2) ввести к — 1=3—1=2 бинарные переменные Z2 и 22ъ

У і = Ро + РЛч + + VpXip + a,zn + a21z/21 + a22z/22 + є,-, (5.3)

если /-и работник имеет высшее образование;

во всех остальных случаях;

если /-и работник имеет среднее образование; во всех остальных случаях.

Третьей бинарной переменной А23, очевидно, не требуется: если /-и работник имеет начальное образование, это будет отражено парой значений z#i = 0, z#2 = 0.

Более того, вводить третью бинарную переменную Z23 (со значениями z/13 = 1, если /-й работник имеет начальное образование; z/23=0 — в остальных случаях) нельзя, так как при этом для любого /-го работника ^/2i+^/22+z/23==l? теПРИ суммировании элементов столбцов общей матрицы плана, соответствующих фиктивным переменным Z21, Z22, Z23, мы получили бы столбец, состоящий из одних единиц. А так как в матрице плана такой столбец из единиц уже есть (напомним (§4.1), что это первый столбец, соответствующий свободному члену уравнения регрессии), то это означало бы линейную зависимость значений (столбцов) общей матрицы плана Х9 т. е. нарушило бы предпосылку 6 регрессионного анализа. Таким образом, мы оказались бы в условиях мультиколлинеарности в функциональной форме (§ 5.1) и как следствие — невозможности получения оценок методом наименьших квадратов.

Такая ситуация, когда сумма значений нескольких переменных, включенных в регрессию, равна постоянному числу (единице), получила название «йитту trap» или «ловушки». Чтобы избежать такие ловушки, число вводимых бинарных переменных должно быть на единицу меньше числа уровней (градаций) качественного признака.

Следует отметить не совсем удачный перевод на русский язык термина «йитту variables* как «фиктивная» переменная. Во-первых, в модели регрессионного анализа мы уже имеем фиктивную переменную X при коэффициенте ро> всегда равную единице. Во-вторых, и это главное — все процедуры регрессионного анализа (оценка параметров регрессионной модели, проверка значимости ее коэффициентов и т. п.) проводятся при включении фиктивных переменных так же, как и «обычных», количественных объясняющих переменных. «Фиктивность» же переменных Zj состоит только в том, что они количественным образом описывают качественный признак.

Рассматриваемые выше регрессионные модели (5.2) и (5.3) отражали влияние качественного признака (фиктивных переменных) только на значения переменной У, т. е. на свободный член уравнения регрессии. В более сложных моделях может быть отражена также зависимость фиктивных переменных на сами параметры при переменных регрессионной модели. Например, при наличии в модели объясняющих переменных — количественной Х и фиктивных Z\, Z12, Z21, Z22, из которых Z\9 Z2 влияют только на значение коэффициента при Х9 a Z21, Z22 — только на величину свободного члена уравнения, такая регрессионная модель примет вид:

У і = Ро + Pl*/1 +Ріі(^іЛі) + Рі2(^12^і) +

+ a21z/21 + a22z/22 + є,, / = 1,..., w.

(5.4)

Модели типа (5.4) используются, например, при исследовании зависимости объема потребления У некоторого продукта от дохода потребителя X, когда одни качественные признаки (например, фактор сезонности) влияют лишь на количество потребляемого продукта (свободный член уравнения регрессии), а другие (например, уровень доходности домашнего хозяйства) — на параметр Pi при X, интерпретируемый как «склонность к потреблению».

► Пример 5.2. Необходимо исследовать зависимость между результатами письменных вступительных и курсовых (на I курсе) экзаменов по математике. Получены следующие данные о числе решенных задач на вступительных экзаменах X (задание — 10 задач) и курсовых экзаменах У (задание — 7 задач) 12 студентов, а также распределение этих студентов по фактору «пол»:

Построить линейную регрессионную модель У по X с использованием фиктивной переменной по фактору «пол». Можно ли считать, эта модель одна и та же для юношей и девушек?

Решение. Вначале рассчитаем уравнение парной регрессии У по X, используя формулы (3.7) — (3.15):

у = -1,437 + 0,815*. (5.5)

По формуле (3.47) коэффициент детерминации щ х = 0,530 , т. е. 53,0\% вариации зависимой переменной У обусловлено регрессией. Уравнение регрессии значимо по /"-критерию, так как

В СООТВеТСТВИИ С (3.48) /=9,4б>/о,05;1;10 = 4,96.

Однако полученное уравнение не учитывает влияние качественного признака — фактора «пол».

Для ее учета введем в регрессионную модель фиктивную (бинарную) переменную Z ,

Ґ1, если і-и студент мужского пола,

где zn= . _

[О если і и студент женского пола.

Полагая, что фактор «пол» может сказаться только на числе решенных задач (свободном члене) регрессии, имеем модель1 типа (5.2):

у, = -1,165+0,743jc+0,466jci. (5.6)

(2,410) (0,053) (0,405) Таким образом, получили регрессионную модель

7 = ^3 + є (5.7)

с общей матрицей плана 2

r 1 1 1 1 1 1 1 1 1 1 lv Х= 10 68867679657 ^1 0100101101 0^ По формуле (4.8) найдем вектор оценок параметров регрессии £=(-1,165; 0,743; 0,466)'.

Так что в соответствии с (4.9) выборочное уравнение множественной регрессии примет вид:

у = -1, 165+0,743jc+0,466z! .

(2,410) (0,053) (0,405) (5.8)

Коэффициент детерминации щх2 = 0,549.

1 Здесь и далее в скобках под коэффициентами регрессии указываются их средние квадратические (стандартные) отклонения.

2 Общая матрица плана X включает все значения переменных, в том числе значения фиктивных переменных ZL

Уравнение регрессии значимо по /"-критерию на 5\%-ном уровне, так как в соответствии с (4.35)

F= 5,48>/Ь,05;2;9 = 4,26.

Из (5.8) следует, что при том же числе решенных задач на вступительных экзаменах X, на курсовых экзаменах юноши решают в среднем на 0,466 « 0,5 задачи больше. На рис. 5.2 показаны линии регрессии Y по X для юношей (при Z=l9 т. е. j> = -l,165+0,743x+0,466-1 или у = -0,699+0,743*) и для девушек (при zi=0, т. е. у = —1,165+0,743х).

Эти уравнения отличаются только свободным членом, а соответствующие линии регрессии параллельны (см. рис. 5.2). Полученное уравнение множественной регрессии (5.8) попрежнему значимо по /"-критерию. Однако коэффициент регрессии осі при фиктивной переменной Z незначим по /-критерию

, _ 0,466 л л г. _ _ ^ч

(ибо / = = 1,15 и t< t0 as .о =2,26), возможно, из-за недоста0,405

В этом также легко убедиться, если вычислить по формуле (4.34) скорректированный коэффициент детерминации, который

уменьшился от значения Rj.x = 0,483 для парной модели (5.5) до значения Rjxz =0,449 для множественной модели (5.6). Следовательно, по имеющимся данным влияние фактора «пол» оказалось несущественным, и у нас есть основания считать, что регрессионная модель результатов курсовых экзаменов по математике в зависимости от вступительных одна и та же для юношей и девушек. ►

Замечание. Если бы в регрессионной модели мы хотели учесть другие факторы с ббльшим, чем две, числом kj градаций, то, как отмечено выше, следовало бы ввести в модель {кг 1) бинарных переменных. Например, если было бы необходимо изучить влияние на результаты курсового экзамена фактора 2^—«тип учебного заведения», оконченного студентом (школа, техникум, ПТУ), то в регрессионную модель (5.6) следовало ввести £/—1=3—1=2 бинарные переменные Z2 и Z22.

У і = Ро + Рл-1 + Щ2п + a2iz/21 + a22zi22 + є,-, (5.9)

fl, если студент окончил школу; [О в остальных случаях;

fl, если студент окончил техникум;

[О в остальных случаях.

Но при этом, конечно, следовало увеличить объем выборки я, так как надежность статистических выводов существенно зависит от отношения объема выборки п к общему числу всех параметров регрессионной модели: чем больше величина отношения п/(р+1), тем точнее соответствующие оценки, тем надежнее статистические выводы.