Глава некоторые вопросы практического использования регрессионных моделей

Глава некоторые вопросы практического использования регрессионных моделей

В предыдущих главах была изучена классическая линейная модель регрессии, приведена оценка параметров модели и проверка статистических гипотез о регрессии. Однако мы не касались некоторых проблем, связанных с практическим использованием модели множественной регрессии. К их числу относятся: мультиколлинеарность, ее причины и методы устранения; использование фиктивных переменных при включении в регрессионную модель качественных объясняющих переменных, линеаризация модели, вопросы частной корреляции между переменными. Изучению указанных проблем посвящена данная глава.

5.1. Мультиколлинеарность

Под мультиколлинеарностью понимается высокая взаимная коррелированность объясняющих переменных. Мультиколлинеарность может проявляться в функциональной (явной) и стохастической (скрытой) формах.

При функциональной форме мультиколлинеарности по крайней мере одна из парных связей между объясняющими переменными является линейной функциональной зависимостью. В этом случае матрица XX особенная, так как содержит линейно зависимые векторы-столбцы и ее определитель равен нулю, т. е. нарушается предпосылка 6 регрессионного анализа. Это приводит к невозможности решения соответствующей системы нормальных уравнений и получения оценок параметров регрессионной модели.

Однако в экономических исследованиях мультиколлинеарность чаще проявляется в стохастической форме, когда между хотя бы двумя объясняющими переменными существует тесная корреляционная связь. Матрица XX в этом случае является неособенной, но ее определитель очень мал.

В то же время вектор оценок b и его ковариационная матрица У в соответствии с формулами (4.8) и (4.16) пропорциональны

обратной матрице (ХХ)~1, а значит, их элементы обратно пропорциональны величине определителя iJf'Jfl. В результате получаются значительные средние квадратические отклонения (стандартные ошибки) коэффициентов регрессии bo, b,..., bp и оценка их значимости по f-критерию не имеет смысла, хотя в целом регрессионная модель может оказаться значимой по f-критерию.

Оценки становятся очень чувствительными к незначительному изменению результатов наблюдений и объема выборки. Уравнения регрессии в этом случае, как правило, не имеют реального смысла, так как некоторые из его коэффициентов могут иметь неправильные с точки зрения экономической теории знаки и неоправданно большие значения.

Точных количественных критериев для определения наличия или отсутствия мультиколлинеарности не существует. Тем не менее имеются некоторые эвристические подход ы по ее выявлению.

Один из таких подходов заключается в анализе корреляционной матрицы между объясняющими переменными Х, Х^,..., Хр и выявлении пар переменных, имеющих высокие коэффициенты корреляции (обычно больше 0,8). Если такие переменные существуют, то говорят о мультиколлинеарности между ними.

Полезно также находить множественные коэффициенты детерминации между одной из объясняющих переменных и некоторой группой из них. Наличие высокого множественного коэффициента детерминации (обычно больше 0,6) свидетельствует о мультиколлинеарности.

Другой подход состоит в исследовании матрицы XX. Если определитель матрицы XX либо ее минимальное собственное значение близки к нулю (например, одного порядка с накапливающимися ошибками вычислений), то это говорит о наличии мультиколлинеарности. О том же может свидетельствовать и значительное отклонение максимального собственного значения Хтах матрицы XX от ее минимального собственного значения

Для устранения или уменьшения мультиколлинеарности используется ряд методов. Самый простой из них (но далеко не всегда возможный) состоит в том, что из двух объясняющих переменных, имеющих высокий коэффициент корреляции (больше 0,8), одну переменную исключают из рассмотрения. При этом, какую переменную оставить, а какую удалить из анализа, решают в первую очередь на основании экономических соображений. Если с экономической точки зрения ни одной из переменных нельзя отдать предпочтение, то оставляют ту из двух переменных, которая имеет больший коэффициент корреляции с зависимой переменной.

Другой метод устранения или уменьшения мультиколлинеар-ности заключается в переходе от несмещенных оценок, определенных по методу наименьших квадратов, к смещенным оценкам, обладающим, однако, меньшим рассеянием относительно оцениваемого параметра, т. е. меньшим математическим ожиданием квадрата отклонения оценки bj от параметра Ру или М (bj— Ру)2.

Оценки, определяемые вектором (4.8), обладают в соответствии с теоремой Гаусса—Маркова минимальными дисперсиями в классе всех линейных несмещенных оценок, но при наличии мультиколлинеарности эти дисперсии могут оказаться слишком большими, и обращение к соответствующим смещенным оценкам может повысить точность оценивания параметров регрессии. На рис. 5.1 показан случай, когда смещенная оценка Ру,

выборочное распределение которой задается плотностью ф(Ру), «лучше» несмещенной оценки bj, распределение которой представляет ПЛОТНОСТЬ ф(6у ) .

Действительно, пусть максимально допустимый по величине доверительный интервал для оцениваемого параметра ру есть

(ру а, ру + а) . Тогда доверительная вероятность, или надежность оценки, определяемая площадью под кривой распределения на интервале (ру а, ру + д), как нетрудно видеть из

рис. 5.1, будет в данном случае больше для оценки ру по сравнению с bj (на рис. 5.1 эти площади заштрихованы). Соответственно средний квадрат отклонения оценки от оцениваемого параметра будет меньше для смещенной оценки, т. е.

л/(р,-р,)2<м(г>,-р,)2.

При использовании «ридж-регрессии» (или «гребневой регрессии») вместо несмещенных оценок (4.8) рассматривают смещенные оценки, задаваемые вектором |3Т = [х'Х + хЕ х ) ~XXY, где т —

некоторое положительное число, называемое «гребнем» или «хребтом», Ер+ — единичная матрица (/?+1)-го порядка. Добавление т к диагональным элементам матрицы Х'Х делает оценки параметров модели смещенными, но при этом увеличивается определитель матрицы системы нормальных уравнений (4.5) — вместо {Х'Х) он будет равен Х'Х + хЕ х .

Таким образом, становится возможным исключение мультиколлинеарности в случае, когда определитель Х'Х близок к нулю.

Для устранения мультиколлинеарности может быть использован переход от исходных объясняющих переменных Х, Х2,..., Хп, связанных между собой достаточно тесной корреляционной зависимостью, к новым переменным, представляющим линейные комбинации исходных. При этом новые переменные должны быть слабокоррелированными либо вообще некоррелированными. В качестве таких переменных берут, например, так называемые главные компоненты вектора исходных объясняющих переменных, изучаемые в компонентном анализе, и рассматривают регрессию на главных компонентах, в которой последние выступают в качестве обобщенных объясняющих переменных, подлежащих в дальнейшем содержательной (экономической) интерпретации.

Ортогональность главных компонент предотвращает проявление эффекта мультиколлинеарности. Кроме того, применяемый метод позволяет ограничиться малым числом главных компонент при сравнительно большом количестве исходных объясняющих переменных.