Лекция № 11. причины возникновения и последствия мультиколлинеарности. устранение мультиколлинеарности

Лекция № 11. причины возникновения и последствия мультиколлинеарности. устранение мультиколлинеарности

Обычно при этом анализируется корреляционная матрица независимых переменных R либо матрица (XіX). Множественный регрессионный анализ всегда должен начинаться с рассмотрения этой матрицы.

Корреляционной матрицей независимых переменных называется симметричная относительно главной диагонали матрица линейных парных коэффициентов корреляции независимых переменных:

1 г-, ••■ r

1

R =

1

где ri— коэффициент парной линейной корреляции между i-м

и j'-ым независимыми признаками, i,j = 1, n.

На диагонали корреляционной матрицы находятся единицы, так как коэффициент корреляции признака с самим собой равен единице.

Если в корреляционной матрице независимых переменных есть парный коэффициент корреляции между i-м и j'-ым признаками, то в данной модели множественной регрессии существует мультиколлинеарность.

Другим способом обнаружения мультиколлинеарности является вычисление собственных чисел корреляционной матрицы Amin и lmax. Если Amin < 1„-5, то в модели присутствует мультиколли-неарность. Если отношение Amin / Amax < 1„-5, то также делают вывод о наличии мультиколлинеарности.

Вывод о присутствие мультиколлинеарности в модели множественной регрессии можно сделать также после вычисления определителя корреляционной матрицы независимых переменных. Если его величина очень мала, то мультиколлинеарность существует.

Устранение мультиколлинеарности

Устранение проблемы мультиколлинеарности является обязательным в том случае, если построенную модель множественной регрессии предполагается использовать с целью изучения экономических связей.

При этом весьма важными являются знаки при коэффициентах уравнения регрессии и их значение.

При удовлетворительной величине ошибки прогноза данное уравнение можно использовать и при наличии мультиколлинеар-ности. Если же прогноз получается неудовлетворительным, то с мультиколлинеарностью нужно бороться.

Одним из самых элементарных способов устранения мульти-коллинеарности является сбор дополнительных данных. Но на практике это не всегда возможно.

Другим способом является преобразование переменных,на-пример вместо значений всех переменных, участвующих в модели (и результативной в том числе), можно взять их логарифмы:

ln y = в0 + в1 ln x1 + в2 ln x2 + е.

Но и это не гарантирует избавления от мультиколлинеарности.

Если ни один из вышеназванных способов не помог, то необходимо использовать либо смещенные методы оценки неизвестных параметров модели, либо методы исключения переменных из модели множественной регрессии.

К смещенным методам оценки коэффициентов регрессии можно отнести гребневую регрессию или ридж (ridge). Ее используют в том случае, когда ни одну из переменных, участвующих в модели, удалить нельзя.

Суть гребневой регрессии заключается в том, что ко всем диагональным элементам матрицы (XX) добавляется небольшое число т (тау): 10-6 < т < 0,1. Неизвестные параметры множественного уравнения регрессии в данном случае определяются по формуле:

вndSe =(XTX + rln)-1 XTY,

где In — единичная матрица.

В результате применения риджа оценки коэффициентов уравнения множественной регрессии стабилизируются к определенному числу, и их стандартные ошибки уменьшаются.

Основным методом исключения переменных из модели является метод главных компонент. В этом случае от матрицы факторных переменных X переходят к матрице главных компонент F, и уже на ее основе строят модель множественной регрессии.

Метод пошагового включения переменных в модель позволяет выбрать из возможного набора переменных именно те, которые усилят качество модели регрессии.

Алгоритм метода пошагового включения:

из числа всех переменных в модель регрессии включаются те, которые имеют наибольший модуль парного линейного коэффициента корреляции с результативной переменной;

при добавлении в модель новых факторов необходимо проверять их значимость с помощью F-критерия Фишера. Основная гипотеза формулируется как нецелесообразность

включения фактора Xk в модель множественной регрессии. Альтернативная гипотеза исходит из обратного утверждения.

Критическое значение F-критерия вычисляется по таблице распределения Фишера—Снедекора с уровнем значимости а и числом степеней свободы: k1 = 1 и k2 = п l : FKpum(a; k1; k2).

Если FHa6/i > FKpum, то включение переменной в модель множественной регрессии является обоснованным.

Kpum'

Проверка факторов на значимость осуществляется до тех пор, пока не найдется хотя бы одна переменная, для которой не выполняется условие F, > F

ЛЕКЦИЯ № 12. Нелинейные по переменным, по параметрам регрессионные модели. Регрессионные модели с точками разрыва

Помимо линейных регрессионных моделей, при изучении социально-экономических связей между различными явлениями применяются также модели нелинейной регрессионной зависимости. Их можно разделить на два класса: модели, нелинейные по переменным, входящим в уравнение, и модели, нелинейные по оцениваемым параметрам.

К нелинейным по переменным регрессионным моделям (но линейным по оцениваемым параметрам) относятся полиномиальные функции различных порядков (начиная со второго) и гиперболическая функция.

Общий вид полиномиальной функции n-го порядка или n-ой степени:

У, =00 + 01 xt + 02 xf + ■■■+ 0nx" + є, .

Полиномиальные функции используются для характеристики процессов с монотонным развитием и отсутствием пределов роста. Поставленному условию отвечают большинство экономических показателей, например натуральные показатели промышленного производства.

Наиболее часто из полиномиальных функций используются полином второго порядка или параболическая функция:

У, =00 +0Л +02 x,2 + е,.

Он характеризует равноускоренное развитие процесса (равноускоренный рост или снижение уровней).

Регрессионные модели, нелинейные по переменным, отличаются тем, что зависимая переменная линейно связана с оце-нивае-мыми параметрами 0О, 0n.

Полиномы высоких степеней (более четвертой степени) использовать при изучении социально-экономических связей между переменными не рекомендуется. Это ограничение основано на том, что полиномы высоких порядков имеют больше изгибов и отразить реальную зависимость результативного признака от факторных переменных практически неспособны.

Характерной особенностью полиномиальных функций является отсутствие явной зависимости приростов факторных переменных от значений результативного признака у.

Гиперболическая функция вида:

у, =в„ + в +et

xi

также отражает линейную связь между зависимой переменной y и параметрамив0 и/Зх, но является нелинейной по факторной переменной x.. Эта гиперболическая функция является равносторонней.

Гиперболоид применяют при изучении зависимости затрат на единицу продукции от объема производства.

Чтобы оценить неизвестные параметрыв0, @п нелинейной регрессионной модели, необходимо привести ее к линейному виду. Суть линеаризации нелинейных по факторным переменным регрессионных моделей заключается в замене нелинейных факторных переменных на линейные переменные. В общем случае полиномиальной регрессии замена нелинейных переменных функции n-го порядка выглядит таким образом:

x Сі, x С~і, x Сі; ... x c .

1' 2' 3' n

Уравнение множественной регрессии можно записать в виде:

у, = в„ + Дx, + в2xf + • ■ + Pnxl + С *

Гиперболическую функцию также можно привести к линейному виду с помощью метода замены нелинейной факторной переменной на линейную. Пусть 1/x = c. Тогда исходное уравнение гиперболической функции можно записать в преобразованном виде:

Уі =в„ + в + С *y =в„ + ЛС +є,.

Полиномиальную функцию любой степени и гиперболоид можно свести к модели линейной регрессии, что позволяет применять к преобразованной линейной модели традиционные методы нахождения неизвестных параметров уравнения регрессии (например, классический метод наименьших квадратов) и методы проверки различных гипотез.