1. классический метод наименьших квадратов для модели множественной регрессии
1. классический метод наименьших квадратов для модели множественной регрессии
Общий вид линейного уравнения множественной регрессии:
где yt — значение i -ой зависимой переменной, i = 1,n; x1;,xki значения независимых переменных; в0, 0n— параметры уравнения регрессии, подлежащие оценке;
єл — случайные ошибки множественного уравнения регрессии.
Чтобы найти оценки неизвестных параметров линейного уравнения множественной регрессии, используется обычный метод наименьших квадратов. Его суть состоит в нахождении вектора оценки в, который минимизировал бы сумму квадратов отклонений (остатков) наблюдаемых значений зависимой переменной y от модельных значений y. рассчитанных на основании построенного уравнения регрессии.
Рассмотрим матричную форму функционала F метода наименьших квадратов:
n
F = Е (Уі — у ) = (Y — Xв)T X (Y — Xв) min,
i=1
Y
— вектор значений зависимой переменной размерности n X 1;
yn
X
1
1 1
— вектор значений независимой переменной размерности n х (k + 1)
Первый столбец является единичным, так как в уравнении регрессии параметр в0 умножается на 1.
Для того чтобы найти минимум функции (F), нужно вычислить частные производные этой функции по каждому из оцениваемых параметров и приравнять их к нулю. Полученная стационарная система уравнений может быть записана как:
fe = 0
F = 0,
где
в=
в1
— вектор оцениваемых параметров уравнения регрессии.
Общий вид стационарной системы уравнений
можно записать как:
— = 2 XTY + 2 XTX в = 0.
В результате решения системы нормальных уравнений получим следующие МНК-оценки неизвестных параметров уравнения регрессии:
Рассмотрим применение метода наименьших квадратов на примере модели множественной линейной регрессии с двумя переменными:
Уі =Л +Axu + Л х2і + £і ,
где і = 1, п.
Для нахождения оценок неизвестных параметров данного уравнения регрессии минимизируем выражение:
F = 2 (У в Х1- 2X2i ) ■
•min.
=1
Стационарная система уравнений для модели множественной линейной регрессии с двумя переменными строится следующим образом:
dF
-т = -2XtY + 2XtX в,,
dF
-^ = -2 XtY + 2XtX в, dF
-^ = -2 XtY + 2 XtX в2.
После элементарных преобразований данной стационарной системы уравнений получим систему нормальных уравнений:
п х~во +в 12 Х + в2 2 х2і = 2 y,
п
|Л 2 хи+в12 х2+А 2 хи х х2і =22y х ^ ,
І=1 i=1
пп п
=1
пп
А 2 х2і +А 2 х1і х х2і +в2 2 х2 =2 yiх Х2і .
Данная система называется системой нормальных уравнений относительно коэффициентов во, в1 и в2 для зависимости
Уі =в, +в1Х1і +в2Х2і +єі .
Система нормальных уравнений является квадратной, т. е. количество уравнений равняется количеству неизвестных переменных, поэтому коэффициенты ва, ві и в г можно найти с помощью метода Крамера или метода Гаусса.
Метод Крамера заключается в следующем. Единственное решение квадратной системы линейных уравнений определяется по формуле:
А j
K =-^-, j = 1,n,
J Д
где A — основной определитель квадратной системы линейных уравнений;
Aj — определитель, полученный из основного определителя путем замены j-го столбца на столбец свободных членов. Если основной определитель системы A равен нулю и все определители Aj также равны нулю, то данная система имеет бесконечное множество решений.
Если основной определитель системы A равен нулю и хотя бы один из определителей Aj также равен нулю, то система решений не имеет.
Метод Гаусса применяется в основном для решения систем линейных уравнений, когда количество неизвестных параметров не совпадает с количеством уравнений.
Однако его используют и для решения квадратных систем линейных уравнений.
Обсуждение Эконометрика.Конспект лекций
Комментарии, рецензии и отзывы