2.1. метод наименьших квадратов
2.1. метод наименьших квадратов
Рассмотрим задачу «наилучшей» аппроксимации набора наблюдений (х„ у,), і = ],п линейным уравнением (2.2).
На рис. 8 приведены диаграмма рассеяния наблюдений и линия регрессии.
Величина j>, описывается как расчетное значение переменной у, соответствующее х,. Наблюдаемые значения у, не лежат в точности на линии регрессии, т.е. не совпадают с уг
Определим остаток е, в і-м наблюдении как разность между фактическим и расчетным значениями зависимой переменной, т.е.
е, =У,-Уг
Неизвестные значения (а, Ь) определяются методом наименьших квадратов (МНК).
X X,
X
Рис.8
Суть МНК заключается в минимизации суммы квадратов остатков:
Q = Iе? = 1>< Я)2 = Х(Я о bxf -> min.
Здесь (х„ у,) — известные значения наблюдения (числа), (а, Ь) — неизвестные.
Запишем необходимые условия экстремума:
После преобразования получим следующую систему нормальных уравнений:
а + Ьх у,
[ах + Ьх2 = 5су. Решение системы: _ cov(x, у) _ ху ху
• ~ var(*) ~x1-{xf (2.3) а у Ьх.
Линия регрессии (расчетное значение зависимой переменной):
у а + Ьх, или у у Ь(х х).
Линия регрессии проходит через точку (х, у), и выполняются равенства
ё = 0, у = у.
Коэффициент b есть угловой коэффициент регрессии, он показывает, на сколько единиц в среднем изменяется переменная у при увеличении независимой переменной х на единицу.
Постоянная а дает прогнозируемое значение зависимой переменной при х = 0. Это может иметь смысл в зависимости от того, как далеко находится х = 0 ог выборочных значений х.
После построения уравнения регрессии наблюдаемые значения у можно представить как
у і = у і +е,-.
(2.4)
Остатки е,, как и ошибки є,-, являются случайными величинами, однако они, в отличие от ошибок є„ наблюдаемы. Докажем, что cov(j), е) = 0. Действительно, используя равенства
y = a + bx, е-у-а-Ъх, cov(x, у) Z)var(x) = 0, получим
cov(j), е) cov(o + bx, у а bx) 6cov(x, у) b2 var(x) = = 6[cov(x, у) Z)var(x)] = 0. Можно показать, что
Если коэффициент г уже рассчитан, то можно получить коэффициенты (а, Ь) парной регрессии.
Определим выборочные дисперсии величин у, у, е:
var(>') = — УД J, у)2 — дисперсия наблюдаемых значений у;
п
var(j>) = —^(Уі у)2 — дисперсия расчетных значений у;
п
var(e) = — V (е,е)2 = — Уе2 — дисперсия остатков.
п п
Обсуждение Эконометрика
Комментарии, рецензии и отзывы