2.1. метод наименьших квадратов

2.1. метод наименьших квадратов

Рассмотрим задачу «наилучшей» аппроксимации набора наблюдений (х„ у,), і = ],п линейным уравнением (2.2).

На рис. 8 приведены диаграмма рассеяния наблюдений и линия регрессии.

Величина j>, описывается как расчетное значение переменной у, соответствующее х,. Наблюдаемые значения у, не лежат в точности на линии регрессии, т.е. не совпадают с уг

Определим остаток е, в і-м наблюдении как разность между фактическим и расчетным значениями зависимой переменной, т.е.

е, =У,-Уг

Неизвестные значения (а, Ь) определяются методом наименьших квадратов (МНК).

X X,

X

Рис.8

Суть МНК заключается в минимизации суммы квадратов остатков:

Q = Iе? = 1>< Я)2 = Х(Я о bxf -> min.

Здесь (х„ у,) — известные значения наблюдения (числа), (а, Ь) — неизвестные.

Запишем необходимые условия экстремума:

После преобразования получим следующую систему нормальных уравнений:

а + Ьх у,

[ах + Ьх2 = 5су. Решение системы: _ cov(x, у) _ ху ху

• ~ var(*) ~x1-{xf (2.3) а у Ьх.

Линия регрессии (расчетное значение зависимой переменной):

у а + Ьх, или у у Ь(х х).

Линия регрессии проходит через точку (х, у), и выполняются равенства

ё = 0, у = у.

Коэффициент b есть угловой коэффициент регрессии, он показывает, на сколько единиц в среднем изменяется переменная у при увеличении независимой переменной х на единицу.

Постоянная а дает прогнозируемое значение зависимой переменной при х = 0. Это может иметь смысл в зависимости от того, как далеко находится х = 0 ог выборочных значений х.

После построения уравнения регрессии наблюдаемые значения у можно представить как

у і = у і +е,-.

(2.4)

Остатки е,, как и ошибки є,-, являются случайными величинами, однако они, в отличие от ошибок є„ наблюдаемы. Докажем, что cov(j), е) = 0. Действительно, используя равенства

y = a + bx, е-у-а-Ъх, cov(x, у) Z)var(x) = 0, получим

cov(j), е) cov(o + bx, у а bx) 6cov(x, у) b2 var(x) = = 6[cov(x, у) Z)var(x)] = 0. Можно показать, что

Если коэффициент г уже рассчитан, то можно получить коэффициенты (а, Ь) парной регрессии.

Определим выборочные дисперсии величин у, у, е:

var(>') = — УД J, у)2 — дисперсия наблюдаемых значений у;

п

var(j>) = —^(Уі у)2 — дисперсия расчетных значений у;

п

var(e) = — V (е,е)2 = — Уе2 — дисперсия остатков.

п п