Лекция № 4. оценка дисперсии случайной ошибки регрессии. состоятельность и несмещенность мнк-оценок. теорема гаусса — маркова

Лекция № 4. оценка дисперсии случайной ошибки регрессии. состоятельность и несмещенность мнк-оценок. теорема гаусса — маркова

В большинстве случаев генеральная дисперсия случайной ошибки — величина неизвестная, поэтому возникает необходимость в расчете ее несмещенной выборочной оценки.

Несмещенной оценкой дисперсии случайной ошибки линейного уравнения парной регрессии является величина:

n

2e2

Gє) = Sє) = (1) n — 2

где n — объем выборки;

ei — остатки регрессионной модели:

et = Уі — y = Уі — р 0 — Р1 xi. Оценка дисперсии, вычисляемая по формуле (1), также называется исправленной дисперсией.

В случае множественной линейной регрессии оценка дисперсии случайной ошибки вычисляется по формуле:

n

2 *

где k — число оцениваемых параметров модели регрессии.

Оценкой матрицы ковариаций случайных ошибок Cov(e) будет являться оценочная матрица ковариаций:

С(е) = Si 2(£)xln, (2)

где In — единичная матрица.

Оценка дисперсии случайной ошибки уравнения регрессии подчиняется х2 (хи-квадрат) закону распределения с (n — k — 1) степенями свободы, где k — число оцениваемых параметров.

Докажем несмещенность оценки дисперсии, т. е. необходимо доказать, что E(S2 (є)) = G 2(е).

Примем без доказательства следующее выражения: E(S 2(є)) = — XG2(є),

S2(є) = -nXS 2(є), n— 1

где G2(e) — генеральная дисперсия случайной ошибки;

S2(e) — выборочная дисперсия случайной ошибки;

Si 2(є) — выборочная оценка дисперсии случайной ошибки. Тогда:

E(s 2(є)) = е( -пX S 2(є)) = -пE(s 2(е)) = nn — 1

-X XGє) = Gє),

n1 n

что и требовалось доказать.

Таким образом, S2(є) является несмещенной оценкой для G2(e).

Теоретически можно предположить, что оценка любого параметра регрессии, полученная методом наименьших квадратов, состоит из двух компонент:

константы, т. е. истинного значения параметра;

случайной ошибки Cov(x,e), вызывающей вариацию параметра регрессии.

На практике такое разложение невозможно в связи с неизвестностью истинных значений параметров уравнения регрессии и значений случайной ошибки, но в теории оно может оказаться полезным при изучении статистических свойств МНК-оценок: состоятельности, несмещенности и эффективности.

Докажем, что значение МНК-оценки /?, зависит от величины случайной ошибки е.

МНК-оценка параметра регрессии (вх рассчитывается по формуле:

~ = Cov(x, y) Pl G2(x) •

Ковариация между зависимой переменной y и независимой переменной x может быть представлена как:

Cov(x, y) = Cov(x,( (0 + (1x + е)) = Cov(x, (0) + Cov(x, (1x) + Cov (x, є).

Дальнейшие преобразования полученного выражения проводятся исходя из свойств ковариации:

1) ковариация между переменной x и какой-либо константой A равна нулю:

Cov(x, A) = 0, где A = const;

2) ковариация переменной х с самой собой равна дисперсии этой переменной: 2

Следовательно, на основании свойств ковариации можно записать, что:

Cov(x, в0) = 0, так как во = const;

Cov(x, в1 х) = в1 xCov(x, х) = в1 xG 2( х).

Таким образом, ковариация между зависимой и независимой переменными Cov(x, y) может быть представлена в виде выражения:

Cov(x, y) = exG 2{х) +Cov (х, є).

(3)

Из формулы (3) следует, что МНК-оценка в действительно может быть представлена как сумма константы ві и случайной ошибки Cov(x, є), которая и вызывает вариацию данного параметра регрессии.

Аналогично доказывается, что и оценка параметра регрессии в0, полученная методом наименьших квадратов, и несмещенная оценка дисперсии случайной ошибки S2 (є) могут быть представлены как сумма постоянной составляющей (константы) и случайной компоненты, которая зависит от ошибки уравнения регрессии є.