Лекция № 4. оценка дисперсии случайной ошибки регрессии. состоятельность и несмещенность мнк-оценок. теорема гаусса — маркова
Лекция № 4. оценка дисперсии случайной ошибки регрессии. состоятельность и несмещенность мнк-оценок. теорема гаусса — маркова
В большинстве случаев генеральная дисперсия случайной ошибки — величина неизвестная, поэтому возникает необходимость в расчете ее несмещенной выборочной оценки.
Несмещенной оценкой дисперсии случайной ошибки линейного уравнения парной регрессии является величина:
n
2e2
Gє) = Sє) = (1) n — 2
где n — объем выборки;
ei — остатки регрессионной модели:
et = Уі — y = Уі — р 0 — Р1 xi. Оценка дисперсии, вычисляемая по формуле (1), также называется исправленной дисперсией.
В случае множественной линейной регрессии оценка дисперсии случайной ошибки вычисляется по формуле:
n
2 *
где k — число оцениваемых параметров модели регрессии.
Оценкой матрицы ковариаций случайных ошибок Cov(e) будет являться оценочная матрица ковариаций:
С(е) = Si 2(£)xln, (2)
где In — единичная матрица.
Оценка дисперсии случайной ошибки уравнения регрессии подчиняется х2 (хи-квадрат) закону распределения с (n — k — 1) степенями свободы, где k — число оцениваемых параметров.
Докажем несмещенность оценки дисперсии, т. е. необходимо доказать, что E(S2 (є)) = G 2(е).
Примем без доказательства следующее выражения: E(S 2(є)) = — XG2(є),
S2(є) = -nXS 2(є), n— 1
где G2(e) — генеральная дисперсия случайной ошибки;
S2(e) — выборочная дисперсия случайной ошибки;
Si 2(є) — выборочная оценка дисперсии случайной ошибки. Тогда:
E(s 2(є)) = е( -пX S 2(є)) = -пE(s 2(е)) = nn — 1
-X XGє) = Gє),
n1 n
что и требовалось доказать.
Таким образом, S2(є) является несмещенной оценкой для G2(e).
Теоретически можно предположить, что оценка любого параметра регрессии, полученная методом наименьших квадратов, состоит из двух компонент:
константы, т. е. истинного значения параметра;
случайной ошибки Cov(x,e), вызывающей вариацию параметра регрессии.
На практике такое разложение невозможно в связи с неизвестностью истинных значений параметров уравнения регрессии и значений случайной ошибки, но в теории оно может оказаться полезным при изучении статистических свойств МНК-оценок: состоятельности, несмещенности и эффективности.
Докажем, что значение МНК-оценки /?, зависит от величины случайной ошибки е.
МНК-оценка параметра регрессии (вх рассчитывается по формуле:
~ = Cov(x, y) Pl G2(x) •
Ковариация между зависимой переменной y и независимой переменной x может быть представлена как:
Cov(x, y) = Cov(x,( (0 + (1x + е)) = Cov(x, (0) + Cov(x, (1x) + Cov (x, є).
Дальнейшие преобразования полученного выражения проводятся исходя из свойств ковариации:
1) ковариация между переменной x и какой-либо константой A равна нулю:
Cov(x, A) = 0, где A = const;
2) ковариация переменной х с самой собой равна дисперсии этой переменной: 2
Следовательно, на основании свойств ковариации можно записать, что:
Cov(x, в0) = 0, так как во = const;
Cov(x, в1 х) = в1 xCov(x, х) = в1 xG 2( х).
Таким образом, ковариация между зависимой и независимой переменными Cov(x, y) может быть представлена в виде выражения:
Cov(x, y) = exG 2{х) +Cov (х, є).
(3)
Из формулы (3) следует, что МНК-оценка в действительно может быть представлена как сумма константы ві и случайной ошибки Cov(x, є), которая и вызывает вариацию данного параметра регрессии.
Аналогично доказывается, что и оценка параметра регрессии в0, полученная методом наименьших квадратов, и несмещенная оценка дисперсии случайной ошибки S2 (є) могут быть представлены как сумма постоянной составляющей (константы) и случайной компоненты, которая зависит от ошибки уравнения регрессии є.
Обсуждение Эконометрика.Конспект лекций
Комментарии, рецензии и отзывы