1. состоятельность и несмещенность мнк-оценок

1. состоятельность и несмещенность мнк-оценок

Для того чтобы оценку &., полученную с помощью метода наименьших квадратов, можно было бы принять за оценку параметра &t, необходимо и достаточно, чтобы оценка &j удовлетворяла трем статистическим свойствам: несмещенности, состоятельности и эффективности.

1. -&t называется несмещенной оценкой для параметра &t, если ее выборочное математическое ожидание равно оцениваемому параметру генеральной совокупности, т. е.

(3)

Е$ )-&, = <Р,,

где (pt — смещение оценки.

Докажем, что МНК-оценка Д является несмещенной оценкой параметра Ді для нормальной линейной регрессионной модели. Исходя из предпосылок данной модели, можно записать:

x — неслучайная детерминированная величина;

G2(x) = const — дисперсия независимого признака является известной постоянной величиной;

E(Cov(x,e)) = 0 — случайная ошибка и независимый признак не коррелированы между собой;

Б(є;.) = 0 — математическое ожидание случайной ошибки уравнения равно нулю во всех наблюдениях;

Cov(e1, є2) = Б(е1, є2) = 0 — случайные ошибки уравнения регрессии не коррелированы между собой, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю. Исходя из определения свойства несмещенности необходимо

доказать, что Е (Д )= Д.

Доказательство через ковариационную матрицу:

Е(Д ) = Е|Ді +

Соу(х,є) G 2(x)

I Cov(x, є) { G 2( x)

0

G2(x)

или в развернутом виде

(x -x)

E(x, x): ХЕ (є, )=ДГ

-хє,

Таким образом, МНК-оценка Д является несмещенной оценкой параметра Дх.

Несмещенность МНК-оценки Д0 доказывается аналогично.

Запишем доказательство несмещенности МНК-оценок параметров Ді в матричной форме:

Е(Д ) = Е(( XTX )-1 XTY) = Е[( XtX )Xt (ХД+є) ] = = Е[( XTX)-і XTX Д+( XTX )XT є] = = Д+ ((XTX)-і XTЕ ( є) ) =Д

т. е. е(Д) = Д, что доказывает несмещенность МНК-оценок параметров Д..

2. г?,, является состоятельной оценкой для параметра г?., если она удовлетворяет закону больших чисел (ЗБЧ). Закон больших чисел гласит о том, что с увеличением выборки значение оценки &, стремится к значению параметра &t генеральной совокупности:

P(\#t-&\<в) — 1при n— оо. (4) Это же условие можно записать с помощью теоремы Бернулли:

>&t при n — оо,

т. е. значение оценки г?і сходится по вероятности к значению

параметра §. генеральной совокупности при условии, что объем

выборки стремится к бесконечности.

Для определения состоятельности оценки достаточно выполнения двух условий:

1) <Pi = 0 или <pt — 0 при n — оо — смещение оценки равно нулю

или стремится к нему при объеме выборки, стремящемся

к бесконечности;

2) G2 (г?) — 0 при n — о — дисперсия оценки параметра стремится к нулю при объеме выборки, стремящемся к бесконечности.

Докажем первое условие состоятельности для МНК-оценки / 1 :

*>! = е(/ і) -А =А-ві = 0. Докажем второе условие состоятельности для МНК-оценки:

G 2( в і) = Е( /31 -Аі)2 = Е

У<* Х) хг

22(-)2

=2

-хг

(-)

=Е

[2(-)2]

(-)2 2 G2(-)

хЕ(г2 )=

[2(-, -)21

Докажем состоятельность МНК-оценок параметров / в матричной форме:

Cov( j) = E

(j-j)x(j-jj

= E(( XTX )-1 XT eeTX (XTX =

= (XTX)-1 E( eeT) X( XT X)-1 =G 2( £)( XT X) ~

Таким образом, МНК-оценка j1 подчиняется нормальному закону распределения с математическим ожиданием j1 и дисперсией

А;

(G2(x)/2(X -X)2) / J,N

2>* X )2

или J ~ N(jj; G2(є)(XTX)-21) ,

где индекс 22 указывает на расположение дисперсии параметра j в матрице ковариаций.

Состоятельность МНК-оценки j0 доказывается аналогично.

Величины

s (А 1 н s 2 (*tx )-1

называются оценками стандартных ошибок МНК-оценок А1 и jо

Эффективность МНК—оценок доказывается с помощью теоремы Гаусса—Маркова.

Таким образом, оценки параметров уравнения регрессии и дисперсии случайной ошибки, полученные методом наименьших квадратов, являются оптимальными оценками, т. е. несмещенными, состоятельными и эффективными.