2. эффективность мнк-оценок. теорема гаусса—маркова

2. эффективность мнк-оценок. теорема гаусса—маркова

С помощью теоремы Гаусса — Маркова доказывается эффективность оценок неизвестных параметров уравнения регрессии, полученных с помощью МНК.

Нормальная, или классическая, линейная модель парной регрессии (регрессии с одной переменной) строится исходя из следующих предположений:

факторный признак Xi является неслучайной или детерминированной величиной, не зависящей от распределения случайной ошибки уравнения регрессии е;.;

математическое ожидание случайной ошибки уравнения регрессии равно нулю во всех наблюдениях: E(st) = 0, где

i = 1, и;

дисперсия случайной ошибки уравнения регрессии является постоянной для всех наблюдений: D (et) = Е(є2) = G2 = cons?;

случайные ошибки уравнения регрессии не коррелированы между собой, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю: Cov(^, є j) = Е(є. єj) = 0, где j ^ j. Это верно тогда, когда изучаемые данные не являются временными рядами;

основываясь на 3 и 4-м предположениях, добавляется условие о том, что ошибка уравнения регрессии является случайной величиной, подчиняющейся нормальному закону распределения с нулевым математическим ожиданием и дисперсией G2 / єі ~N(0,G2).

Тогда оценки неизвестных параметров уравнения регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещенных оценок, т. е. оценки МНК являются эффективными оценками неизвестных параметров в0, • в„.

Для нормальной линейной модели множественной регрессии теорема Гаусса — Маркова звучит точно так же.

Дисперсии МНК-оценок неизвестных параметров записываются с помощью матрицы ковариаций. Матрица ковариаций МНК-оценок параметров линейной модели парной регрессии выглядит так:

Cov( в):

G 2( в») 0

0 G 2( Д)

где G2(вй) — дисперсия МНК-оценки параметра уравнения регрессии;

G2 (в1) — дисперсия МНК-оценки параметра уравнения регрессии .

Общая формула для расчета матрицы ковариаций МНК-оце-нок коэффициентов регрессии: Cov(в) = G2(є) x (XTX)-1, где G2(є) — дисперсия случайной ошибки уравнения регрессии.

Рассмотрим процесс определения дисперсий оценок коэффициентов линейной модели парной регрессии, полученных с помощью метода наименьших квадратов.

Дисперсия МНК-оценки коэффициента уравнения регрессии в0:

G 2( в 0) =

G 2(є)|

1 + G 2(х),

дисперсия МНК-оценки коэффициента уравнения регрессии ві: -'(>,) =

п X — 2( х)' где — 2(е) — дисперсия случайной ошибки уравнения регрессии е;

—2(х) — дисперсия независимого признака уравнения регрессии;

п — объем выборочной совокупности.

На практике значение дисперсии случайной ошибки уравнения регрессии — 2(е) зачастую неизвестно, поэтому для определения матрицы ковариаций МНК-оценок применяют оценку дисперсии случайной ошибки уравнения регрессии S2(е). В случае парной линейной регрессии оценка дисперсии случайной ошибки будет рассчитываться по формуле:

п

—Є) = S 2(Є):

i=1

п — 2

где Є2 = y — y — остатки регрессионной модели.

Тогда общую формулу для расчета матрицы ковариаций МНК-оценок коэффициентов регрессии на основе оценки дисперсии случайной ошибки уравнения регрессии можно записать следующим образом:

(?(ft) = S 2(є) X( XTX)—

В случае линейной модели парной регрессии оценка дисперсии МНК-оценки коэффициента уравнения регрессии /30:

пп

2

2>2 хї х

S 2( Д) = i=1 i=1

п х(п — 2)х^(х, — х )2

i=1

оценка дисперсии МНК-оценки коэффициента уравнения регрессии Д:

п

S 2( Д) =i=1

п

(п — 2)хї( Xi — х )2

i=1