3.2. предпосылки регрессионного анализа условия гаусса - маркова

3.2. предпосылки регрессионного анализа условия гаусса маркова

Линейная регрессионная модель с двумя переменными имеет вид

у, = а + (к, + є, (/ = 1, п),

где Y— объясняемая переменная, X— объясняющая переменная, є — случайный член.

Для того чтобы регрессионный анализ, основанный на МНК, давал наилучшие из всех возможных результаты, должны выполняться определенные условия (условия Гаусса — Маркова).

Математическое ожидание случайного члена в любом наблюдении должно быть равно нулю, т.е.

М(є,) = 0 (і = Гп).

Дисперсия случайного члена должна быть постоянной для всех наблюдений, т.е.

£(£,) = М(е2) = а2 (і = йг).

Случайные члены должны быть статистически независимы (некоррелированы) между собой, т.е.

л/(є|Єу) = о (|*д

Объясняющая переменная х, есть величина неслучайная.

При выполнении условий Гаусса — Маркова модель называется классической нормальной линейной регрессионной моделью.

Наряду с условиями Гаусса — Маркова обычно предполагается, что случайный член распределен нормально, т.е. є, ~ N(0; а2).

Замечание. Если случайный член имеет нормальное распределение, то требование некоррелированности случайных членов эквивалентно их независимости.

Рассмотрим подробнее условия и предположения, лежащие в основе регрессионного анализа.

Первое условие означает, что случайный член не должен иметь систематического смещения. Если постоянный член включен в уравнение регрессии, то это условие выполняется автоматически.

Второе условие означает, что дисперсия случайного члена в каждом наблюдении имеет только одно значение.

Под дисперсией е>2 имеется в виду возможное поведение случайного члена до того, как сделана выборка. Величина а2 неизвестна, и одна из задач регрессионного анализа состоит в ее оценке.

Условие независимости дисперсии случайного члена от номера наблюдения называется гомоскедастичностью (что означает одинаковый разброс). Зависимость дисперсии случайного члена от номера наблюдения называется гетероскедастичностью.

Таким образом:

D(£j) = a2 (i = 1, п) — гомоскедастичность;

D(Zj) = о2 (i = 1, п) — гетероскедастичность.

Характерные диаграммы рассеяния для случаев гомоскедас-тичности и гетероскедастичности показаны на рис. 9, а и б соответственно.

а)

У I

Рис. 9

Если условие гомоскедастичности не выполняется, то оценки коэффициентов регрессии будут неэффективными, хотя и несмещенными.

Существуют специальные методы диагностирования и устранения гетероскедастичности.

Третье условие указывает на некоррелированность случайных членов для разных наблюдений. Это условие часто нарушается, когда данные являются временными рядами. В случае когда третье условие не выполняется, говорят об автокорреляции остатков.

Типичный вид данных при наличии автокорреляции показан нарис. 10.

Если условие независимости случайных членов не выполняется, то оценки коэффициентов регрессии, полученные по МНК, оказываются неэффективными, хотя и несмещенными.

Существуют методы диагностирования и устранения автокорреляции.

Четвертое условие является особенно важным. Если условие о неслучайности объясняющей переменной не выполняется, то оценки коэффициентов регрессии оказываются смещенными и несостоятельными.

Нарушение этого условия может быть связано с ошибками измерения объясняющих переменных или с использованием лаговых переменных.

В регрессионном анализе часто вместо условия о неслучайности объясняющей переменной используется более слабое условие о независимости (некоррелированности) распределений объясняющей переменной и случайного члена. Получаемые при этом оценки коэффициентов регрессии обладают теми же основными свойствами, что и оценки, полученные при использовании условия о неслучайности объясняющей переменной.

Предположение о нормальности распределения случайного члена необходимо для проверки значимости параметров регрессии и для их интервального оценивания.

ТЕОРЕМА ГАУССА МАРКОВА

Теорема Гаусса — Маркова. Если условия 1—4 регрессионного анализа выполняются, то оценки (а, Ь), сделанные с помощью МНК, являются наилучшими линейными несмещенными оценками, т.е. обладают следующими свойствами:

несмещенность: М(а) = а, М(Ь) = р

(Это означает отсутствие систематической ошибки в положении линии регрессии);

эффективность: имеют наименьшую дисперсию в классе всех линейных несмещенных оценок, равную

~2 2 2

D(a) = -^—, D{b) =

иуаг(х) nvar(x) 3) состоятельность: lim D(a) = 0, lim D{b) = 0.

П—П—><*>

(Это означает, что при достаточно большом п оценки (а, Ь) близки к (а, р).)

Для проверки выводов теоремы воспользуемся оценками {а, Ь) в виде разложения (3.1) и соотношением

cov(x, є) = -У (х, х)(г, є) = х)е, -(х, х) =

п п п

І£(х(-х)є, = -]Г(х,-х)М(є,) = 0,

п J п

Пусть х — неслучайная величина, тогда М[со(х, є)] = М

D[co(x, є)] = D

м

5л

D

п

ІДе,) _ а2

| Л/[соу(х,є)] = р

Вычислим математическое ожидание и дисперсию оценок b и а: cov(x, є)

var(x)

M(b) = (3 + М

var(x)

cov(x, є) var(x)

1 +

var(x)

2 2

ax «var(x)