Расчет стандартных ошибок коэффициентов регрессии

Расчет стандартных ошибок коэффициентов регрессии

Полученные теоретические дисперсии D(a), D(b) зависят от дисперсии с2 случайного члена.

По данным выборки отклонения е„ а следовательно, и их дисперсии а2 неизвестны, поэтому они заменяются наблюдаемыми остатками е, и их выборочной дисперсией.

Однако оценка var(e) является смещенной, т.е.

M[var(e)] = ^—^а2.

п

Несмещенной оценкой дисперсии а2 является величина (остаточная дисперсия)

S2 = — var(e) = — У е2,

которая служит мерой разброса зависимой переменной вокруг линии регрессии.

Величина S называется стандартной ошибкой регрессии.

Отметим, что в знаменателе остаточной дисперсии стоит число степеней свободы (л 2), а не п, так как две степени свободы теряются при определении двух параметров (а, Ь).

Заменив в теоретических дисперсиях неизвестную а2 на оценку S2, получим оценки дисперсии:

с2 - х2^~ с2 _ $2

nvar(x) «var(x)

Величины Sa, Sb называются стандартными ошибками коэффициентов регрессии.

Пример 3.1. Для полученной в примере 2.5 зависимости расходов на питание от личного дохода у = -1,75 + 0,775х рассчитаем стандартные ошибки коэффициентов регрессии.

Исходные данные: « = 5, var(x) = 32, х2 132, var(e) = l,98.

Остаточная дисперсия S2 и стандартная ошибка регрессии S равны соответственно

.2 и , . 5

S1 = var(e) = • 1,98 = 3,3, S = J3,3 = 1,816.

п 2 3

Для расчета стандартной ошибки можно также воспользоваться функцией Excel:

S = СТОШУХ(массив у; массив х).

Стандартные ошибки коэффициентов регрессии

Xі | 132

Sa = SJ - = 1,816. = 1,65,

^nvar(x) V5 ■ 32

JA = -y-^ = 0,143.

y]nvar(x) v5-32

Пример 3.2. Покажем, что в выборочной регрессии без свободного члена у = bx стандартная ошибка оценки b

S

jnx2

meS2 =-t-^(y,-bxf. n-l

Подставим в оценку для b выражение у, рЪс,+ є,:

Оценка b является несмещенной, так как М(Ь) = В. Дисперсия оценки b

<S*,2)2 1

£х,2Дє,) _ о2 _ а2

пх

D(b) =

2>2 Ух? ~2

В исходной модели оценивается один параметр, поэтому оценкой а является

*2~1е,2 = ^-г2>,-ч)2п-1 п-1

Следовательно, Sb —s==.

упх2

Пример 3.3. Покажем, что в выборочной регрессии у = а стандартная ошибка оценки а

s -А

где<?2 = J-^(у, -у)2.

п-1^

Подставим в оценку для а выражение у, = а + є,:

а = —— = — = а + ——.

п п п

D(a) =

Оценка а является несмещенной, так как М(а) = а. Дисперсия оценки а

<2 п '

В исходной модели оценивается один параметр, поэтому оценкой о~ является

п-1 п-1

Следовательно, S. =

Гп

Пример 3.4. Поданным примера 2.5 построим зависимость расходов на питание у от личного дохода х для модели регрессии без свободного члена и рассчитаем стандартную ошибку коэффициента регрессии.

Исходные данные и расчетные показатели представим в виде таблицы:

Коэффициент b определяется выражением

А = £ = = 0,642.

х2 132

Следовательно, у = 0,642х.

Заметим, что в отсутствие свободного члена у ф у, varCv) Ф var(y) + var(e).

Остаточная дисперсия S2 и стандартная ошибка регрессии S равны соответственно

S2 = —^-£е2 = 13,608

= 3,397, S = 73,397 = 1,843.

я-1~ ' 4

S

Стандартная ошибка коэффициента регрессии S 1,843

0,071.

V5 •132

СТАТИСТИЧЕСКИЕ СВОЙСТВА МНК-ОЦЕНОК (а, Ь)

Пусть выполняется условие нормальности распределения случайного члена: є, ~ 7V(0; а2). Тогда МНК-оценки коэффициентов рефессии также имеют нормальное распределение, поскольку являются линейными функциями от є/, т.е.

а ~ N

а;

2 2 ОХ

п var(x) b~ N

Р;

«var(x)

Если условие нормальности распределения случайного члена не выполняется, то оценки {а, Ь) имеют асимптотически нормальное распределение.