Глава 7 прогнозирование в регрессионных моделях

Глава 7 прогнозирование в регрессионных моделях

Задача 7.1

Проверьте формулу (7.8):

Е(у У„+і)2 = <т2(1 + х'п+1(Х'ХГ1хп+1) для среднеквадратичной ошибки прогноза.

Решение

Ошибка прогноза е равна

е = У-Уп+1 = ж'п+іЗ(^+l^ + £„+i).

Поскольку оценка 5 несмещенная и E^n+i) = 0, то математическое ожи дание ошибки прогноза равно 0:

Е(е) = Е(х;+13) x'n+xf3 Е(е)1+1) = х'п+ф x'n+li3 = 0. J Отсюда получаем: J Е(е2) = V(e) = V(x'n+1p х'п+ф en+1) = У(х'п+ф e„+1)

= V«+13) + V(en+1) 2Cov(x;+13. £n+i). і

Последнее слагаемое равно 0, так как єп+ и 0 некоррелированы. Таким образом,

Е(е2) = V«+13) + V(£n+i) = <+1V(3)xn+1 + a2 j = a2x'n+l(X'X)-lxn+i+<r2 =a2(l+x'n+l(X'X)-lx„+i),

что и требовалось показать.

Задача 7.2

L Докажите равенство (7.9):

Ш 2 2 Л , 1 , (^n+1-x)2

I E(,-yn+1) ^ +

для среднеквадратичной ошибки прогноза в случае парной регрессии.

Решение

Из решения задачи 7.1 следует, что достаточно показать, что

~2

п *)2'

Xn + l(X Х) Хп+1 = ~ +

В случае парной регрессии к = 2 и

1 х/

1

х; + 1(Х'Х)-1хп+1 =

1 *п+1 1

_ *i I г ,

П ПХ 1

ПХ =2 Iі

n(i;x?-nx2) $

n(]C x? — па-'2)

CC*t " пх2) + н(х|1+і -х)2 = 1 (хп+і -х)2

n £(xf х)2 *

Іадача 7.3

Имеется у — Х/3-f-e: — классическая регрессионная модель (у — пх 1 вектор, X ~ пх к матрица, є — пх 1 вектор ошибок, /3 — кх 1 вектор коэффициентов, Еє = 0, V(e) = о2І), Пусть хГІ+і = (х„+і,ь...,хп+іііе)/ — дополнительное наблюдение независимых переменных и yn+i = x'n+l{3 + єп+.

Покажите, что если матрица X содержит константу, то ошибка прогноза минимальна, если каждое xn+i j равно среднему j-ro столбца матрицы X.

Решение

Как следует из формулы (7.8) (см. также задачу 7.1), надо найти вектор Жп+ь минимизирующий квадратичную форму F = x'n+i{X' Х)~~1хп+. Введем следующие обозначения (считая, что константа является первым регрессором):

1

= [г Щ, г= [1 ... 1]',

где xn+i — (к 1) х 1 вектор, г — п х 1 вектор, X — п х (к 1) матрица. Квадратичная форма F в этих обозначениях имеет вид

-і

F =

xu+l(x'x)-lxn+l = [i s'rt+l]

-і

г x]

1

[1 SUi

г'г

г'Х

х'г XX

1

Запишем условия экстремума первого порядка (см. (ЛА.22), (ЛА.24)):

-М— = 2"' + 2х'п+1 А = 0. I

Получаем xn+i = —А~'1а. Из формул для обращения блочной матрицы (ЛА.17), (ЛА.18) получаем |

їп+і = -А"1а = -(-X \%){\%'t)-1 =

n

т.е. j-я компонента вектора жп+і равна среднему j-й колонки матрицы

Задача 7.4 жшЛ

Для модели парной регрессии yt = а + 0xt + Єї, t = 1,..., 10, известно, что

Г &' = 8* X>t=4o, &? = 2б, £>? = 2оо, Л»*** = 2°

всюду суммирование от 1 до 10). Для некоторого наблюдения s дано xs = 10. Предполагая, что наблюдение s удовлетворяет исходной модели,

а) вычислите наилучший линейный несмещенный прогноз величины у3;

б) оцените стандартную ошибку прогноза.

Решение

а) Имеем:

а =

а =

Ем XtVt пху = 2010-4-0.8 ЕГ=1*г?-"^2 200-10.4а у -0х = 0.8 + 0.3-4 = 2.

= -0.3,

В соответствии с теорией (см. (7.3)) получаем:

\% = а + 0х8 = 2 0.3 • 10 = -1.

б) Найдем сумму квадратов остатков ESS в исходной регрессии. Учитывая, что Yh= et = 0 и £2"=1 xtet = 0, получаем:

ESS = J] е? = J] etfo -&Щ = 53 <•,?/, = 51 (Vt & Щ )yt = 53 yf «53 Уі Pj^xty, = 26 2 • 8 + 0.3 • 20 = 16.

Оценку дисперсии ошибок получаем по формуле

| Л2 ESS 16 .

О = = — = I.

п-2 8

Согласно формуле (7.9) оценка среднеквадратичной ошибки прогноза есть величина

6 = а2[1 + ± +

(Xs Х)

(10-4)2 10 •* 200 10 • 42

= 4.

Отсюда получаем, что оценка стандартной ошибки прогноза равна 2.

Задача 7.5 шкі ж

Стандартная линейная модель у = Х0 4 є, где у — п х 1 вектор, X — п х к матрица, оценивается обычным методом наименьших квадратов. Имеется дополнительное наблюдение у0, х'0 — (хо і, • • • ,.Tofe)С помощью какой статистики можно ответить на вопрос: удовлетворяет ли наблюдение исходной модели? ^^^^^^р

Решение

Одно из возможных решений основано на том факте, что если дополнительное наблюдение уо удовлетворяет исходной модели, то статистика

. _ Уо ~ Уо S

имеет распределение Стьюдентас п — к степенями свободы. Здесь yb ~ прогноз для уел а «5 — оценка стандартной ошибки прогноза,

5 = y/s*(l-rx'Q(X'X)-*Xo) 

Задавая уровень значимости а и вычислив статистику £, мы отвергаем нулевую гипотезу о том, что дополнительное наблюдение удовлетворяет исходной модели, в том случае, когда > £i-a/2(n — к), и не отвергаем эту гипотезу, если ^ £і-а/2(п ~ ^). (Здесь £i_0/2(" ~ к) ~ двусторонняя (1 — а/2)-квантиль распределения Стьюдента с п — А' степенями свободы.)

Задача 7.6 j

Дана регрессионная модель у, = а 4 0xt 4£(, t = 1,... ,п. Предположим, что параметр 0 известен. Предложите способ прогноза величины уп+ (ДЛ* заданного xn+i) и найдите дисперсию ошибки прогноза.

Решение I

Рассмотрим переменную Zt = yf — 0Xt. Для нее справедлива модель: ц

Zt = а 4Et, t = 1,..., п.

Согласно теореме из п. 7.1 главы 7, величина а = z является наилучшим (в смысле среднеквадратичного отклонения) линейным прогнозом для Zn+l' Значит, величина yn+i =3 40хп+г может служить прогнозом для уп-М"

Докажем несмещенность прогноза.

Е(уп+1 -Уя+i) = E(a + #rFl+i +є„+і (а+Дтп+і)) = Е(а о) + Еєп+[ = 0,

так как а несмещенная МИК-оцеика параметра а.

Найдем геперь дисперсию ошибки прогноза yn+i^^^^^^^

ь V(2/n+i yn+i) = V(a ф 0т*ї + єп+і (а -Ь /?х„+|)) = V(a S + єп+0

(так как а строится по наблюдениям с 1 по п и, следовательно, а и єп+ независимые)

= V(a a) + V(*n+I) = V(S) + V(cn+l)

= V{z

a2 = iV(2)+a2 = + a2 = n n

n + l«

a