Глава 2 модель парной регрессии

Глава 2 модель парной регрессии

Задача 2.1

Наблюдения 16 пар (X, Y) дали следующие результаты:

J2 У2 = 526, £Х2 = 657, Т,ХУ = 492,

£У = 64, £* = 96.

Оцените регрессию Yt — a+f3Xt -f €t и проверьте гипотезу, что коэффициент Р равен 1.0.

Решение

1) Оценка параметров регрессии. Из формул (2.4а), (2.46)1 полумаем:

•л

0

nJ^XtYt (£Хі)(£Уі) 16-492-96-64 1

= и 1.33,

nW-tex? 16-657-96* З

Следовательно, МНК-оценки для 0 и а таковы: /3 = 4/3, 5 = -4. Сумма квадратов остатков:

Ее? = £(у< (s+№))2 = Z (*? Щіа++ <s +£**)2)

1 Здесь и далее ссылки на формулы, разделы и страницы книги Я. Р. Магнуса, П.К.Кагптиева, А. А. Пересецкого «Эконометрика. Начальный курс» (7-е изд. М.: Дело, 2005).

= Еу2-25ЕУІ -2^^№ + na2+2a^^Xt+^^^2 = 126.

По формуле (2.15) оценка дисперсии ошибок равна:

Э2 =s2= —> ef = -rf = 9

1 ^ 2 _ 126 r^2^6t ~І4

2) Проверка гипотезы Hq: 0=1Оценка дисперсии 0 (см. (2.16)) равна:

s

f2 s2 9 1

" 2>? E№ - 657 -962/16 9'

Для проверки гипотезы Но вычислим статистику (2.23)

^_ 0-0Q _ 4/3-1

•з " і/з "

2.5\%-иая точка t-распределєния ^о.025(14) равна 2.145, следовательно, |£| = 1 < tc = 2.145, поэтому гипотеза Н(}: 0 = 1 не отвергается на 5\%-ном уровне значимости.

Задача 2.2

Покажите, что /3 = Txyr^i где гд'у выборочный коэффициент корре[ sx

ляции между X и У, a Sv-, Sy — стандартные отклонения X и У соответственно.

Решен

и с

Из определения выборочного коэффициента корреляции (приложение МС, п. 6) и из равенства (2.4а) получаем:

£у = сху 5у _ ^су = _ Cov(XT у

*у*х 5а-*у 4 (£*?)/(« 1) Var(X)

Шдача 2.3

Пусть /3 — оценка коэффициента наклона в регрессии У на X, а 7 — оценка коэффициента наклона в регрессии X на У. Покажите, что /3 = 1/7 тогда и только тогда, когда Я2 = 1.

решение

Задача решается проще при переходе к уравнениям в отклонениях. Коэффициенты р и 7 (см. (2.6)) записываются следующим образом: в = и 7 = ^ 2 • Получаем 0у = 2 2. Так как у* = У* У

z> уг 2-г х( 2^ уг

2 4- а — 0Х ~ /Зх*£, то из (2.31) получаем:

Д2= У*У. ^2ЕЖ? ҐЦхіУі^ (Еа'еУ$

у'*у* Еу? V Е^? у Еу? Е-^ЕуГ

откуда Й2 = ,57Таким образом, условие R2 = 1 эквивалентно условию £ = 1/7Геометрический смысл доказанного утверждения заключается в том, что произведение угловых коэффициентов (тангенсов углов наклона соответствующих регрессионных прямых) равно 1 тогда и только тогда, когда можно осуществить точную подгонку, т. е. когда вектор у лежит в плоскости, образованной единичным вектором и вектором наблюдений х. Другими словами, все точки наблюдений на плоскости (X, Y) лежат на прямой линии.

Задача 2.4

Рассмотрим модель Yt = а + (ЗХ^ + et, где ошибки являются независимыми одинаково распределенными нормальными случайными величинами. Почему для оценивания параметров нельзя применять метод наименьших квадратов? Выведите уравнение для оценок максимального правдоподобия.

Решение

При попытке непосредственно применить метод наименьших квадратов мы получаем следующую задачу:

п

F(a,0,j) = Y,(Yt-(a + 0X?)y^mm.

t=l

Заметим, что задача не является квадратичной по параметрам а, (3,7. А значит, условия первого порядка не являются линейными. Следовательно, метод наименьших квадратов применять нельзя. Выпишем функцию правдоподобия:

ЦУь.../>^,а,/3,7,<72) ~ р(Уь... ,УП | Хи...,Х„,а,/?,7,а2)

=Шш = (27r)n/21(g2)n/2 е*р(-2^ Ш г(«+да))2) •

Ее логарифм равен

In L(YU..., Yn, а, 0,7, а2) = Ь(2тг.) | Ш§ ~ f>, а 0X?f.

t=l

Необходимые условия экстремума имеют вид:

t=l

п

ш if Ё й /ВД = о,

t=l

= р £ w1,1 '&* -°W)=°«=1

= -та + і Ш « «)2 = °9а2 2 <т2 2а

Это и есть система уравнений для оценок максимального правдоподобия

"ml, #ml, 7ml и

іадача 2.5

Могут ли следующие уравнения быть преобразованы в уравнения, линейные по параметрам?

а) У, = а ■ exp(PXi) ■ єи

б) Yi = а ■ ехрі-рХі) + Єі,

в) Yt =ехр(а + 0Хі

г) У = a/(/?-X) + £i 

ешение

б) , г) Эти уравнения не могут быть преобразованы в уравнения, линейные

по параметрам.

а) Да, может. Прологарифмировав обе части уравнения а), получим

■

[ 1п(Уі) = 1п(а) + 0Хі + 1п(є,) 

Введем следующие обозначения: Zi=bx(Yi)1 7= In (а), и*==1п(е»).

Полученное уравнение Z{ = 7 + 0Хі + щ является линейным по параметрам. (Конечно, здесь предполагается, что случайная величина Єі принимает положительные значения.)

в) Как и в пункте а), уравнение можно преобразовать, взяв логарифм левой

и правой частей:

С помощью замены Z7; = 1п(У*) уравнение может быть приведено к линейному по параметрам: Zt = а + 0Хі + Єі.

Шадача 2.6

Зависимая переменная в регрессии Yt = а 4 /З-Х"^ 4£t разбивается на две компоненты: Yt = Ун + ^геРассмотрим две регрессии для компонент: Ун = oji 44 £it и = а'2 4 02\%і + Докажите следующие соотношения для МНК-оценок параметров трех регрессий: 5 = Si 4 Зг, /3 = 0 4 $2'.

Решение

Утверждение следует из того, что оценки (2.4а), (2.46) для коэффициентов регрессии линейны по У:

/3 =

п еЩУіі ф\%) (е *у (е (*н + Щ п е x(ylt (е xt) (е Щ г, t ШШ (е й (е і

е (е а*) « е х? (е ^t)

= 0і+ Ік-

п 71

= У>1, -У)х4Ді + і Гг2, -]Г х»& = з, + з2.

Задача 2.7

Уравнение Уї = а 4- +5» оценивается методом наименьших квадратов.

Остатки регрессии равны єі, у\% = Yi — Y Ш = Х\% — X Уі = У* — У — отклонения от средних. Докажите, что следующие меры качества подгонки совпадают:

а) ШшЖШ Ег/2). б) ШтШЖШ в) (ЕШУ ІШІ'ШІ г) і Е е?/ Еу,2-

(ПхіуіУ = 0 Е ш* Е*?Еу* Еу?

о (Е ^гУг)

Решение

Докажем равенство а) = б): ^ 2 ^ 2 = —^' ^ г. Так как Eyf > 0 , то

это равенство эквивалентно тому, что 0 = —=^—2—> что и является МНКоценкой параметра ,6 в отклонениях.

Равенство в) = а) доказываем, подставляя вместо Щ его выражение у? =

/32х? (см. решение задачи 2.3):

Еу?Еу2 Рш4Ш

Докажем, наконец, равенство г) = а). Из определения следует, что ё

у і 0Хі, поэтому Щ ^^^Г^ж

(£*ш)2 (£ад)2 (Ездк)я

Е»1 £v? £</2

= 2

Е*?Еу2 £*?£уі Е ж? Е у! '

Задача 2.8

Выведите непосредственно формулу для оценки коэффициента наклона в регрессии без свободного члена, т. е. найдите оценку параметра 0 в регрессии У( = 0Xt ■+■ £"( минимизацией суммы квадратов отклонений Yl(Yt — Yt)2 

Решение

Задача состоит в отыскании минимума функции

Ш F(/3) = ^(r(-№)2.

Запишем необходимое условие экстремума (аналогично (2.2)):

— Y, {Yt 0Xtf = 0 или £ (У, -/?*t)*t = 0. Решая это уравнение относительно 0Л получаем МНК-оценку

Г Е Ш

0 =

Цх?

Шадача 2.9

Для наблюдений

l t	У.	щ	t	щ	xt
1	70	5	6	35	22
2	65	11	7	40	25
3	55	15	8	30	27
4	60	17	9	25	30
5	50	20	10	32	35

вычислите следующие величины:

а) коэффициент детерминации R2 в регрессии Yt на Xt при наличии свободного члена;

б) коэффициент детерминации R2 в регрессии Yt на Xt при отсутствии

свободного члена; Я ^^^rf^^K ■

в) коэффициент детерминация Я? в регрессии yt на Xt при наличии свободного члена, где yt и — отклонения переменных Yt и X* от их

средних значений;

г) коэффициент детерминации R2 в регрессии у, па х( при отсутствии

свободного члена.

Решение

а) Уравнение регрессии У на X при наличии свободного члена имеет вид

Yt = а 4/ЗЛ"і + £t. Оценки 0 и а вычисляем по формулам (2.4а) и (2.46) соответственно:

nJ2 XjYt (jL Xt) (E Щ _ 10 . 8360 207 • 462

0" ^ v2 /^v2 " 10-5023-2072 \% ~L63'

S = Y 0X = 46.2 (-1.63) • 20.7 = 79.95.

Итак, Yt = 79.95 — І.6ЗЛ4. Теперь у нас есть все данные, чтобы вычислить Л2 по формуле

2 _ RSS _ £ Ш У? = 1962.0 = TSS £(У,-У)2 2279.6

б) Уравнение регрессии У на при отсутствии свободного члена записывается в виде Yt = + etОценку 0 можно вычислить по формуле (см. задача 2.8):

З ЩШі 8360 лт /3=Х^Г = 5023 "1'66В случае отсутствия константы равенство (2.26)

TSS = ESS + RSS,

вообще говоря, не выполняется и корректно определить коэффициент детерминации (2.27) невозможно. Вычислим R2 в этом случае двумя возможными

способами:

а _ RSS _ 3424.7 _ «(i) ~ TSS Й7^6 ~ L5°'

02 . ESS_ 9710Л_ зоб Д(2) 1 tsS 1 2279.6 " ~3-26'

Отметим, что в отсутствие константы значения R2 не обязаны лежать в интервале между 0 и 1, что у нас и получилось.

в), г) Уравнение регрессии у на .г сводится к рассмотренному в пункте а), так как взаимное расположение точек и регрессионной прямой геометрически совпадает во всех этих трех случаях. Таким образом, Л2 = 0.8607. В случае в) регрессионная прямая проходит через начало координати, следовательно, случаи г) и в) совпадают.

Задача 2.10

Предположим, что модель

Yt=a + f3Xt+eu * = 1,...,п

удовлетворяет условиям классической регрессии. Рассматривается следующая оценка коэффициента в:

а) Является ли оценка 0 несмещенной? Является ли она линейной?

б) Вычислите дисперсию оценки /3.

в) Проверьте теорему Гаусса-Маркова, сравнив полученную дисперсию

****

оценки 0 с дисперсией МЫК-оцеики 0"2/]С"=і№ ~~ X)2.

Решение

[ а) Вычислим математическое ожидание оценки /3:

Е(0) = І У4 ВД)-Е(У) = 1 уE(a + 0Xt+et)-E(a + 0X + e

n{r[ Xt-X nfe Xt-X

Следовательно, оценка /3 является несмещенной. Представим /3 в следующем виде:

П лг т7 -і л і/- , п

3= 1 V Yt~~L = 1 Vу'

Так как переменные xt являются неслучайными, то оценка 0 является линейной. ■ ^^^^^^f Ш

б) Вычислим дисперсию оценки 0 . При этом воспользуемся тем, ЧТО Yt —

некоррелированные случайные величины с дисперсиями V(Yi) = а2,

в) Для непосредственной проверки теоремы Гаусса-Маркова воспользуемся

неравенством Коши Вуняковского.

Здесь мы также использовали тождество Y*tmi?H = 0^аким образом, мы

получили, ЧТО V(/J) ^ V(jflbbs) 

Задача 2.11

Приведите пример набора данных (Xt,Yt.)} для которого решение задачи поиска параметров а, /3, минимизирующих функционал

F = J2Yt-(a + 0Xt),

t=l

не единственно.

Решение

Пусть п = 3 и имеется набор данных: УЇ) = (0,0), (Х^Уг) = (0,2).

(Хз, Уз) = (/3, 1) (равносторонний треугольник со стороной 2). Тогда функционал равен

з

F = Yt ~ (« + №t) = И + |2 а| + |1 а » у/з0, е=1

и нетрудно проверить, что Fmjn = 2, и этот минимум достигается при любых значениях параметров а и /3, удовлетворяющих соотношению а -Ь n/3/і = 1, а Є [0,2] (т.е. когда прямая Y = а + 0Х проходит через точку (/ЗЛ) и пересекает ось У между точками 1 и 2), в частности, например, при а == 0, /3 = 1//3 (прямая, проходящая через первую и третью вершины треугольника) и при а = 2, /3 = —1/л/З (прямая, проходящая через вторую и третью вершины). То есть задача поиска параметров а и /3, минимизирующих функционал F, имеет бесконечно много решений.

іадача 2.12

Рассмотрим модель регрессии на константу

Щ = а + ей t = 1,... ,n.

а) Найдите оценки метода наименьших квадратов дня ос и <т2.

б) Найдите дисперсию оценки а.

—CV — CV

а

в) Покажите, что статистика имеет распределение tin — 1).

г) Чему равен коэффициент детерминации R2?

Решение

а) Задача состоит в отыскании минимума суммы квадратов остатков (см. (2.1))

F(a) = £(K-a)a.

Запишем необходимое условие экстремума (аналогично (2.2)):

д_ с/о

£(П-а)2=0

ИЛИ

£ (П а) = 0.

'ешая это уравнение относительно а, получаем МНК-оценку

чя того чтобы найти оценку дисперсии ошибок а1 у рассмотрим сумму квад-»атов остатков

X>? = £(y(-5)* = X>-F)2. Ез курса статистики известно, что

е(£є?)=(п-1)<т2В самом деле, ^мк^к Е (Yt Y)2) = Е (£ (et ё)2) = E (e? J

=B (£s?+nl2 _ 2 = E (51е?+n^2 T2n*2)

= E (£є2 tie2) = na2 n£ = (n l)a2. Отсюда получаем, что

-2

является несмещенной оценкой сг2.

б) V(S) = v (^5>) ^ |г»у(К)

в) Пусть выполняется дополнительное условие нормальности ошибок єt ~

N(0,a2). Оценка а тогда также распределена нормально: а ~ iV(0,cr2/n).

Из приложения МС, п. 4, N12 следует, что

^ Е (П  

Поскольку К(а) = s| = —, получаем

(У-а) 5-а ,

^тЕ(П-У)2

б/л/П 98

г) Вычислим значение R2 по формуле (2.27)

„2-і ess EW-S)2. Е(Ц-у)' , п rt -!* tss — Е(у,-у)2 E(rt-F)»_1

Задача 2.13

Рассмотрим модель регрессии без константы

Yt=0Xt+et, t=l,...,n.

а) Найдите оценки метода наименьших квадратов для 0 и сг2.

б) Найдите дисперсию оценки 0.

в) Покажите, что статистика имеет распределение t(n — 1).

г) Приведите примеры данных, для которых: значение коэффициента Я2,

рассчитанное по формуле Я2 = RSS/TSS, отличается от значения Я2,

рассчитанного но формуле R2 = 1 — ESS/TSS; значение коэффициента

Я2, рассчитанное по формуле R2 = RSS/TSS, больше 1; значение Я2,

рассчитанное по формуле Я2 = 1 — ESS/TSS, меньше 0.

Решение

а) В задаче 2.8 мы получили формулу для МНК-оценки в регрессии без константы:

Остатки регрессии равны

Ї,Х? '

Запишем это в векторной форме:

(х'у / хх' у-Хх^) = {1-^с)У = ЛуНетрудно проверить, что матрица А идемпотентная:

е, = Yt eXt = YtXt

ж'х/ ж'х (ж'ж)^ х'ж

Очевидно также, что Л' = А. Поскольку выполняется равенство

/ хх' xxі x

Ах = і I ~ Ж = X ; = x x = 0.

ж'х / ж'ж

ЙОлучаем j

е = Ау = А(рх чє) = /ЗАж + Ає = Ає.

Вычислим математическое ожидание суммы квадратов остатков регрессии:

Е е?) = Е(е'е) ?= E(tr(e'e)) = E(tr(ee')) Е(Ьг({Ає)(Ає)'))

= ЕЩАєе'А')) = tv(AE(ee,)Ai) = tr(AV(e)A') = a2 tr(AA') = a2 tr(A2) = a2 tr(A)

= a2 (n 7tr(x'x) ) = <r2(n 1).

ж'ж /

Отсюда получаем, что

а2

есть несмещенная оценка а2.

б) Дисперсия оценки 0 равна:

" *' (х'х)'2

2 "

9 (7~

в) Предположим теперь, что ошибки имеют нормальное распределение, є~ N(0,a2In).

В силу идемпотентности матрицы Л, используя утверждение N8 (приложение МС, п. 4), получаем:

^ У* £fifc г §)Ч© ~ л**»

Из вычислений в пункте а) мы имеем: rank Л = tr А = п — 1, поэтому

(п-1)^ = ^£е?~Х2(п-1).

Оценка 0 имеет нормальное распределение (как линейная функция от нормального вектора):

їк^хж) или *-'~Ч0,ЙО 

Таким образом, искомая статистика имеет вид:

0-0 0-0 (Р 0) / {* / s/EX?) N(0,1)

Для того чтобы доказать, что эта статистика имеет распределение Стыо-дента t(n 1), осталЪсь показать независимость числителя и знаменателя. Так как знаменатель есть функция от остатков щ; то достаточно доказать независимость оценки 0 и вектора остатков е. Вектор остатков распреде

лен нормально (как линейная функция от нормального вектора), поэтому достаточно показать, что 0 и е некоррелированы:

х'е

х'е

Cov(/3-/3,e) = Cov

.2

x'x

, As I = E ( ^є'а) = i-x'V(e) f J ж'х / ж'ж V ж'ж

(Г

x'x

= JL_(a;'_x')^o. ж'ж

г) Рассмотрим следующие данные: п = 2, {X,Yi) = (0,2), (Х2,У2) = (U 1)-Очевидно, регрессия без константы имеет вид Y = X, 0 = 1, т.е. линия регрессии проходит через вторую точку и начало координат. Получаем TSS = 0.5, ESS = 22 + 0 = 4, RSS = (0 1.5)2 + (1 1.5)2 = 2.5 и

RSS TSS = 5,

1-!І = 1-8 = -7.

TSS

Задача 2.14

Менеджер новой чебуречной не уверен в правильности выбранной цены на чебуреки, поэтому в течение 12 недель он варьирует цену и записывает количество проданных чебуреков. Полученные данные приведены в табл. 2.1 (t — номер недели, qt — количество проданных чебуреков, pt — цена одного чебурека (руб.)).

а) Оцените параметры модели

qt = а + plnpt+Stt *=1,. ..,12.

б) Используя полученные оценки коэффициентов, найдите оптимальную

в смысле максимума выручки от продаж цену чебурека.

б) Выручка от продаж F(p) равна произведению количества проданных чебуреков на цену:

F(p) = ре12,03"2Л4Э1пр = е12,03р"1Л49.

Из вріда функции F(p) видно, что она монотонно убывает при возрастании р. Откуда следует, что чем меньше цена, тем больше выручка. Однако следует учесть, что наши наблюдения сделаны на интервале цен [9.9, 13.5| и наши выводы недостоверны при значениях р, значительно выходящих за рамки этого диапазона.

Чтобы все-таки попытаться ответить на поставленный вопрос, рассмотрим линейную модель:

qt =a+0pt+eu t= 1,...,12.

Оценка параметров модели с применением экоиометрического пакета дает следующий результат.

Выручка от продаж, рассчитанная по последней модели, равна: F{p) = р(2717.70 157.734?) = 2717.70р157.734р2. Оптимальная цена находится из условия F'(p) = 0, откуда

Качественная рекомендация та же, что и в первой модели — стоит подумать

о снижении цепы. ■ ^^^^^^^l

Задача 2.15

Пусть d2iL = jBв?/ЇЇ и Sql$ = £е2/ (п 2) — оценки методов максимального правдоподобия и наименьших квадратов для дисперсии ошибок

а2 в классической модели парной регрессии Y{ = 0 4foXt = 1п,

є* ~ЛГ(0,а2).

а) Найдите дисперсию и среднеквадратичное отклонение (MSE(0) =

Е((0 — в) )) каждой из двух оценок.

б) Какая из двух оценок обладает наименьшей дисперсией? Наименьшим

среднеквадратичным отклонением?

Решение

а) Обозначим через f сумму остатков регрессии: £ = ]Г]е2. Известно (см. п. 2.5), что при условии нормальности остатков

ІІ ~ Х2(п 2).

Поэтому (приложение МС, п« 3)

Е(0 = (п 2)ст2 и V(0 = 2(п 2)<т4.

Отсюда получаем:

E(Sml) = j^g =

v&)4v(0 = ^;

7г

-2

aols

E(^ls)

V(^ls)

1

n-2

n-2 4 n-2

(n 2)2

n-2

Для вычисления среднеквадратичных отклонений используем формулу MSE(ff) Е((в в)2) = Е {{{вЕв) + (Евв))2) = У (в) + {Евв)2

Среднеквадратичные отклонения равны соответственно

MSE(52

+

71'

71

1

2

2(7г-2) (п-2 л* 4 2 4

а4.

б) Из предыдущих вычислений следует, что

V(3t,LK Y(S£ls) и MSE(a£IL) OISE(?ks)

Задача 2.16

Так называемая кривая Филлипса описывает связь темпа роста зарплаты и уровня безработицы. А именно,

Swt = 0i + fo—+ еи

Щ

где Wt — уровень заработной платы, 8wt — 100(ш/ — wt-)/wt— темп роста зарплаты (в процентах) и щ — процент безработных в год t. Теория предполагает, что Д < 0 и ft > 0.

Используя данные для некоторой страны из табл. 2.2:

а) Найдите оценки коэффициентов уравнения и проверьте наличие значимой связи между 5хи и и.

б) Найдите «естественный уровень безработицы», т.е. такой уровень безработицы, при котором 6w = 0.

в) Когда изменения в уровне безработицы оказывали наибольшее (наименьшее) влияние на гемп изменения зарплаты? Ш -^^Рш

г) Найдите 95\%-довсрительные интервалы для 0 и 02.

решение

а) Оценка параметров модели с применением эконометрического пакета дает следующий результат.

Заметим, что коэффициент при l/u статистически значим, а свободный член не отличается достоверно от нуля. Тем не менее уравнение показывает, что при увеличении уровня безработицы и темп роста заработной платы уменьшается. Знаки обоих коэффициентов находятся в соответствии с теорией.

б) Для того чтобы найти «естественный уровень безработицы», решим уравнение

1

6w = -1.034 + 7.896-=0.

и

Получаем и0 = 7.896/1.034 = 7.63.

в) В силу полученного уравнения

^ = -7.896І ои и~

Таким образом, изменения в уровне безработицы оказывали наибольшее (наименьшее) влияние на темп изменения зарплаты тогда, когда уровень безработицы был наименьшим (наибольшим), т.е. соответственно в 1-й или I 7-й (11-й) год.

г) В силу полученных результатов

0х = -1.034 ± £0.025(16) • 2.372 = -1.034 ± 2.12 • 2.372 = -1.03 ± 5.03, 02 = 7.896 ± і0.02б(16) • 3.163 = 7.896 ± 2.12 ■ 3.163 = 7.90 ± 6.70.

радача 2.17

В табл. 2.3 представлены расходы на агрегированное потребление Y и агрегированный располагаемый доход X в некоторой национальной экономике в течение 12 лет — с 1986 по 1997 г.

а) Изобразите графически зависимость У от Л" и определите, есть ли приближенная линейная зависимость Y 01 X. Ж Ш Щ

б) Вычислите парную регрессию агрегированного потребления У на X по

данным, представленным в табл. 2.3.

в) Вычислите s2, s|, s|. ^^гМ

Решение

а) Данные представлены на графике на рис. 2.1.

Из графика видно, что данные можно приблизить линейной функцией.

б) Оценка параметров модели с применением экоиометрического пакета дает

следующий результат (см. таблицу 2.4).

в) Из результатов компьютерного расчета, приведенного в п. б), получаем:

s2 = 1.5342 = 2.354, 4 = 5.4132 = 29.29, si = 0.026972 = 0.000727.

Dependent Variable: Y				Таблица 2.4
Variable і	Coefficient	Std. Error	^-Statistic	Probability
const	26.698	5.41248	4.933	0.0006
X	0.7361	0.02697	27.29	0.0000
Я2	0.9868
S. E. of regression	1.534

Конечно, все эти результаты можно получить и вручную. Приведем вычисления.

(t п = 12, X = 200,

£ X = 2400, У = 173.92,

£У = 2087, £У2 = 364741,

2 X2 = 483236, J2 XY = 419782.

Далее по формулам из гл. 2 получаем:

~_ ЕЛ'У пЛТ _ 419782 12 ■ 200 • 173.92 _ ^~ £X2-nX2 ~ 483236 12 ■ 2002

З = У /ЗХ = 173.92 0.736 • 200 = 26.70,

s2 = ^ = Ї2Ь23-54 = 2.354,

& л Т.*2 _ 2 354 483236

° ~ n(£ X2 пХ2) " 12 (483236 12 • 2002) ^

ff = ^Х2-^ = 2-35448323612.2002 * °'°00727 

Задача 2.18

Рассмотрим регрессию, построенную в задаче 2.17.

а) Сформулируйте нулевую (основную) и альтернативную гипотезы при

проверке статистической значимости коэффициентов регрессии.

б) Какое распределение имеют оценки а и /5?

в) Какое распределение используется при проверке статистической знар чимости а и /3?

г) Чему равно число степеней свободы?

д) Проверьте на 5\%-ном уровне значимость коэффициентов а и 0.

е) Постройте 95\%-ный доверительный интервал для коэффициентов а и

0 в регрессии задачи 2.17.

ж) Вычислите коэффициент детерминации, используя равенства В? == RSS/TSS и Я2 = 1 — ESS/TSS.

Решение А

а) Н0 : 0 ■ 0, Hi : 0 -/0; II,, : а ■ 0. II, : а -/= 0. V Ж-^^5г ■

б) При условии нормально распределенных ошибок регрессии оценки а и 0

имеют нормальное распределение. ^Ь^^^^^^^г

в) , г) Распределение Стыодента с п — 2 = 10 степенями свободы.

д) 2.5\%-ная точка распределения Стыодента с п — 2 = 10 степенями свободы равна 2.228. Поскольку обе ^-статистики, приведенные в результатах регрессии (4.933, 27.29), превосходят по абсолютной величине это значение, то обе нулевые гипотезы отвергаются, т. е. оба коэффициента статистически достоверно отличаются от нуля на 5\%-ном уровне значимости. (К этому же выводу можно прийти, заметив, что оба Р-значеиия меньше 0.05.

е) Доверительные интервалы следующие:

а = 3 ± tomb(n 2)б-5 = 26.69 ± 2.228 • 5.41 = 26.69 ± 12.05; 0 = 0± to.025(" ІЩ = 0.736± 2.228 ■ 0.0269 = 0.736±0.060.

ж) Мы уже нашли ранее ESS — 23.54. Вычислим TSS и RSS.

TSS = |] (Yt У)2 = 1776.9, * RSS = ]Р (Yt Y)2 = 1753.37,

Задача 2.19

Дана модель парной регрессии У, = а + 0Xt 4et, і = 1,..., п, для которой выполнены стандартные условия классической линейной модели. Известно, что п = 2т. Все множество наблюдений (У(, Xt) разбито на две группы а и Ь по т наблюдений в каждой группе. Обозначим Ха,Хь,Уы,Уь выборочные средние наблюдений X, У по грушам a, b соответственно. В качестве оценки параметра 0 берется величина 0 = (Уа — Yb)/(Xa — Хь).

а) Найдите Е(0) и V(/3).

б) Каким должно быть разбиение наблюдений на группы а и 6, чтобы

дисперсия V(0) была минимальной?

Решение

а) Найдем математическое ожидание и дисперсию оценки 0. В вычислениях мы используем независимость средних Ya и а также свойства выборочного среднего:

V(X) = -V(X).

E(X)=E(X), Используя равенство Е(У) = а + ДХ", получаем:

все)=Q+^;;^№ а

(*« Хь)3 (Ха Хь)2 т (Ха ХьГ-'

б) Таким образом, дисперсия У(0) тем меньше, чем больше разница между средними Х(1 —Хі,\> Очевидно, что если упорядочить все 2т наблюдений по возрастанию X и включить первые т наблюдений в группу а, а остальные — в группу fr, то мы получим разбиение с наибольшим возможным значением Ха — Хьі а следовательно, и с наименьшим значением дисперсии оценки 3.

Задача 2.20

Пз'сть Yt = 0Xt + £/. t = 1,...,п, где Е(єі) = 0, и матрица ковариацнй вектора є известна. При каких условиях оценки

і а

п \% X,

И

являются наилучшими среди несмещенных линейных оценок параметра 01

Решение

а) Рассмотрим первую оценку. Разделим исходное уравнение на Xt

I xt р+xt

Введем обозначения Zt = Yt/Xt и щ = €t/Xt, тогда наше уравнение примет вид регрессии на константу, рассмотренной в задаче 2.12:

1 zt = 0+m

Із решения задачи 2.12 следует, что МНК-оценка коэффициента 0 име-feT вид:

т. е. совпадает с первой оценкой. Из теоремы Гаусса-Маркова следует тогда, что эта оценка является оптимальной, если V(u) = cr2JT1. Или, другими

словами, Ш ^^^^Ш^Ш Ж

V(ct) V(Xtut) = X?V(u*) = <г2Ж 1

Итак, если дисперсия ошибок V(e() пропорциональна X?, то первая оценка является наилучшей среди всех несмещенных линейных оценок параметра 0.

б) Предположим для простоты, что Xt > 0. Разделим исходное уравнение на y/Xt и введем обозначения

Получим:

или

Из задачи 2.8 следует, что МНК-оценка коэффициента Q имеет вид

Yt

|_. Е _ Е ^_ Е V,

ЕЯ? Е(ч^)2

т. е. совпадает со второй оценкой. Из теоремы Гаусса-Маркова следует тогда, что эта оценка является оптимальной, если V(u) = а21п. Или, другими словами,

V(et) = Щу/Ххщ) = ХьЩщ) = a2Xt.

Итак, если дисперсия ошибок V(et) пропорциональна X,, то вторая оценка является наилучшей среди всех несмещенных линейных оценок параметра 0.

Конечно, решение задачи выглядит несколько вычурно. Однако мы советуем вернуться к ней после изучения гл. 5 и 6.

Задача 2.21

Проведены две регрессии:

Yt = а + 0Xt + €t и Yt = о/ 40'xt +4 t = 1,... ,Т, где xt = Xt X.

а) По известным МНК-оценкам а, /3 параметров а, 0 в первой регрессии

найдите МНК-оценки а', 5' параметров о/, 0' во второй регрессии.

б) Найдите Cov(a',/?').

Решение мш а) Поскольку х = 0, то по стандартной формуле для МНК-оценки получаем:

а = U*t-x)(Yi-Y) _ UXt-X)(Yt-Y) _ я

а1 = у 0'х = У р' ■ о = (F 0х) + 0х = а-+рШ*^^

б) Аналогично,

Cov(a',0') = -

X

T-Y2

a* = 0.

Іадача 2.22

В таблице 2.5 приведены ежегодные значения денежной массы и национального дохода некоторой гипотетической страны (все величины выражены в миллиардах кварков (название национальной валюты)).

а) Проведите регрессию национального дохода (У) на денежную массу

(X) и константу. *

б) Постройте 95\%-ный доверительный интервал для оцениваемых параметров. Можете ли вы отвергнуть гипотезу 0 = 0? 0 = 1?

ешенис

а) X = 3_/72; У = 7.55; £(Xt -Xf = 8.796; -ХЩ -У) = 15.09;

Е(У( У)2 = 27.005. Отсюда получаем:

/3 =

а = Yt =

J2(Xt X)(Yt Y) 15.09

ХУ 8.796

Y-0X = 7.55 1.715 ■ 3.72 = 1.168, 1.168+ 1.715X(.

б) Сумма квадратов остатков равна

Соответствен но,

1.117 ... о а-2 0.1397

и = 0.126. 95\%-їіьій доверительный интервал дли 0 равен

0 = 0±to.O2b{n -"2)53 = 1.715 ±2.306 -0.126, или (1.42, 2.01).

Обе гипотезы отвергаются, поскольку 0 и 1 не принадлежат полученному интервалу.

К тому же результату можно прийти, рассчитав соответствующие і-ста-тистики:

h = — = 13.61, Щ = ^—^ = 5.68.

Ч Ч

Так как \ и |*2І превосходят /0.025(8) = 2.30G, то обе гипотезы отвергаются.

Задача 2.23

Два исследователя, работая независимо друг от друга, изучают одну и ту же регрессионную модель

Yt = ct + t3Xt+€h

для которой выполнены все условия классической модели. В таблице 2.6 приведены результаты, полученные ими на основе независимых выборок.

Узнав о работе друг друга, они решают вывести единую оценку параметра 0, Первый исследователь предлагает взять

0 = (& + 0п).

Второй исследователь считает, что весовые коэффициенты первой и второй оценок выбраны неэффективно, и можно построить несмещенную оценку с меньшей дисперсией. Научный руководитель этих исследователей утверждает, что он знает способ еще улучшить ю ипеику.тЖ

а) Какую оценку предлагает использовать второй исследователь?

б) Какую оценку предлагает использовать научный руководитель?

Оцените улучшение точности оценок пп. а), б) по сравнению с оценкой 0.

Решение

Считаем, что исследователи использовали МИК-оцеики ііараметра 0, . а) Напишем оценку 0 в общем виде: 0о — О0 + (1—в)0\, 0 ^ 0 ^ 1, как взвешенную сумму исходных оценок. Оценка также является несмещенной и ее дисперсия в силу независимости выборок равна

V(0в)=О2У(&) + (!-в)2У(0и) = в'

сг

= о"

в

2

+

п-в)2

= о'

600 -1^

2400 m

— a'

100

+

1 0) 400

Минимизируя последнее выражение по 0 ^ 0 ^ 1. получим в* = 1/5 — оптимальный выбор параметра взвешивания, а оптимальная взвешенная оценка равна

—. 1 —4

{ 0* = ^0 + Ш = 2.4.

о 5

б) По теореме Гаусса-Маркова оптимальной линейной несмещенной оценкой 0 является

| _ "ЕщМ (Еі... хі) (emi yt)

0

nEurX2-^,.,,^)2

Значения ^iXtYi и Ylu^tYt можно найти из аналогичных формул для

первой и второй выборок. Таким образом, в выражении для 0 все известно, и в итоге можно получить 0 — 1.6.

Рассчитаем дисперсии оценок: