6.7.4. нормальная линейная модель регрессии

6.7.4. нормальная линейная модель регрессии

В этом подразделе мы рассмотрим линейную модель регрессии с нормальными независимо и одинаково распределенными остатками

(и НеЗаВИСИМЫМИ ОТ ВСеХ объЯСНЯЮЩИХ ПеремеННЫХ в веКТОре Х{).

Это модель, рассматриваемая в главе 2, дополняется предположениями (А1)-(А5). Напишем

Уі = х'ф + Єі, Єі НОНР(0, a2).

Здесь налагается условие, что переменная у і имеет нормальное распределение (условное по экзогенным переменным) со средним х'і/3 и постоянной дисперсией сг2. Обобщая выражение (6.9), логарифмическую функцию правдоподобия для этой модели можно записать в виде

n

logL(/?, a2) = J] logL,(/?, a2) =

г=і

N

log (2тгсг2)

1 N

(Уі ар?

(6.22)

і ijyi-APf

I ъ Л

/

в то время как ММП-оценки /?, а2 удовлетворяют условиям первого порядка

n

И

N

1 N

2d2 ' 2 ^ <тч

г=1

= 0.

Легко проверить, что решения этих уравнений имеют вид

у n ч-1 iV n

р = (Y1 хіх'і ) Е хіУі> э2 = ы Л(уі х&2^1=1 ' 1=1 2=1

Оценка для вектора коэффициентов наклона идентична знакомой МНК-оценке, тогда как оценка для дисперсии отличается от МНК-значения s2 делением на 7V, а не N — К. Информационная матрица имеет вид

ma2) = E{Si((3, a2)Si(p,a2)'}.

Используя то, что для нормального распределения Е{єі} = 0, Е{е2} = сг2, Е{е^} = 0 и E{sf} = Зет4 (см. Приложение Б), можно

показать, что

1

Поскольку эта информационная матрица блочно диагональная, то ее обращение будет равно

2-1

alE{xiXY О

О

2а4

Из этого следует, что оценки /3 и Э2 асимптотически нормальны и взаимно независимы, а именно

VN0 -ІЗ)-* ЛГ(0, а2Е{х^}-1), VN(a2 а2) -> ЛГ(0, 2а4). Таким образом, для малых выборок приближенно справедливо, что

N

Заменяя а2 на ее оценку а2, получаем (приближенно)

Заметим, что это весьма близко к результатам, которые известны для МНК-оценки.