4.3. ковариационная матрица и ее выборочная оценка

4.3. ковариационная матрица и ее выборочная оценка

Вариации оценок параметров будут в конечном счете определять точность уравнения множественной регрессии. Для их измерения в многомерном регрессионном анализе рассматривают так называемую ковариационную матрицу вектора оценок параметров £ , являющуюся матричным аналогом дисперсии одной переменной:

а00 а01

1А =

>/?0

'рр J

где элементы а0 — ковариации (или корреляционные моменты) оценок параметров р, и Р7. Ковариация двух переменных определяется как математическое ожидание произведения отклонений этих переменных от их математических ожиданий (см. § 2.4). Поэтому

(4.13)

Ковариация характеризует как степень рассеяния значений двух переменных относительно их математических ожиданий, так и взаимосвязь этих переменных.

В силу того, что оценки bp полученные методом наименьших квадратов, являются несмещенными оценками параметров Р7,

т. е. M{bj)=$j, выражение (4.13) примет вид:

0,=М[(6,-р,.)(6,.-р,.)].

Рассматривая ковариационную матрицу У , легко заметить, что на ее главной диагонали находятся дисперсии оценок параметров регресии, ибо

о, =M[(bj -fijlbj-Vj) = M(bj -Р7)2=^у. (4.14)

В сокращенном виде ковариационная матрица вектора оценок параметров У имеет вид:

14=м[(*-эх*-эУ

(в этом легко убедиться, перемножив векторы (b р) и (b р)). Учитывая (4.12), преобразуем это выражение:

І ь = мі^(хху X's] [(хху X's

= м[(ххУ1 х'ег' х{хху ]=

=(хху х'м(еє')х(ххУ ,

(4.15)

ибо элементы матрицы X — неслучайные величины.

Матрица м(єє') представляет собой ковариационную матрицу вектора возмущений

I =Af(ee') =

Оі/(є?) Л/(є,є2) ... М(£18„)Л м{г2гх) М{в1) ... М(є2є„)

М{епех) М(гпг2) ... м(є2)

в которой все элементы, не лежащие на главной диагонали, равны нулю в силу предпосылки 4 о некоррелированности возмущений є, и Sj между собой (см. (3.25)), а все элементы, лежащие на главной диагонали, в силу предпосылок 2 и 3 регрессионного анализа (см. (3.23) и (3.24)) равны одной и той же дисперсии а2:

М(є?)=Л/(є, О)2 = D{z] ) = а2. Поэтому матрица

М(єє') = ст2£„,

где isw — единичная матрица я-го порядка. Следовательно, в силу (4.15) ковариационная матрица вектора оценок параметров:

ИЛИ

(4.16)

Итак, с помощью обратной матрицы (хх)~] определяется не

только сам вектор b оценок параметров (4.8), но и дисперсии и ковариации его компонент.

4.4. Доказательство теоремы Гаусса—Маркова. Оценка дисперсии возмущений

Теперь мы имеем возможность привести доказательство теоремы Гаусса—Маркова, сформулированной в § 4.2.

Выше (§ 4.2) мы уже показали, что оценка метода наименьших квадратов b = (Х'Х)~{ X'Y есть несмещенная оценка для вектора параметров р, т. е. М(Ь) = р. Любую другую оценку Ь вектора р без ограничения общности можно представить в виде

б^Р^Г + С] У,

где С — некоторая матрица размера (р+1)хп.

Так как рассматриваемые в теореме оценки относятся к классу несмещенных оценок, то и М(Ь) = р или М(Ь) = = M[(X'X)-lX' + c]y = $.

Учитывая, что матрица в квадратных скобках — неслучайная, а в силу предпосылки 2 регрессионного анализа M(s)=0, получим

М(Ь{) = [(Х'Х)-1 X' + С] m(y) = [(Х'Х)~{ X' + С]Х р = = [(Х'Х)'1 Х'Х + СХ] Р = (Е + СДГ)Р = Р,

откуда следует, что СХ = 0. Далее

ь, р=[да)-1 х'+с] y р=[(хху1 х'+с] с#р+є) р =

= да)-1 Х'Х$+ CYp +[(Х'Х)-1 Х'+С] є р=[(Х'Х)-1 X'+С] є,

так как СХ= 0, (Х'Х)~1 Х'Х Р = £р = р.

Теперь с помощью преобразований, аналогичных проведенным при получении формул (4.15), (4.16), найдем, что ковариационная матрица вектора оценок Ь, т. е.

I hi =M[(bl -РХЬ. -P)'] = a2(^)_1 +ст2СС,

или, учитывая (4.16),

Z^Z^cr.

Диагональные элементы матрицы СС неотрицательны1, ибо они равны суммам квадратов элементов соответствующих строк этой матрицы. А так как диагональные элементы матриц У L и

У есть дисперсии компонент векторов оценок Ьц и bh то дисъ

персия >о2ь (/=1,2,..., /Н-1). Это означает, что оценки коэффициентов регрессии, найденных методом наименьших квадратов, обладают наименьшей дисперсией, что и требовалось доказать.

Итак, мы доказали, что оцека b метода наименьших квадратов является «наилучшей» линейной оценкой параметра р. Перейдем теперь к оценке еще одного параметра — дисперсии возмущений а2.

Рассмотрим вектор остатков е, равный в соответствии с (4.2') е= YХЬ.

В силу (4.2) и (4.8)

е = (Х$ + е) Х[(Х'Х)-Х Х'(Х$ + г)] =

= Хр + 8 Х(Х'Х)~1 {Х'Х)$ Х(Х'Х)~Х Х'г =

= Х$ + є ХЕ$ Х(Х'Х)~] Х'г,

или е = г-Х(Х'Х)-хХ'г

(учли, что произведение (X' Х)~Х(Х' Х)=Е, т. е. равно единичной матрице Ер+ (/?+1)-го порядка).

Найдем транспонированный вектор остатков е'. Так как при транспонировании матрица (Х'Х)~Х не меняется, т. е.

[(Х'Х)~Х]'= 1(Х'Х)Т] = (Х'Х)то

е9 = [г-Х(Х'Х)-х Х'е]=е'-е'Х(Х'Х)-хХ'.

Теперь

1 Матрица СС так же, как и ковариационные матрицы ^ и 2^ ^ »является

неотрицательно определенной (см. §11.8). В этом смысле можно записать, что матрица У >У , т.е. вектор оценок £ = (Z'A)-1^' К, полученный методом

наименьших квадратов, обладает меньшим рассеиванием относительно параметра р по сравнению с любым другим вектором несмещенных оценок.

М(е'е)=М[(ё-ёХ(Х'Х)-* X')(z-X(X'X)-] X' є)]= =М{г'г)-М [г'Х(Х'ХГх X' г]~М [г'Х(X' Х)~х Х'г)} + +М[ёХ(Х'Х)~х(Х'Х) (ХХ)~хХ'г. Так как последние два слагаемых взаимно уничтожаются, то

М(е'е)=М(г'г)-М[г'Х(Х'Х)-1 Хг]. (4.17) Первое слагаемое выражения (4.17)

М(г'е) = М £є? ] = £Л/(є2)=]Га2 = па1, (4.18)

і= / /=1 i=l

ибо в силу предпосылок 2,3 регрессионного анализа M{ej )=М(є, О)2 = £>(є,) = а2. Матрица В —X(X'X)~l X' симметрическая (§ 11.8), так как

В'= [Х(Х'Х)-*Х']'= Х(Х'ХГХ Х',т. е. В'= В.

п

Поэтому е'Ве представляет квадратическую форму

им

ее математическое ожидание

Последнюю сумму можно разбить на две составляющие суммы элементов на главной диагонали матрицы В и вне ее:

Второе слагаемое равно нулю в силу предпосылки 4 регрессионного анализа, т.е. А/(єІ-є7-)=0. Сумма диагональных элементов

матрицы В образует след матрицы tr(5)(§ 11.8). Получим

М(є'Вє) = І>йа2 = а2^Ьц = g4t(B). (4.19) Заменив матрицу В ее выражением, получим

М(е'Ве) = g2tr[X(X'X)~l X'] = а2ьфСХу1(ХХ) =

= o2tr(Ep+l)=o2{p + ),

так как след матрицы не меняется при ее транспонировании (см. § 11.14), т. е. tr(v4C)= tr(С4), а след единичной матрицы (т.е. сумма ее диагональных элементов) равен порядку этой матрицы. Теперь по формуле (4.17), учитывая (4.18) и (4.19), получим:

М(е'ё) = псу2 а2(р+1)=(п р 1) а2, т. е.

(п л

м(е'е) = М 5>2 = (л-р-і)а2. (4в20)

і= )

Равенство (4.20) означает, что несмещенная оценка s2 параметра а2или выборочная остаточная дисперсия ^определяется по формуле:

п-рп-р-1

Полученная формула легко объяснима. В знаменателе выражения (4-21) стоит я (р + 1), а не п—2, как это было выше в (3.26). Это связано с тем, что теперь (р+1) степеней свободы (а не две) теряются при определении неизвестных параметров, число которых вместе со свободным членом равно (р+1).

Можно показать, что рассмотренные в этом параграфе оценки b и s2 параметров (3 и а2 при выполнении предпосылки 5 регрессионного анализа о нормальном распределении вектора возмущений є (є ~ Nn (0;о2Еп)) являются независимыми. Для этого в данном случае достаточно убедиться в некоррелированности оценок bus2.