7.1. обобщенная линейная модель множественной регрессии

7.1. обобщенная линейная модель множественной регрессии

Обобщенная линейная модель множественной регрессии (Generalized Linear Multiple Regression model)

У = Хр + є, (7.1)

в которой переменные и параметры определены так же, как в § 4.1, описывается следующей системой соотношений и условий:

є — случайный вектор; X — неслучайная (детерминированная) матрица;

М(є)=(Ц

3. ]Ге =А/(єє') = 0, где Q — положительно определенная

матрица;

4. г(Х) = р+Кп,

где р — число объясняющих переменных; п — число наблюдений.

Сравнивая обобщенную модель с классической (§ 4.2), видим, что она отличается от классической только видом ковариационной матрицы: вместо ^ е=а2Еп для

классической модели имеем Хє=^ обобщенной. Это означает, что в отличие от классической, в обобщенной модели ковариации и дисперсии объясняющих переменных могут быть произвольными. В этом состоит суть обобщения регрессионной модели.

Для оценки параметров модели (7.1) можно применить обычный метод наименьших квадратов.

Оценка Ь = {ХХУ1ХГ, полученная ранее и определенная соотношением (4.8), остается справедливой и в случае обобщенной модели. Оценка Ъ по-прежнему несмещенная (доказательство точно такое же, как приведенное в § 4.2) и состоятельная.

Однако полученная ранее формула для ковариационной матрицы вектора оценок У оказывается неприемлемой в условиях

обобщенной модели.

Действительно, учитывая (4.15), получим для обобщенной модели

X ^ = (х'х)-1Х'М{єє')х{Х'Х)-1 = (xXYlX'QX(XX)(7.2) в то время как для классической модели имели по формуле (4.16)

\%ь = а2(ХХу. (7.3) Найдем математическое ожидание остаточной суммы квадратов

п

Y,ef=efe. Используя преобразования, аналогичные приведенні

ным в § 4.4, можно показать1, что для обобщенной модели

1 См., например, [1] или [13].

М(е'е) = ЩЕп Х(Х*Х)-Х X') Q], (7.4)

т. е. в соответствии с (4.21)

е е

M(s2) = M

(7.5)

ЩЕ„-Х(Х'Х)-]Х')П]

■р-1

п-ргде символ tr означает след соответствующей матрицы (§ 11.2).

Следовательно, если в качестве оценки ковариационной матрицы У в соотношении (7.3) заменить а2 на я2, т. е. взять

матрицу У = s2(X'X)~], то ее математическое ожидание

М{±Л = М{3^ХХГ = tT[(E" №)"'J')ni {хху (7.6)

V J np-l

в общем случае не совпадает с ковариационной матрицей, определенной соотношением (7.2). Это означает, что обычный метод наименьших квадратов в обобщенной линейной регрессионной модели дает смещенную оценку ковариационной матрицы У вектора оценок Ъ.

Оценка Ъ, определенная по (4.8), хотя и будет состоятельной, но не будет оптимальной в смысле теоремы Гаусса—Маркова. Для получения наиболее эффективной оценки нужно использовать другую оценку, получаемую так называемым обобщенным методом наименьших квадратов.