7.2. обобщенный метод наименьших квадратов

7.2. обобщенный метод наименьших квадратов

Вопрос об эффективности линейной несмещенной оценки вектора р для обобщенной регрессионной модели решается с помощью следующей теоремы.

Теорема Айткена. В классе линейных несмещенных оценок вектора р для обобщенной регрессионной модели оценка

b* = (X'Огх Х)~х X'OrxY (7.7)

имеет наименьшую ковариационную матрицу.

Доказательство. Убедимся в том, что оценка Ь* является несмещенной. Учитывая (7.1), представим ее в виде:

b* = (X'Q.-]X)-1 Х'П1 (Х$ + є) = = (Х'П-1Х)-1(Х'П-1Х)Р + (Х'П-]Х)1Х'П-1& = = Р + (X'Q.-lXyl Х'П~1е. (7.8)

Математическое ожидание оценки b* 9 т.е. м(б*)=р, ибо

м(е) = 09 т. е. оценка Ь* есть несмещенная оценка р.

Для доказательства оптимальных свойств оценки Ь* преобразуем исходные данные — матрицу х9 вектор y и возмущение є к виду, при котором выполнены требования классической модели регрессии.

Из матричной алгебры известно, что всякая невырожденная симметричная (п*п) матрица а допускает представление в виде а=рр', где р — некоторая невырожденная (п *п) матрица.

Поэтому существует такая невырожденная (п*п) матрица р, что

п = рр' (7.8')

(представление матрицы Q в виде (7.8') не единственно, но для нас это не имеет значения).

Учитывая свойства обратных квадратных матриц, т. е.

{ав)~1 -в~ха~х и (р')~1 =(р~1)' 9 это означает, что

Q-i =(р-і)'р-і. (7.9)

Заметим, что если обе части равенства (7.8') умножить слева на матрицу р~х9 а справа — на матрицу (р')~1=(р~1)', то в произведении получим единичную матрицу.

Действительно,

р-1п(р')-{ = р-рр')(р'УХ =(р-хр)рр'УХ = Еп9

т. е. р-{п(р-{") = Е„. (7.10)

Теперь, умножив обе части обобщенной регрессионной модели y= ЛГр+є на матрицу р~х слева, получим

П=**Р+£*, (7Л1)

где y=p-1 y9 х=р-1 х9 г=г1г. (7.12)

Убедимся в том, что модель (7.11) удовлетворяет всем требованиям классической линейной модели множественной регрессии (§ 4.2):

м(є*) = м(р-]є)=р-1м(є) = 09 ибо А/(є) = 0; ^г=м{гЛ) = М (р-Хгр-Хг') =М P-lee'(p-{)j

= р-Ш(гг')(р-])'=р-]п(р-]ї = Еп (учитывая (7.10));

r(X)=p + 1 < n (так как матрица Р — невырожденная).

Следовательно, на основании теоремы Гаусса—Маркова наиболее эффективной оценкой в классе всех линейных несмещенных оценок является оценка (4.8), т. е.

Ь* =(Х:Х*У1ХХ. (7.13)

Возвращаясь к исходным наблюдениям X и Y и учитывая (7.9), получим

Ъ* = [(P-lX)'(P-lX)]-l(P-lX)'P-lY = = [Х'(Р-{ УР~ХХ]~Х ХР'Х yP~lY = {Xі П-{Х)-{ Xі nlY,

т. е. выражение (7.7), что и требовалось доказать.

Нетрудно проверить, что в случае классической модели, т. е. при выполнении предпосылки ]Г = Q = а2Еп, оценка обобщенного метода наименьших квадратов Ь* (7.7) совпадает с оценкой «обычного» метода Ъ (4.8).

При выполнении предпосылки 5 о нормальном законе распределения вектора возмущений є можно убедиться в том, что оценка Ь* обобщенного метода наименьших квадратов для параметра р при известной матрице Q совпадает с его оценкой, полученной методом максимального правдоподобия.

В соответствии с (4.3) оценка b* =(xlX*)~lXIY* является точкой минимума по Ъ остаточной суммы квадратов

S = Z = еЦе. = (К Х*Ъ) (У. -XJb).

Переходя к исходным наблюдениям,

S = [P~l (Y Щ[Р~Х (Y ХЪ)] =

= (Y ХЬ)Р-Х УР-1 (Y-Xb) = (YXb) Q"1 (У ХЬ) =

= е'П-1е, (7.14)

т. е. оценка Ь* обобщенного метода наименьших квадратов может быть определена как точка минимума обобщенного критерия е'С1~{е (7.14).

Следует отметить, что для обобщенной регрессионной модели, в отличие от классической, коэффициент детерминации, вычисленный по формуле (4.33')

(где 6* — оценка обобщенного метода наименьших квадратов (7.7)), не является удовлетворительной мерой качества модели. В общем случае R2 может выходить даже за пределы интервала [0;1], а добавление (удаление) объясняющей переменной не обязательно приводит к его увеличению (уменьшению).

Причина состоит в том, что разложение общей суммы квадратов Q на составляющие Qr и Qe (см. § 4.6) выводилось в предположении наличия свободного члена в обобщенной модели. Однако, если в исходной модели (7.1) содержится свободный член, то мы не можем гарантировать его присутствие в преобразованной модели (7.11). Поэтому коэффициент детерминации R2 в обобщенной модели может использоваться лишь как весьма приближенная характеристика качества модели.

В заключение отметим, что для применения обобщенного метода наименьших квадратов необходимо знание ковариационной матрицы вектора возмущений Q, что встречается крайне редко в практике эконометрического моделирования. Если же считать все л(л+1)/2 элементов симметричной ковариационной матрицы Q неизвестными параметрами обобщенной модели (в дополнении к (р+1) параметрам р,), то общее число параметров значительно превысит число наблюдений л, что сделает оценку этих параметров неразрешимой задачей. Поэтому для практической реализации обобщенного метода наименьших квадратов необходимо вводить дополнительные условия на структуру матрицы Q. Так мы приходим к практически реализуемому (или доступному) обобщенному методу наименьших квадратов, рассматриваемому в § 7.11.

Далее рассмотрим наиболее важные и часто встречающиеся виды структур матрицы Q.