7.11. доступный (обобщенный) метод наименьших квадратов

7.11. доступный (обобщенный) метод наименьших квадратов

В § 7.1 рассматривалась обобщенная модель множественной регрессии

7= Хр+є. (7.46)

В случае, когда ковариационная матрица £ = Q = a2Q0 известна, как показано в § 7.2, наилучшей линейной несмещенной оценкой вектора р является оценка обобщенного метода наименьших квадратов (совпадающая с оценкой максимального правдоподобия)

b* = (X'Cl-lXylX'Cl-lY. (7.47)

Эта оценка получается из условия минимизации обобщенного критерия (7.14):

S=(Y-Xb)'Q -Y-Xb).

При рассмотрении нормальной обобщенной модели регрессии, т. е. в случае нормального закона распределения возмущений, т. е. є N„(0;a2Q0), оценка b* также распределена нормально:

**^(P;a2(rW).

На практике матрица возмущений Q почти никогда неизвестна, и, как уже было отмечено в § 7.2, оценить ее я(я+1)/3 параметров по п наблюдениям не представляется возможным.

Предположим, что задана структура матрицы Q (и соответственно Qq), т. е. форма ее функциональной зависимости от относительно небольшого числа параметров Oi, О2, 0W, т. е. матрица ]Г ^ = o2Q.0(Ql9Q2-->Qm)Например, в модели с автокоррелированными остатками (структура матрицы У определяется двумя параметрами а2 и 9і=р, так что матрица Qq имеет вид (см. § 7.10):

( 1 р ... р"-1}

[р»-* р»~2 ... 1 ) где р — неизвестный параметр, который необходимо оценить. Идея оценки матрицы ]Г = a2Q0 состоит в следующем.

Вначале по исходным наблюдениям находят состоятельные оценки параметров 9=(9ь О2,..., 9Л)'. Затем получают оценку параметра а2. В соответствии с (4.21) такая оценка для классической модели находится делением минимальной остаточной сумп

мы квадратов Yjef ~е'е на число степеней свободы (п~ р— 1). Для обобщенной модели соответствующая оценка

g'Qo'g _(Y-Xb*)n-0l{Y-Xb*)

n-p-l

(7.48)

Зная s}, вычисляем матрицу Хє = s?Q0. Доказано, что при

некоторых достаточно общих условиях использование полученных оценок в основных формулах обобщенного метода наименьших квадратов вместо неизвестных истинных значений а2 и ]Г = <j2Q0 даст также состоятельные оценки параметра р и ко-1

вариационной матрицы У о . Описанный метод оценивания нар

зывается доступным (или практически реализуемым) обобщенным методом наименьших квадратов.

Таким образом, оценкой доступного обобщенного метода наименьших квадратов вектора р есть

(7.49)

Применяя метод максимального правдоподобия (см. § 2.7, 3.4) для оценки нормальной обобщенной линейной модели регрессии, можно показать, что оценки максимального правдоподобия Р,0,а2 находятся из системы уравнений правдоподобия:

где е = Y-Х$ , Cj =

$ = (X'CltlX) -lX'CljlY9

a2 = —e'QQe, n

e'cie 1 / a . 1

—J— = ^tr[cjn09 j = l9...9m9

eil0le n

де,

(7.50) (7.51) (7.52)

Анализируя систему (7.50)—(7.52), видим, что оценки Р и а2 метода максимального правдоподобия совпадают с оценками Ь* и si обобщенного метода наименьших квадратов (правда, если

Р = Ь*, то ст2 «si с точностью до асимптотически устранимого смещения).

Для решения системы (7.50) — (7.52) иногда удается найти точное решение, однако чаще приходится прибегать к итерационной процедуре, например, двухшаговой.

1- й шаг. Вначале находят оценку метода максимального

правдоподобия $0=(ХХУ1Х'Ї , вычисляют остатки е{ = y Х$х

и решают полученную систему (7.50) — (7.52) при заданных остатках.

Находят т*1 вектор в{ и матрицу Q0(1) =fi0^(i))2- й шаг. Находят оценку вектора р по формуле (7.49):

^2 = (x,Qq1x)-1x,Qq1y.

Полученные таким образом оценки $(2) при некоторых, весьма

слабых предположениях (как, например, состоятельность оценок 6) будут асимптотически (при большом п) эквивалентны оценкам метода максимального правдоподобия, а значит, будут асимптотически эффективны в широком классе случаев. Описанная двухшаговая итерационная процедура была фактически реализована в процедуре Кохрейна—Оркатта (§ 7.10).

Упражнения

7.7. В таблице приведены данные по 18 наблюдениям модели пространственной выборки:

Предполагая, что ошибки регрессии представляют собой нормально распределенные случайные величины, проверить гипотезу о гомоскедастичности, используя тест Голдфелда— Квандта.

При оценивании модели пространственной выборки обычным методом наименьших квадратов получено уравнение:

у = 3 + 0,6*! -1,2х2.

Уравнение регрессии квадратов остатков на квадраты регрес-соров имеет вид:

ё2 = 2 + 0,3*2 + 01х2. Я2=02,

Зная, что объем пространственной выборки я=200, проверить гипотезу Уайта о гомоскедастичности модели.

При оценивании модели пространственной выборки с помощью обычного метода наименьших квадратов получено следующее уравнение:

j> = 12 + 3,43jc! -0,45л:2; d = l,2.

(0,1) (0,4) (0,1) При осуществлении регрессии квадратов остатков на квадраты регрессоров получено уравнение вида:

ё2 =4 + 2*2 + 0,4*22.

(0,7) (0,3)

Объем выборки «=3000. С какими из перечисленных ниже выводов следует согласиться:

а) полученные значения коэффициентов модели с большой

вероятностью близки к истинным;

б) регрессор Х2 может быть незначимым;

в) так как значение статистики Дарбина—Уотсона d далеко

от двух, следует устранить автокорреляцию остатков?

7.10. При оценивании модели временного ряда получены

следующие результаты.

Уравнение модели имеет вид:

й =2-1,2/; </ = 1,9.

(0,7)

С какими из перечисленных ниже выводов следует согласиться:

а) так как значение статистики Дарбина—Уотсона d близко к

двум, автокорреляция остатков отсутствует;

б) коэффициент модели при / значим;

в) если объем выборки достаточно велик, значение коэффициента при / в любом случае с большой вероятностью

близко к истинному;

г) применение теста Бреуша—Годфри может выявить автокорреляцию остатков между отдаленными наблюдениями?

При оценивании модели временного ряда методом наименьших квадратов получены следующие результаты:

j>, =12-0,2*; я? = 1,8.

(0,01)

Известно, что количество наблюдений я=150. С помощью теста Льюинга—Бокса проверить гипотезу об отсутствии автокорреляции первого порядка.

Применение теста Льюинга—Бокса дает следующие результаты:

Ряд остатков идентифицируется с помощью модели ARM А (/?, q). Какие значения р и q целесообразно выбрать на основе полученных результатов тестирования?