63. устранение автокорреляции остатков модели регрессии

63. устранение автокорреляции остатков модели регрессии

В связи с тем, что наличие в модели регрессии автокорреляции между остатками модели может привести к негативным результатам всего процесса оценивания неизвестных коэффициентов модели, автокорреляция остатков должна быть устранена.

Устранить автокорреляцию остатков модели регрессии можно с помощью включения в модель автокорреляционного параметра, однако на практике данный подход реализовать весьма затруднительно, потому что оценка коэффициента автокорреляции является величиной заранее неизвестной.

Авторегрессионной схемой первого порядка называется метод устранения автокорреляции первого порядка между соседними членами остаточного ряда в линейных моделях регрессии либо моделях регрессии, которые можно привести к линейному виду.

На практике применение авторегрессионной схемы первого порядка требует априорного знания величины коэффициента автокорреляции. Однако в связи с тем, что величина данного коэффициента заранее неизвестна, в качестве его оценки рассчитывается выборочный коэффициент остатков первого порядка ρ1.

Выборочный коэффициент остатков первого порядка ρ1 рассчитывается по формуле:

В общем случае коэффициент автокорреляции порядка l рассчитывается по формуле:

где l – временной лаг;

T – число наблюдений;

t – момент времени, в который осуществлялось наблюдение;

– среднее значение исходного временного ряда.

Предположим, что на основе собранных наблюдений была построена линейная парная модель регрессии:

yt=β0+β1xt+εt.(1)

Рассмотрим применение авторегрессионной схемы первого порядка на примере данной модели.

Исходная линейная модель парной регрессии с учётом процесса автокорреляции остатков первого порядка в момент времени t может быть представлена в виде:

yt=β0+β1xt+ρεt-1+νt,.

εt=ρεt-1+νt,

где ρ – коэффициент автокорреляции, |ρ|<1;

νt – независимые, одинаково распределённые случайные величины с нулевым математическим ожиданием и дисперсией G2(νt).

Модель регрессии в момент времени (t-1) может быть представлена виде:

yt-1=β0+β1xt-1+εt-1.(2)

Если модель регрессии в момент времени (t-1) умножить на величину коэффициента автокорреляции β и вычесть её из исходной модели регрессии в момент времени t, то в результате мы получим преобразованную модель регрессии, учитывающую процесс автокорреляции первого порядка:

Для более наглядного представления преобразованной модели воспользуемся методом замен:

Yt=yt–ρyt-1;

Xt=xt–ρxt-1;

Zt=1– ρ.

В результате преобразованная модель регрессии примет вид:

Yt= Zt* β0+β1 Xt+ νt. (4)

В преобразованной модели регрессии случайная ошибка βt не подвержена процессу автокорреляции, поэтому можно считать автокорреляционную зависимость остатков модели устранённой.

Авторегрессионную схему первого порядка можно применить ко всем строкам матрицы данных Х, кроме первого наблюдения. Однако если не вычислять Y1 и X1, то подобная потеря в небольшой выборке может привести к неэффективности оценок коэффициентов преобразованной модели регрессии. Данная проблема решается с помощью поправки Прайса-Уинстена. Введём следующие обозначения:

Тогда оценки неизвестных коэффициентов преобразованной модели регрессии (4) можно рассчитать с помощью классического метода наименьших квадратов:

Оценки коэффициентов исходной модели регрессии (1) определяются по формулам:

В результате оцененная модель регрессии будет иметь вид:

64. Методы Кохрана-Оркутта и Хилдрета-Лу оценки коэффициента автокорреляции

Помимо вычисления выборочного коэффициента автокорреляции остатков оценку автокорреляционного коэффициента β можно рассчитать методом Кохрана-Оркутта.

Предположим, что на основе собранных наблюдений была построена линейная парная модель регрессии:

yt=β0+β1xt+εt.(1)

Рассмотрим применение метода Кохрана-Оркутта оценки коэффициента автокорреляции на примере данной модели.

Осуществление метода Кохрана-Оркутта происходит в несколько этапов.

1) оценки неизвестных коэффициентов исходной модели регрессии определяются классическим методом наименьших квадратов. В результате мы получим оценённую модель регрессии вида:

2) на основании исходной (1) и оценённой (2) моделей регрессии рассчитываются остатки модели:

3) рассчитывается выборочный автокорреляционный коэффициент первого порядка по формуле:

С помощью данного коэффициента можно оценить авторегрессионную зависимость остатков:

4) строится преобразованная модель регрессии. Модель регрессии в момент времени (t-1) может быть представлена виде yt-1=β0+β1xt-1+εt-1.(3). Если модель регрессии в момент времени (t-1) умножить на величину коэффициента автокорреляции β и вычесть её из исходной модели регрессии в момент времени t, то в результате мы получим преобразованную модель регрессии, учитывающую процесс автокорреляции первого порядка:

Для более наглядного представления преобразованной модели воспользуемся методом замен:

Yt=yt–ρyt-1;

Xt=xt–ρxt-1;

Zt=1– ρ.

В результате преобразованная модель регрессии примет вид:

Yt= Zt* β0+β1 Xt+ νt. (5)

5) оценки неизвестных коэффициентов преобразованной модели регрессии рассчитываются с помощью традиционного метода наименьших квадратов:

Далее рассчитываются оценки коэффициентов исходной модели регрессии по формулам:

В результате полученную модель регрессии можно представить в виде:

6) на заключительном этапе вновь вычисляются остатки et между исходной (1) и преобразованной оценённой (7) моделями регрессии, и процесс повторяется с третьего этапа.

Метод Кохрана-Оркутта является итеративным методом оценивания. Его основное отличие состоит в том, что процесс итеративного оценивания исходной модели регрессии сходится или останавливается при условии, если последнее вычисленное значение оценки коэффициента автокорреляции первого порядка ρ1 почти не отличается от своего предыдущего значения.

Другим методом вычисления оценки коэффициента автокорреляции является метод Хилдрета-Лу.

В этом случае коэффициент автокорреляции задаётся двумя параметрами: диапазоном и величиной шага. Например, коэффициента автокорреляции ρ1 заключается в пределах [-1;+1], и его значения вычисляются с шагом 0,02.

Для каждого из значений коэффициента автокорреляции с помощью метода разностей строится преобразованная модель регрессии вида:

Yt= Zt* β0+β1Xt+ νt,

где Yt=yt–ryt-1;

Xt=xt–rxt-1;

Zt=1–r.

Далее оценки неизвестных коэффициентов преобразованной модели регрессии рассчитываются с помощью классического метода наименьших квадратов:

Оценкой коэффициента автокорреляции первого порядка ρ1 будет являться то значение коэффициента, с помощью которого вычисляется минимальная сумма квадратов отклонений теоретических значений от расчётных значений (на основе преобразованной модели регрессии).

Оценки неизвестных коэффициентов результативной модели регрессии рассчитываются по формулам:

65. Обобщённая модель регрессии. Обобщённый метод наименьших квадратов. Теорема Айткена

МНК-оценки неизвестных коэффициентов модели регрессии, чьи случайные ошибки подвержены явлениям гетероскедастичности или автокорреляции, не будут удовлетворять теореме Гаусса-Маркова. Свойствами состоятельности и несмещённости МНК-оценки будут обладать, однако свойство эффективности в этом случае утрачивается.

Для вычисления оценок неизвестных коэффициентов модели регрессии с гетероскедастичными или коррелированными случайными ошибками используется обобщённый метод наименьших квадратов. Оценки, полученные с помощью данного метода, будут удовлетворять условиям состоятельности, несмещённости и эффективности.

В основе нормальной линейной модели регрессии среди прочих лежат условия о некоррелированности и гомоскедастичности случайных ошибок:

1) дисперсия случайной ошибки модели регрессии является величиной, постоянной для всех наблюдений:

2) случайные ошибки модели регрессии не коррелированны между собой, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю:

Определение. Обобщённой линейной моделью регрессии называется модель, для которой нарушаются условия о гомоскедастичности и некоррелированности случайных ошибок.

Таким образом, обобщённая линейная модель регрессии характеризуется неоднородностью дисперсий случайных ошибок:

D(εi)≠ D(εj)≠G2≠const, где i≠j,

и наличием автокорреляции случайных ошибок:

Cov(εi,εj)≠E(εi,εj)≠0 (i≠j).

Матричный вид обобщённой линейной модели регрессии:

Y=X* β+ε,

где X – неслучайная матрица факторных переменных;

ε – случайная ошибка модели регрессии с нулевым математическим ожиданием E(ε)=0 и дисперсией G2(ε):

ε~N(0;G2Ω),

Ω  – ковариационная матрица случайных ошибок обобщённой модели регрессии.

Для нормальной линейной модели регрессии дисперсия случайной ошибки определялась на основе условия гомоскедастичности:

где G2=const – дисперсия случайной ошибки модели регрессии ε;

In – единичная матрица размерности n*n.

Для обобщённой модели регрессии ковариационная матрица случайных ошибок строится на основе условия непостоянства дисперсий остатков модели регрессии (гетероскедастичности) D(εi)≠ D(εj)≠G2≠const:

Отличие между нормальной линейной моделью регрессии и обобщенной линейной моделью регрессии заключается в матрице ковариаций случайных ошибок модели.

Теорема Айткена. В классе линейных несмещённых оценок неизвестных коэффициентов обобщённой модели регрессии оценка

будет иметь наименьшую ковариационную матрицу.

Общая формула для расчёта матрицы ковариаций ОМНК-оценок коэффициентов обобщенной модели регрессии имеет вид:

Величина G2(ε)  оценивается по формуле:

Однако значение G2(ε)  не следует трактовать как дисперсию случайной ошибки модели регрессии.

Коэффициент детерминации не используется при оценке качества обобщённой линейной модели регрессии, потому что он не отвечает требованиям, предъявляемым к обычному множественному коэффициенту детерминации.

Проверка гипотез о значимости коэффициентов обобщенной линейной модели регрессии и модели регрессии в целом осуществляется с помощью тех же статистических критериев, что и в случае нормальной линейной модели регрессии.