2. устранение автокорреляции остатков регрессионной модели

2. устранение автокорреляции остатков регрессионной модели

Устранение проблемы автокорреляции остатков является необходимым этапом в оценивании регрессионной модели в связи с теми негативными последствиями, к которым может привести корреляционная зависимость между значениями случайных ошибок.

Один из наиболее простых методов борьбы с автокорреляцией остатков — это включение в регрессионную модель автокорреляционного параметра, но на практике данный подход реализовать невозможно, так как оценка коэффициента автокорреляции — величина заранее неизвестная.

Иным методом устранения автокорреляции первого порядка между соседними членами остаточного ряда в линейных регрессионных моделях либо моделях, сводящихся к линейным, является авторегрессионная схема первого порядка. Однако для ее применения необходимо знать величину коэффициента автокорреляции. Так как величина данного коэффициента на практике неизвестна, то в качестве его оценки используется выборочный автокорреляционный коэффициент остатков первого порядка который определяется по формуле:

T

е e<e<-і р = і=j=2t—

е e>

t = 2

Коэффициент автокорреляции порядка l вычисляется по общей формуле:

—*Е(х,х )x(x+.x)

T *Е(х>x )2

где l — временной лаг; T — число наблюдений;

t — момент времени, в который осуществлялось наблюдение; х — среднее значение фактического динамического ряда. Рассмотрим применение авторегрессионной модели первого порядка на примере парной регрессионной модели вида:

yt =А +ві Xt +є,. (і)

С учетом процесса автокорреляции остатков первого порядка данную регрессионную модель можно представить следующим образом:

у, = Л+М +рє,—1+v,,

є, =Р£,—1 + v,

гдер — коэффициент автокорреляции, р| < 1;

vt — независимые, одинаково распределенные случайные величины с нулевым математическим ожиданием и дисперсией

Регрессионное уравнение (1) в предыдущий момент времени (, — 1)определялось как:

У,—1 = Д, + Ах,—1 +є,—1. (2) Если второе регрессионное уравнение в момент времени (, — 1) умножить на величинур и вычесть его из первого регрессионного уравнения, то получим преобразованное регрессионное уравнение с учетом автокорреляции первого порядка:

у, = Л+Лх,+рє,—1 + v,—ру,—1 = рво +рАх,—1 +рє,—р

у, —ру,—1 =во (1 — р)+ Рх (х, —рх,—1) + v,. (3)

К преобразованному регрессионному уравнению применим метод замен. Пусть

Y, = у, —ру,—1; X, = х,— рх,—1; Zt =1 —р.

С учетом замен регрессионное уравнение (3) может быть записано следующим образом:

Y, = Z, +в xX, + v,. (4)

Случайная ошибка vt преобразованной формы не подвержена процессу автокорреляции, поэтому в регрессионном уравнении (4) корреляционная зависимость остатков устранена.

Подобное преобразование методом разностей можно применить ко всем строкам матрицы данных X, кроме первого наблюдения.

Если не вычислять Y1 и X1, то подобная потеря в небольшой выборке может привести к неэффективности оценок коэффициентов регрессии преобразованного уравнения.

Для решения данной проблемы применяется поправка Прай-са-Уинстена:

XX 1-Р2 X х{;

Zі =^/Ї-7.

Оценки неизвестных коэффициентов регрессионного уравнения (4) вычисляются с помощью классического метода наименьших квадратов:

Yt = b0 + ЪХ XX,.

Оценки коэффициентов регрессии исходного уравнения (Ї) определяются следующим образом:

в0 (1-Р);

А=а.

Тогда конечное регрессионное уравнение можно записать как: У, = во + ві Xх,.

J. Метод Кохрана-Оркутта. Метод Хилдрета-Лу

Оценку автокорреляционного коэффициента р можно найти через формулу выборочного коэффициента автокорреляции остатков. Однако есть и другой способ оценки величины р, который носит название метода Кохрана-Оркутта. Рассмотрим применение данного метода на основе парной регрессионной модели вида:

y, =Д +ЛХ,+е,.

Алгоритм метода Кохрана-Оркутта реализуется в несколько этапов.

На первом этапе исходное регрессионное уравнение У, = в0 + +£, (1) оценивается традиционным методом наименьших квадратов: У(ґ= в0 + в X х, (2).

На основании исходного (1) и оцененного (2) уравнений регрессии вычисляются остатки модели: et = y — y, где , = 1,7'.

На третьем этапе вычисляется выборочный автокорреляционный коэффициент первого порядка по формуле:

T

2e>e>—1

r = i=2

,=2

Данный коэффициент позволяет оценить авторегрессионную зависимость остатков: ё1 = р1 х el—1, где р1 = r1.

Строится преобразованное уравнение регрессии. Исходное регрессионное уравнение в предыдущий момент времени (, — 1) определялось как: у,—1 = во + вл—1 +єІ—1 (3). Если регрессионное уравнение (3) в момент времени (, — 1) умножить на величину р и вычесть его из регрессионного уравнения (1), то получим преобразованное регрессионное уравнение с учетом автокорреляции первого порядка:

у,— ру,—1 = А(1—р)+А (х, —рх,—1) + v,.

Воспользовавшись методом замен, приведем преобразованное уравнение к виду

y = Z, хво +А х X, + v,, (4)

где Y, = у, —ру,—1;

x, = х, —рх,—1; Zt = 1 — р.

Оценки неизвестных коэффициентов преобразованного уравнения регрессии вычисляются традиционным методом наименьших квадратов:

Y = 4+b х x,. (5)

Далее определяются оценки коэффициентов регрессии исходного уравнения следующим образом:

во= (1—р); А =*

Конечное регрессионное уравнение можно записать как:

у(?=~во + А х х,. (6)

6. На последнем этапе вновь вычисляются регрессионные остатки et между исходным (1) и преобразованным оцененным (6) уравнениями регрессии, и процесс повторяется с третьего этапа.

Метод Кохрана-Оркутта относится к итеративным методам оценивания. Процесс итеративного оценивания исходного регрессионного уравнения сходится или останавливается при условии, если вновь вычисленное значение оценки автокорреляционного коэффициента первого порядка рх почти не отличается от своего предыдущего значения. Метод Кохрана-Оркутта характеризуется достаточно быстрой сходимостью.

Более трудоемким по сравнению с предыдущими приемами оценки автокорреляционного коэффициента является метод Хилдрета-Лу.

Коэффициент автокорреляции задается в данном случае двумя параметрами: диапазоном и величиной шага. Например, рх заключается в пределах [ - Его значения определяются исходя из шага 0,05.

Для каждого из значений коэффициента автокорреляции с помощью метода разностей строится преобразованное регрессионное уравнение вида:

Y, = Z, х& +01 хX, + v,,

где Yt = yt ryt—1;

Xt = xt rxt—1; Z, = 1 r.

Оценки неизвестных коэффициентов преобразованного уравнения регрессии вычисляются традиционным методом наименьших квадратов:

It, = b0 +b х X,.

То из значений коэффициента автокорреляции, с помощью которого вычисляется минимальная сумма квадратов отклонений теоретических значений от расчетных значений (на основании преобразованного регрессионного уравнения), является оценкой коэффициента автокорреляции pv Далее вычисляются оценки конечного уравнения регрессии по формулам:

Если в линейной регрессионной модели случайные ошибки подвержены явлениям гетероскедастичности или автокорреляции, то оценки коэффициентов регрессионного уравнения, полученные с помощью традиционного метода наименьших квадратов, не будут удовлетворять основным статистическим свойствам.

Характеристики состоятельности и несмещенности оценки сохранятся, однако свойство эффективности в этом случае утрачивается, т. е. не выполняется теорема Гаусса-Маркова.

Состоятельные, несмещенные и эффективные оценки коэффициентов регрессионной модели с гетероскедастичными или коррелированными случайными ошибками определяются с помощью обобщенного метода наименьших квадратов (ОМНК).

Нормальная линейная регрессионная модель строится на основании следующих предпосылок о случайных ошибках:

дисперсия случайной ошибки уравнения регрессии является величиной, постоянной для всех наблюдений:

D (є) = Е(є2) = G2 = const;

случайные ошибки уравнения регрессии не коррелированы между собой, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю:

Cov^i ,є j) = Е(є;є;) = 0, где i ч j.

В случае гетероскедастичности остатков нарушается первое из перечисленных свойств D(є,) ч D (є,) 2 ч const,

где i ч j, а в случае автокорреляции остатков нарушается второе свойство Cov^i , є^) ч Е(єі є^) ч 0. Регрессионная модель, для которой не выполняются указанные свойства, называется обобщенной линейной регрессионной моделью.