Лекция № 23. стационарные ряды. модель авторегрессии и проинтегрированного скользящего среднего (arima). показатели качества модели арпсс. критерий дики-фуллера

Лекция № 23. стационарные ряды. модель авторегрессии и проинтегрированного скользящего среднего (arima). показатели качества модели арпсс. критерий дики-фуллера

го изменяются уровни, является величиной неизменной:

E(y) = У = const;

постоянная дисперсия стационарного ряда, определяющая размах его колебаний относительно среднего значения х: D(y)=E(y t y)2 = G2(y) = const;

постоянная автоковариация стационарного ряда с лагом J, т. е. ковариация между значениями х1 и х1+1, отделенными интервалом в J единиц времени, определяемая по формуле:

rj(y,)= cov(y,,y,+j)=E[(y, -y)(y,+j -y)].

Для стационарных рядов автоковариация зависит только от величины лага J, поэтому RJ = 0(y) = G2(y); 4) постоянство коэффициентов автокорреляция стационарного ряда с лагом J, т. е. автокорреляция является нормированной автоковариацией:

так как для стационарного процесса G 2(y) = const. Коэффициент автокорреляции порядка J равен:

E[(y, y)(y,+j y)] _E[(y, y)(y,+j y )]

Временной ряд, не удовлетворяющий вышеперечисленным свойствам, называется нестационарным временным рядом.

Частным случаем стационарных временных рядов является случайный процесс, называемый белым шумом.

Случайная последовательность значений y1,y2, yN называется белым шумом, если ее математическое ожидание равно нулю, т. е. E(Y) = 0, где , = 1,N, ее элементы являются некоррелированными (независимыми друг от друга) одинаково распределенными величинами, а дисперсия постоянна — D( Y) = G2 = const.

Белый шум является абсолютно теоретическим процессом, который реально не существует, однако он представляет собой очень важную математическую модель, которая широко применяется при решении множества практических задач.

1. Линейные модели стационарного временного ряда

Модели авторегрессии и скользящего среднего являются основными линейными моделями стационарных временных рядов. Стохастический временной ряд называется стационарным, если его математическое ожидание, дисперсия, автоковариация и автокорреляция остаются неизменными во времени. Исходя из данного определения можно ввести для временного ряда модель авторегрессии порядка p. В этом случае уровень временного ряда представляется в виде:

где p — это порядок авторегрессии,

dt — коэффициенты авторегрессии, подлежащие оцениванию,

v— белый шум (т. е. случайная величина с нулевым математическим ожиданием).

На практике чаще всего используются модели первого, второго, максимум третьего порядков. Авторегрессионная модель порядка p обозначается как AP(p) или AR(p).

Модель авторегрессии первого порядка AP(1) может быть записана в виде равенства:

y, —dy,—1 +v,.

Данная модель называется марковским процессом, так как значения переменной у в текущий момент времени і зависят только от значений переменной у в предыдущий момент времени (t — 1). Для модели AP(1) действует ограничение д < 1.

Модель авторегрессии второго порядка AP(2) можно записать как:

Данная модель имеет название процесс юла. На коэффициенты авторегрессионной модели второго порядка накладываются следующие дополнительные ограничения:

(4 +^2 )<1, 0*2 —4 )<1,

д2 <1.

Другой разновидностью линейных моделей стационарных временных рядов является модель скользящего среднего.

Простой класс моделей временных рядов с конечным числом параметров можно получить, представив уровень временного ряда в виде алгебраической суммы членов ряда белого шума с числом слагаемых q.

Общая модель скользящего среднего порядка q имеет вид:

yt = Vt —<Р1 X Vt —1 — <2 X Vt —2 — ---—<Pq X Vt —q ,

где q — это порядок скользящего среднего;

<pt — неизвестные коэффициенты, подлежащие оцениванию; vt — белый шум.

Модель скользящего среднего порядка q обозначается как CC(q) или MA(q). Как и в случае авторегрессионных моделей, наиболее широко применяются модели скользящего среднего первого и второго порядков — СС(1) и СС(2).

Коэффициенты модели скользящего среднего порядка q не обязательно должны в сумме давать единицу и не обязательно должны быть положительными.

Для достижения большей гибкости при построении модели изучаемых временных рядов полезно включать в нее и авторегрессионные члены, и члены скользящего среднего. Такая модель называется смешанной моделью авторегрессии скользящего среднего. Она обозначается как APCC(p,q) или ARMA(p,q). Модель APCC(p,q) также является линейной моделью стационарных временных рядов.

Наибольшее применение получила смешанная модель с одним параметром авторегрессии p = 1 и одним параметром скользящего среднего q = 1. Она записывается как APCC(1, 1):

у, = dX у,—1 + v, —<Xv,—1,

где д — параметр авторегрессии;

< — параметр скользящего среднего; vt — белый шум.

Условие, обеспечивающее стационарность данной модели, — это ограничение |д| <1,а условие, обеспечивающее обратимость, — это ограничение |<< < 1.

Модель APCC(p,q) отвечает свойству обратимости, т. е. описанное выше уравнение процесса скользящего среднего можно обратить (переписать) в виде уравнения авторегрессии неограниченного порядка, и наоборот.

2. Модель авторегрессии и проинтегрированного скользящего среднего (ARIMA)

Модель, используемая при моделировании нестационарных временных рядов, называется моделью авторегрессии и проинтегрированного скользящего среднего — АРПСС или ARIMA.

В основе данной модели лежат два процесса:

процесс авторегрессии:

хІ = а + дх Xх--1 + ^2 xх--2 + ...+ Є,

где а — константа (свободный член); д1,д2 — параметры авторегрессии; є — случайное воздействие (ошибка).

процесс скользящего среднего:

х, = ц + є1-вх Xє-1 -в2 Xєі-2 где ц — константа;

ВХ,В2... — параметры скользящего среднего;

є — случайное воздействие (ошибка). Общий вид модели среднего значения однофакторного динамического процесса описывается следующей формулой:

RM

yt =C +1 ARiy +1 MAjЄj + Є, i=1 j=1

где С — константа;

Є — некомпенсированный моделью случайный остаток.

В оригинальных обозначениях Бокса и Дженкинса модель ARIMA записывается как ARIMA (p, d, q), где p — параметры авторегрессии;

d — порядок разностного оператора;

q — параметры скользящего среднего.

Для рядов с периодической сезонной компонентой применяется АРПСС с сезонностью, которая в обозначениях Бокса и Дженкинса записывается как АРПСС (p, d, q) (ps, ds, qs), где параметры во второй скобке соответственно называются «сезонная авторегрессия», «сезонная разность» и «сезонное скользящее среднее».

Аппроксимация временного ряда с помощью модели АРПСС происходит в несколько этапов.

Проверка ряда на стационарность. Ряд является стационарным, если он имеет постоянные по времени средние, дисперсию и автокорреляцию с удаленными сезонной, циклической и трен-довой составляющей. Такой ряд называется стационарным рядом случайных остатков.

Проверить исходной ряд на стационарность можно с помощью автокорреляционной функции (АКФ) и частной автокорреляционной функции (ЧАКФ) остатков. Остатки представляют собой разности наблюдаемого временного ряда и значений, вычисленных с помощью модели.

Применение модели АРПСС предполагает обязательную стационарность исследуемого ряда. Временной ряд к стационарному виду приводят с помощью применения разностных операторов, порядок которых определяется параметром (d).

Идентификация порядка модели и оценивание ее параметров. На этом этапе необходимо решить, как много параметров p и q должно присутствовать в модели процесса. Основными инструментами идентификации модели АРПСС являются АКФ и ЧАКФ.

Во время оценивания порядка модели используется квазиньютоновский алгоритм максимизации правдоподобия наблюдения значений ряда по значениям параметров. Во время итераций минимизируется (условная) сумма квадратов остатков модели.

Для оценки параметров используется t-статистика Стьюдента. Если значения вычисляемой t-статистики незначимы, соответствующие параметры в большинстве случаев удаляются из модели без ущерба подгонки.

Прогноз. Полученные оценки параметров используются на последнем этапе для вычисления нового значения ряда и построения доверительного интервала для прогноза.

Показателем качества построенной модели АРПСС является анализ остатков. Модель АРПСС адекватно описывает исходные данные, если остатки модели являются некоррелированными нормально распределенными случайными величинами.

3. Показатели качества модели АРПСС

Общим показателями качества построенной АРПСС модели являются критерий Акайке и байесовский критерий Шварца.

По своей сути они аналогичны критерию максимума скорректированного множественного коэффициента детерминации R2 или минимума дисперсии случайной ошибки модели G2. На современном этапе развития науки с помощью этих критериев находятся оптимальные значения порядков параметров p и q модели.

Информационный критерий Акайке (Akaike information criterion— AIC) предназначен для выбора наилучшей модели для временного ряда yt из некоторого множества моделей.

Обозначим через ln (<р) максимальное значение логарифмической функции правдоподобия эконометрической модели, где <р — оценка максимального правдоподобия вектора <р параметров модели. Критерий Акайке имеет вид:

AIC, — 1я ) — h,

где h — размерность вектора , т. е. число оцениваемых коэффициентов регрессионной модели.

В случае линейной или нелинейной модели регрессии, состоящей из одного уравнения, критерий Акайка может быть преобразован к виду:

AICG — in (G2) + 2p,

где n — объем выборки,

(72 — оценка максимального правдоподобия дисперсии остатков регрессионной модели ef

Оба варианта критерия Акайке дают одинаковый результат, но в первом случае выбирается модель с наибольшим значением критерия, а во втором случае — с наименьшим значением критерия.

Байесовский критерий Шварца (Schwarz Bayesian criterion — SBC) также предназначен для выбора наилучшей модели временного ряда из некоторого множества моделей. Он определяется как:

SBC, — ln О )—2 p In n.

Для регрессионных моделей существует альтернативный вариант данного критерия:

sbcg — in (G2) +(1nn)p.

По первому варианту расчета критерия SBC выбирается та модель, для которой значение SBC{ является наибольшим. При втором варианте выбирается та модель, для которой значение SBCG является наибольшим. Оба варианта критериев дают одинаковый результат при выборе моделей. Результаты критериев Акайке и Шварца могут отличаться.

Качество построенной модели осуществляется через проверку автокорреляции ее остатков. В этом случае применяют общий критерий множителей Лагранжа (LM test), позволяющий обнаруживать в регрессионных остатках автокорреляцию более высоких порядков, чем первый. Но он применим только для больших выборок.

Рассмотрим регрессионную модель вида:

k

у, =2 xt Д+£i, t =1,n

где et — случайная ошибка модели:

є, = Рх£,-і + Р2є, _2 + + Р/,-p + и,;

р — коэффициент автокорреляции порядка 1, p; и, — нормально распределенная случайная величина с нулевым математическим ожиданием и дисперсией G2: ut~ N(0,G2). Данная регрессионная модель может включать лаговые значения зависимой переменной.

Необходимо проверить основную гипотезу H0 о незначимости коэффициентов автокорреляции:

Hо / р1 =р2 = = рр = 0.

Метод Лагранжа состоит из нескольких этапов:

с помощью метода наименьших квадратов оценивается регрессия

k

i=1

и рассчитываются остатки модели et: et = yt _ yt;

оценивается регрессия вида:

k p

e,=2 xi,ai+2e, _i pi+v,,

i=1i=1

для которой проверяется значимость коэффициентов р[ при лаговых значениях остатков.

Для этого вычисляется F-статистика, которая подчиняется X2-распределению с p степенями свободы. ЕслиХ2набл>Х2крит, то основная гипотеза об отсутствии автокорреляции в остатках отвергается. Если Х2набл< Х2крит, то гипотеза об отсутствии автокорреляции принимается.