Оценка качества прогнозов

Оценка качества прогнозов

Задача становится гораздо более сложной, когда возникает необходимость оценить будущие значения независимых переменных до того, как спрогнозировать значения зависимой переменной, — это типичная ситуация при построении прогнозов. Как правило, мало что можно сказать о свойствах прогнозов, и это делает невозможной разработку формальных тестов на стабильность. Обычно прибегают к оценкам с позиций здравого смысла или к каким-то простым, очевидным критериям. Две наиболее популярные оценки — относительная ошибка прогноза и стандартная среднеквадратичная ошибка.

Относительная ошибка прогноза (RFE) определяется как (у Г+р~ УТ+р)/уГ+р, т. е. как ошибка прогноза, деленная на действительное значение переменной. Ее можно применять как для оценки прогноза абсолютных значений, так и для оценки прогноза приростов. В первом случае используются сами значения .у т+ и ут+р. Во втором случае вместо них используются предсказываемый и действительный прирост в прогнозный период АуГ+ и Аут+р, где Ауг+р = (у т+р — Уу) и Аут+р = (ут+р — ут)Вывод для показателя абсолютных значений часто является слишком слабым. Если переменная у медленно изменяется во времени, то трудно сделать большую относительную ошибку при ее прогнозе. Соответствующий показатель приростов служит лучшим индикатором и часто является более адекватным в реальных задачах.

Оба варианта показателя проиллюстрированы в табл. 10.2 на примере построения прогноза численности занятых. Прогноз численности занятых — это попытка оценить, каков будет спрос на различные виды рабочей силы в заданный момент времени, с целью определить, сколько работников должны к этому времени получить соответствующую подготовку или образование. Такой прогноз регулярно делается плановиками в развивающихся странах, и он обычно приводит к большим ошибкам по причинам, связанным с особенностями рынка труда, которые здесь для нас несущественны.

Прогнозы были сделаны по видам рабочей силы, выделенным в соответствии с ее десятичной классификацией, на 1976 г. (с базовым 1972 г.). Как видно из табл. 10.2, прогнозы абсолютных значений выглядят вполне удовлетворительными — самая большая относительная ошибка прогноза равна 30\%, что неудивительно, поскольку занятость не может сильно измениться всего за четыре года. Действительно, если бы в качестве прогноза на 1976 г. были взяты значения показателя в 1972 г., то самая большая относительная ошибка прогноза составляла бы всего 21\%. С другой стороны, прогнозы приростов, которые гораздо более важны для политиков, мало чего стоят: два из них имеют неправильный знак, а большинство оставшихся имеют относительные ошибки, превышающие 100\%.

Коэффициент Тейла (U)

Для многих видов оценивания критерий относительной ошибки прогноза является адекватным, но если вы захотите обобщить результаты оценивания с помощью одного числа, то средняя относительная ошибка прогнозов будет неудовлетворительным показателем, поскольку в ней большие положительные и отрицательные ошибки взаимно погашаются. Один возможный выход из этой ситуации — рассчитывать среднее для абсолютных значений относительных ошибок прогноза. Другой выход, предложенный X. Тейлом (Theil, 1966), — рассчитывать среднеквадратичное значение ошибки прогноза приростов, обозначаемое через U:

U =

Преимущество данного показателя заключается в наличии двух естественных масштабирующих значений. Во-первых, значение показателя равно нулю, если сделан абсолютно точный прогноз, и, во-вторых, оно автоматически равно единице для «наивного» прогноза об отсутствии изменений. Если величина Аут+ = 0 для каждого из прогнозов, числитель становится равным знаменателю, т. е. величине (l/n)L(AyT+p)2. Поскольку получаемый с помощью модели прогноз должен как минимум превосходить по качеству прогноз об отсутствии изменений, значение Uдолжно лежать в границах между 0 и 1, и его близость к нулю будет свидетельствовать об относительном успехе сделанного прогноза.

Однако сравнение модельного прогноза с «наивным» прогнозом об отсутствии изменений — не очень сильный тест. Имеются и другие способы предсказания, которые менее тривиальны и как следствие дают лучшую базу для сравнения.

Один из них — прогнозировать значение прироста в этом году, равное действительному приросту в прошлом году, т. е. делать прогноз «о таком же приросте». Другой способ — приравнивать прирост среднему значению приростов в последние несколько (скажем, три или пять) лет. Затем можно рассчитать {/-статистику как для прогнозной модели, так и для данного простого метода предсказания и сделать вывод об относительном успехе модели, если полученное значение статистики для нее окажется меньше.

В более сложной версии этого подхода с помощью регрессионного анализа может оцениваться лаговая структура простой базовой прогнозной модели, когда исследуется зависимость значения переменной от ее предыдущих значений с целью поиска наиболее подходящих весов. Поскольку предполагаемым преимуществом предлагаемой прогнозной модели является то, что она базируется на экономической теории, она должна давать лучшие прогнозы, чем стандартная авторегрессионная модель.

Однако нередко простые методы предсказания работают гораздо лучше, чем макроэкономические модели. Р. Купер сравнил функционирование шести главных макроэкономических моделей США и обнаружил, что получаемые с их помощью прогнозы уступают прогнозам, составляемым на основе авторегрессионной модели (Cooper, 1972). Ч. Нелсон использовал модель Бокса—Дженкинса (см. приложение 10.1) в качестве базы сравнения для оценки еще одной известной модели экономики США и получил такой же результат (Nelson, 1972). Оценка краткосрочных прогнозов для Великобритании, поступающих из различных организаций (Ash, Smyth, 1973), привела к тому же выводу. Стоит, однако, помнить, что макроэкономическое прогнозирование — одна из самых сложных задач прикладной экономической науки.

Упражнения

Оцените логарифмическую версию функции спроса на выбранный вами товар для периодов 1959—1979 и 1959—1983 гг. и проведите испытание с помощью теста Чоу на несостоятельность предсказания.

Оцените функцию спроса на данных за 1980-1983 гг. и, используя результаты упражнения 10.14, проведите испытание с помощью F-теста на стабильность коэффициентов.

Приложение 10.1

Метод Бокса—Дженкинса и анализ временных рядов

Целью эконометриста, работающего с временными рядами, является спецификация модели, которая была бы корректной с двух точек зрения: с точки зрения включения в них соответствующих поведенческих уравнений и переменных и с точки зрения адекватной лаговой структуры внутри этих взаимосвязей. Иногда высказывается мнение, что лаговая структура модели должна определяться с помощью теоретической модели, а не просто как результат случайного поиска, но такое пожелание в большинстве случаев оказывается слишком оптимистичным. Теоретические модели в лучшем случае сами являются лишь приближенным описанием, и эмпирические эксперименты часто предшествуют теории.

Небольшая, но влиятельная группа исследователей впала в другую крайность, отстаивая мнение, что часто, особенно в макроэкономике, проблемы мультиколлинеарности, невольных подмен и т. д. совмещаются и делают почти невозможной правильную спецификацию поведенческих взаимосвязей и лаговой структуры модели. А модельер, сфокусировавший свое внимание на лаговой структуре, сможет сделать более качественные прогнозы.

Радикально сузив круг своих целей, они затратили громадные усилия, оценивая лаговую структуру модели с помощью небольшого числа параметров. Этот подход известен под названием «анализ временных рядов» или «метод Бокса— Дженкинса» (названный так по имени авторов первой работы Г. Бокса и Дж. Дженкинса [Box, Jenkins, 1972]; более простой текст, написанный экономистом, — работа Ч. Нелсона [Nelson, 1973]).

В стандартной модели с одной переменной искомое соотношение выводится только из текущего и лаговых значений зависимой переменной. Сначала для временного ряда рассчитывается первая разность или разность более высокого порядка для того, чтобы сделать его «стационарным», т. е. убрать тренд или другие свойства, которые делают распределение любого наблюдения зависящим от времени. После этого оценивается следующее уравнение регрессии:

Уі = Ро + PlU-l + • • • + $рУі-р + ЇОЄ/ + У1Є/-І + • • • + Уд*і-д>

(10.85)

где yt_s — рассчитанные разности переменной у в период (/ — *); є,, є,.,, ... — независимо распределенные случайные члены с нулевым средним и постоянной дисперсией.

Как видно из уравнения (10.85), зависимость yt частично определена как авторегрессионный (AR) процесс (т. е. как зависимость переменной от своих прошлых значений), а с другой стороны — как скользящее среднее (МА) текущего и предыдущих значений случайного члена. Поэтому процесс в целом описывается как ARIMA (р, d, q) процесс, где р — порядок AR-части; q — порядок МА-части; d — порядок разностей, взятых из исходного ряда для достижения его стационарности.

Из уравнения (10.85) также видно, что оно совершенно не опирается на экономическую теорию. Это, однако, не означает, что оно несовместимо с экономической теорией. Например, если имеется модель из двух уравнений

у, = а + рл + р2х,_, + и

(10.86)

(10.87)

то в случае, когда не нужно брать разностей для достижения стационарности рядов, она может быть сведена к процессу ARIMA(2, 0, 1):

у, = (а + р,у + р2у) + fifiy^ + p28jv_2 + и, + p,v, + P2v^f. (10.88)

Верно, тем не менее, и то, что этот подход не использует экономическую информацию, заключенную в модели. Единственное, чем может помочь экономическая информация, — это определить параметры р и д, выбор значений которых остается за исследователем.

Однако к досаде ортодоксальных экономистов прогнозы, сделанные с помощью моделей Бокса—Дженкинса в начале 1970-х гг., оказывались обычно не хуже, а часто и лучше прогнозов, полученных с помощью макроэкономических моделей (см.: Nelson, 1973). С тех пор была проделана огромная работа в обоих направлениях: с одной стороны, усложнялись сами эконометрические модели, а с другой — анализ временных рядов дополнялся многомерным анализом [когда правая часть уравнения (10.85) включает лаговые значения других переменных]. К сожалению, в последнее время не было проведено сравнения их прогнозной силы, которые позволили бы оценить продвижение в этих двух направлениях. В любом случае может оказаться совершенно необязательным строго придерживаться какой-либо одной точки зрения, поскольку наиболее вероятным исходом станет их сближение.