Интерпретация и сравнение моделей регрессии

Интерпретация и сравнение моделей регрессии

В предыдущей главе внимание уделялось оцениванию линейных моделей регрессии. В частности обсуждался подход обычного метода наименьших квадратов, включая его свойства, при условии соблюдения некоторых наборов исходных предположений. Это позволило нам оценивать вектор неизвестных параметров (3 и тестировать параметрические ограничения, как, например /3k — 0. В первом параграфе этой главы мы уделим дополнительное внимание интерпретации моделей регрессии и их коэффициентов. В параграфе 3.2 мы рассмотрим, как подобрать множество объясняющих переменных для нашей модели, и каковы последствия, если мы неправильно специфицируем это множество. Обсуждение также включает сравнение альтернативных моделей. В параграфе 3.3 рассматривается предположение линейности и возможности его тестирования. Чтобы проиллюстрировать главные проблемы, эта глава завершается двумя эмпирическими примерами. В параграфе 3.4 описывается модель, объясняющая ожидаемые цены на дома, тогда как в параграфе 3.5 обсуждается оценивание и спецификация уравнения заработной платы.

3.1. Интерпретация линейной модели

Как уже подчеркивалось в предыдущей главе, линейная модель

Уі^х'ф + Єі (3.1)

имеет небольшое значение, если мы не сделаем дополнительные предположения о регрессионных остатках Єі . Обычные утверждения заключаются в том, что регрессионные остатки є і имеют нулевое математическое ожидание, и что объясняющие переменные Хі берутся заданными переменными. Формальное выражение такого утверждения состоит в предположении, что математическое ожидание регрессионного остатка Єі при условии заданной матрицы X, или математическое ожидание остатка Єі при условии заданного вектора Хі равно нулю, то есть

Е{єіХ} = 0 или Е{єіхі} = 0

(3.2)

соответственно, где последнее условие подразумевается первым. При условии Е{єіхі} = 0 мы можем интерпретировать модель регрессии как описание условного математического ожидания уі при заданных значениях объясняющих переменных Хі. Например, чему равно математическое ожидание заработной платой для произвольно выбранной женщины в возрасте 40 лет с университетским образованием и четырнадцатью годами опыта работы? Или, чему равно математическое ожидание уровня безработицы при заданных тарифных ставках заработной платы, заданной инфляции и общем объеме производства в экономике? Первым следствием выражения (3.2) является интерпретация индивидуальных коэффициентов /3. Например, коэффициент регрессии j3k измеряет математическое ожидание приращения переменной уі при приращении объясняющей переменной Xik на одну единицу, когда все остальные объясняющие переменные в векторе Хі неизменны. То есть,

dE{yixi} дхік

= 0.

(3.3)

Важно понять, и это мы должны четко определить, что остальные переменные в векторе Хі неизменны. Это условие является так называемым условием ceteris paribus*^ (при прочих равных условиях). В модели множественной регрессии отдельные коэффициенты регрессии могут интерпретироваться только при условии ceteris paribus. Например, коэффициент /Зк мог бы измерять эффект возраста на математическое ожидание заработной платы женщины при условии, что уровень образования и опыт работы постоянны. Важное следствие условия ceteris paribus состоит в том, что

Часто употребляемое латинское выражение (примеч. переводчика).

невозможно интерпретировать отдельный коэффициент модели регрессии, не зная, каковы остальные переменные модели.

Иногда условие ceteris paribus трудно сформулировать. Например, в случае уравнения заработной платы очень часто приращение в возрасте почти всегда соответствует приращению опыта работы в годах. Несмотря на то, что в этом случае коэффициент регрессии (3k все еще измеряет эффект возраста при условии фиксированного опыта работы в годах (и при условии остальных фиксированных переменных), из-за коллинеарности этих двух переменных в заданной выборке условие ceteris paribus хорошо определить невозможно. В некоторых случаях условие ceteris paribus сформулировать просто нельзя, например, если вектор объясняющих переменных Xi включает как возраст, так и квадрат возраста. Ясно, что нелепо говорить: коэффициент /3k измеряет эффект возраста при условии, что квадрат возраста является постоянным. В этом случае нужно возвратиться к производной (3.3). Например, если х'ф включает, адефъ + (адєї)2(3г, то мы можем получить производную

9Е{уіІХг} =/32+ 2адеф3, (3.4) оадві

которую можно интерпретировать как предельный эффект приращения возраста при условии, что остальные объясняющие переменные в векторе Хі (за исключением переменной (адві)2) сохраняются постоянными. Это показывает, как предельные эффекты объясняющих переменных могут изменяться по наблюдениям при включении дополнительных членов, содержащих эти объясняющие переменные (в данном случае (agei)2). Например, с помощью включения в регрессию члена взаимодействия адвітаїві, где таїві является фиктивной переменной для мужчин, мы можем допустить, что для мужчин и женщин эффекты возраста различны. Таким образом, если модель включает адефъ + адеігпаїефз, то эффект приращения в возрасте есть

дЕ{уіхі} ot1o /о r

— = (32 + maleifo, (3.5)

aagci

который равен 02 для женщин и /?2 + Рз Для мужчин. В разделах 3.4 и 3.5 иллюстрируется применение таких членов взаимодействия.

Часто экономисты интересуются эластичностями, а не предельными эффектами. С помощью эластичности измеряется относительное приращение зависимой переменной обусловленное относительным приращением одной из объясняющих переменных вектора Хі. Часто эластичности оцениваются непосредственно из линейной в логарифмах модели регрессии (не содержащей фиктивных переменных), а именно:

log Уі = (log Xi)'j + Vi, (3.6)

где log#; — краткое обозначение вектора с элементами (l,logx^2, ... , log ХікУ и предполагается, что Е{щ log Хі} = 0. Мы назовем такую модель логарифмически линейной моделью. В этом случае

дЕ{у{х{} xik ^ dE{og yi log Xj} = dxik Е{уіхі} ~ dogXik k'

где знак приближенного равенства « обусловлен тем фактом, что

E{ogyilog я,} = E{ogyixi} ф Е{уіхі}.

Заметим, выражение (3.3) означает, что для линейной модели справедливо соотношение

dE{yixi} xik xik

А, (3.8)

дхік Е{уіхі} х'ф

которое показывает, что в линейной модели подразумеваются непостоянные эластичности, которые изменяются с изменением вектора Хі, тогда как в логарифмически линейной модели эластичности устанавливаются постоянными. Несмотря на то, что выбор функциональной формы во многих случаях диктуется удобством экономической интерпретации, главную роль могут играть другие соображения. Например, объяснение log у і , а не у і , может помочь ослабить остроту проблемы гетероскедастичности, что проиллюстрировано в параграфе 3.5 ниже. В параграфе 3.3 мы кратко рассмотрим статистические критерии проверки гипотезы линейной спецификации против логарифмически линейной спецификации.

Если Xik — фиктивная переменная (или другая переменная, которая может принимать неположительные значения), то мы не можем ее логарифмировать, и тогда в модель включаем оригинальную переменную. Таким образом, мы оцениваем

logyi^x'fi + Si. (3.9)

Конечно, некоторые объясняющие переменные логарифмировать можно, а некоторые нет. В модели (3.9) коэффициент (3k имеет интерпретацию относительного приращения у і , из-за абсолютного приращения на одну единицу х^. Так, если Xik является мужской фиктивной переменной, то коэффициент (3k имеет интерпретацию относительной разности заработной платы между мужчинами и женщинами (при прочих равных условиях). И опять это справедливо только приближенно (см. раздел 3.5.2.).

Неравенство выражений E{og Уіхг} и log Е{гцхг} имеет также некоторые последствия для прогностических целей. Предположим, что мы исходим из логарифмически линейной модели (3.6) и условия Еуі log Хі} = 0. Тогда прогнозное значение log у і можно определить как значение (log Xi)fj. Однако, если мы интересуемся прогнозом у^, а не logyi? то прогноз exp {(log Xi)fj} для значения уі не является хорошим. Такой прогноз не соответствует математическому ожиданию у і при заданном векторе х{. То есть,

Е{уіхі} ^exp{E{ogyixi}} = exp {(log я,)^}.

Причина заключается в том, что логарифмическое преобразование является нелинейным, а математическое ожидание нелинейной функции не является нелинейной функцией математического ожидания. Единственный способ обойти эту проблему состоит в том, чтобы сделать предположения относительно распределения. Если, например, можно предположить, что регрессионные остатки щ в модели (3.6) распределены нормально с нулевым средним и диспер2

сиеи сГу, то это означает, что условное распределение у і является логарифмически нормальным распределением (см. Приложение Б) со средним

Е{уіх{} = exp j#{logjft|xi} + і<т* j = exp j(logX;)'7 + ^al

(3.10)

Иногда, дополнительный член половины дисперсии добавляется также, когда не предполагается, что остатки имеют нормальное распределение. Часто это предположение просто опускается.

Следует заметить, что предположение Е{єіхі} = 0 также является важным, поскольку оно говорит, что приращение вектора х не должно приводить к приращениям математического ожидания остаточного члена. В экономике много случаев, где это трудно утверждать, и модели, которые нам интересны, не соответствуют условным математическим ожиданиям. Мы возвратимся к этой проблеме в главе 5.

3.2. Отбор множества объясняющих переменных

3.2.1. Неправильная спецификация множества регрессоров

Если (неявно) предполагается, что обуславливающее множество регрессоров модели содержит больше переменных, чем множество в нее включенных, то, возможно, что множество объясняющих переменных «специфицировано неправильно». Это означает, что исключенные переменные (одна или более) существенны, то есть имеют в теоретической (истинной) модели ненулевые регрессионные коэффициенты. Возникают два вопроса: что случится, если из модели исключена существенная переменная, и что случится, если в модель включена несущественная переменная? Для иллюстрации рассмотрим следующие две модели

Уі = х'ф + z'a + Єі, (3.12)

и

Уг=Х'ф + Щ. (3.13)

Обе модели интерпретируются как описание условного математического ожидания у і при заданных векторах переменных Х{, Z{ (вектор Zi может быть вектором некоторых дополнительных переменных). Модель (3.13) вложена в модель (3.12); и в ней неявно априори предполагается, что zi является вектором несущественных переменных (7 = 0). Что случится, если мы оцениваем модель (3.13), в то время как фактически корректна модель (3.12)? То есть, что случится, если мы не включаем вектор переменных Zi во множество объясняющих переменных?

МНК оценка для вектора параметров /3, основанная на уравнении (3.13), обозначенная через &2, имеет вид

, n ч -1 n

Ъ2 = ( 5^ х{х ХіУі. (3.14)

Свойства этой оценки применительно к модели (3.12) можно определить подстановкой выражения уі из (3.12) в выражение (3.14), получаем

, n ч-1 iV , n ч-1 iV

В зависимости от предположений, сделанных для модели (3.12), последний член в этом выражении будет иметь математическое ожидание или предел по вероятности равный нулю 2). Однако второй член справа соответствует смещению (или асимптотическому смещению) МНК-оценки, возникающему из-за оценивания некорректной модели (3.13). Такое смещение называется смещением из-за пропущенных переменных. Как и ожидается, никакого смещения не будет, если и в истинной модели (3.12) 7 = 0 (т. е. две модели являются идентичными). Но существует еще один случай, в котором МНК-оценка &2 для вектора параметров (3 не будет смещенной. Это произойдет,

n

если ^ Xiz[ — 0, или это соотношение выполняется асимптотически, 1=1

т.е. если ElxiZi} = 0. Когда такой случай возникнет, мы говорим, что векторы Хі и Zi являются ортогональными. В экономических приложениях ортогональность встречается не очень часто. Заметим, например, что наличие свободного члена в составе вектора Х{ означает, что в этом случае E{zi} должно равняться нулю.

Вопрос включения несущественных переменных менее проблематичен. Если бы мы оценивали модель (3.12), тогда как фактически корректна модель (3.13), то включали бы вектор несущественных переменных Zi без нужды, поскольку мы бы просто оценивали вектор коэффициентов 7, который является нулевым вектором. Однако в этом случае было бы предпочтительнее оценивать вектор параметров (3 для ограниченной модели (3.13), а не для модели (3.12), так как МНК-оценка вектора неизвестных параметров (3 обычно будет иметь более высокую дисперсию и тем самым будет менее надежной. Несмотря на то, что вывод этого результата требует некоторых утомительных матричных преобразований, интуитивно очевидно: модель (3.13) предоставляет больше информации, поэтому мы можем ожидать, что оценка, которая использует эту информацию, в среднем, более точна, чем та, которая этого не делает*^. Таким

Сравните с выводами свойств МНК-оценок в главе 2.

Главный ответ на второй вопрос, поставленный автором: включение лишних объясняющих переменных в модель не приводит к смещению оценок регрессионных коэффициентов (3 при существенных регрессорах, однако приводит к неоправданному увеличению дисперсий этих оценок. Два пояснения к тексту: 1) когда автор говорит о том, что «модель (3.13) предоставляет больше информации» исследователю, он имеет в виду априори правильную спецификацию набора участвующих в модели объясняющих переменных; 2) увеличение образом, включение вектора несущественных переменных в модель, даже при том, что эти переменные имеют нулевой коэффициент, как правило, увеличивает дисперсию функции оценивания для других параметров модели. Таким образом, включение в модель насколько возможно большого числа переменных не является хорошей стратегией, в то время как, включение слишком малого числа переменных приводит к возможному смещению оценок. Это означает, что нам требуется некоторое руководство о том, как выбирать множество объясняющих переменных.

3.2.2. Выбор объясняющих переменных

Снова следует подчеркнуть, что если мы интерпретируем модель регрессии как описание условного математического ожидания yi при условии заданных значений действительно участвующих в модели регрессоров Хі, то нет никакой проблемы неправильно специфицированного множества объясняющих переменных, хотя возможно остается проблема функциональной формы (см. следующий раздел). Это подразумевает, что статистически здесь нет ничего для тестирования. Множество объясняющих переменных Хі выбирается на основе того, в чем мы находим интерес, и часто нашим выбором руководит экономическая теория или здравый смысл. Интерпретация модели в более широком смысле подразумевает, что возможны существенные (релевантные относящиеся к делу) объясняющие переменные, которые не включены в модель или несущественные (нерелевантные), которые включены в модель. Чтобы найти потенциально существенные переменные, мы опять можем применить экономическую теорию. Например, определяя уравнение заработной платы, мы можем применить теорию трудовых ресурсов, которая по существу говорит, что все, что влияет на производительность работника, влияет на его или ее заработную плату. Кроме того, мы можем использовать характеристики работы (производственный рабочий или служащий, сменная работа, государственный или частный сектор, и т. д.) и общую конъюнктуру рынка труда (например, секторную безработицу).

дисперсий оценок в случае включения в модель «избыточных» регрессоров объясняется тем, что, при прочих равных условиях, точность оценивания является монотонно возрастающей функцией от отношения N/K, где К — число оцениваемых параметров (примеч. науч. ред. перевода).

Хорошая практика заключается в том, чтобы выбрать множество потенциально существенных переменных на основе экономических, а не статистических аргументов. Хотя иногда, кажется иначе, статистические аргументы никогда не являются окончательно достоверными аргументами. То есть, всегда существует небольшая (но не игнорируемая) вероятность сделать неправильный статистический вывод. Например, всегда существует вероятность (соответствующая размеру критерия) отклонения нулевой гипотезы о равенстве нулю коэффициента регрессии, в то время как нулевая гипотеза фактически верна. Довольно правдоподобно, что такие ошибки первого рода возникают случайно, когда мы применяем последовательность многих тестов для выбора включаемых в модель регрессоров. Этот процесс называется информационным просмотром данных ("data snooping") или «разработкой данных» ("data mining")*^ (см. (Learner, 1978; Lovell, 1983) или (Charemza, Deadman, 1992, Chapter 2)), и в экономике подобный образ действий, если он будет обнаружен, не вызовет одобрения. В общем, в нашем контексте информационный осмотр данных сводится к тому, что имеющееся множество данных используется не один раз, чтобы выбрать модельную спецификацию и тестировать гипотезы. Например, можно вообразить, что если Вы имеете набор из 20 потенциальных регрессоров и Вы тестируете каждый из них «на включение в модель», то весьма вероятно сделать заключение, что один из них значим, даже если и не существует никакого истинного соотношения между любым из этих регрессоров и вашей объясняемой перемен 

В оригинале использованы термины "Data Snooping" и "Data Mining". К сожалению, не существует ни установившегося русского перевода этих терминов, ни консенсуса специалистов по определению этого направления анализа данных и по оценке его эффективности и значимости. Однако общепризнано, что главными характерными чертами направления "Data Mining" является акцент на использование современных компьютерных мощностей для «переваривания» больших массивов информации с целью «добычи» содержащихся в ней зависимостей между анализируемыми признаками, аномалий, кластеров и других особенностей при минимальном априорном знании о содержательной сущности обрабатываемой информации и, соответственно, с минимальными претензиями на выяснение смыслового значения полученных результатов. Полностью соглашаясь с призывом автора к максимальному использованию экономического анализа в решении описываемой проблемы, я не считаю естественным и плодотворным противопоставление этому современных методов эконометрики и, тем более, объединение их в «одной компании» с методами "Data Mining" (примеч. научн. ред. перевода).

ной. Хотя статистические пакеты программ иногда предоставляют механические программные процедуры для выбора регрессоров, в экономической работе их применение не рекомендуется. Вероятность прийти к неправильному выбору высока, и очень вероятно, что ваша «модель» зафиксирует некоторые особенности данных, которые вне выборки не имеют никакого реального смысла. Однако на практике трудно избежать, чтобы какие-то из выводов вашей работы не были получены с помощью «информационного просмотра данных». Даже в том случае, когда Вы не выполняете ваш собственный поиск спецификации и случается «знаете», какую модель следует оценивать, ваше «знание» может опираться на успехи и неудачи прошлых исследований, которые в какой-то форме использовали подход «информационного просмотра данных». Тем не менее, важно осознавать эту проблему. В последние годы возможность смещений, обусловленных использованием метода «информационного просмотра данных», играет важную роль в эмпирических исследованиях моделей доходности акции. Например, Ло и МакКинлей (Lo, MacKinlay, 1990) проанализировали такие смещения в тестировании моделей ценообразования финансовых активов, а Салливан, Тим-мерманн и Уайт (Sullivan, Timmermann and White 1998) исследовали, в какой степени можно приписать выявление факта наличия календарных эффектов в доходностях акций, как, например январского эффекта, обсужденного в разделе 2.7, использованию подхода «информационного просмотра данных».

Опасность метода «разработки данных» особенно высока, если поиск спецификации проводится от простой спецификации к сложной. При таком подходе Вы начинаете с простой модели и включаете дополнительные переменные или их лаги до тех пор, пока спецификация не окажется адекватной. То есть, до тех пор, пока ограничения, накладываемые на модель, больше не отклоняются, и Вы согласны со знаками оценок коэффициентов и их значимостью. Ясно, что такая процедура может включать очень большое число тестов. Альтернативным подходом является моделирование от общего к частному. Этот подход защищает профессор Дэвид Гендри (David Hendry) и некоторые из его коллег по Лондонской школе экономики. Подход начинается с оценивания общей и довольно неограниченной модели тестированием накладываемых возможных ограничений, и эта общая модель последовательно уменьшается в размере и сложности. Исчерпывающую трактовку см. у Чаремзы и Дидмена (Charemza, Deadman, 1992). На практике большинство прикладных исследователей начинают где-нибудь «в середине» со спецификации, которая могла бы быть целесообразной, и затем в идеале тестируют: (1) корректны ли наложенные на модель ограничения и (2) можно ли наложить ограничения еще не накладываемые на модель. В первую категорию входят тесты неправильной спецификации на не включенные объясняющие переменные, а также тесты на автокорреляцию и гетероскедастичность (см. главу 4). Во вторую категорию входят тесты ограничений на параметры модели, например, что одна или более объясняющих переменных имеют нулевые коэффициенты.

При представлении Ваших результатов оценивания не «грех» включить в Вашу спецификацию незначимые переменные. Факт, что Ваши результаты не показывают значимого эффекта некоторой объясняющей переменной Xik на переменную Ці, является информативным для читателя. И нет никаких причин скрывать этот факт с помощью повторного оценивания модели с исключенной переменной Xik. Конечно, Вы должны быть осторожны, включая в Вашу модель большое число переменных, которые могут быть мультиколлинеарными, так чтобы в результате не получилось, что почти ни одна из переменных индивидуально не оказалась значимой.

Помимо формальных статистических критериев существуют другие критерии, которые иногда применяются для выбора множества регрессоров. Прежде всего, это І?2, обсужденный в разделе 2.4, который измеряет долю выборочной вариации переменной объясняемую вариацией переменных Хі. Ясно, что если мы расширим модель включением переменных Zi во множество регрессоров, то объясненная вариация никогда не уменьшится, так что при включении в модель дополнительных переменных значение R2 тоже никогда не уменьшится. Таким образом, применение R2 в качестве критерия оказывает предпочтение моделям с насколько возможно большим числом объясняющих переменных. Конечно, это не оптимально, поскольку при слишком большом числе переменных мы мало, что сможем сказать о коэффициентах модели из-за их возможно довольно неточного оценивания. Поскольку R2 «не наказывает» включение большого числа переменных, то лучше применять меру, которая является компромиссом между качеством приближения данных моделью и числом включенных в модель регрессоров. Один из способов такого компромиссного решения состоит в применении скорректированного R2 (или j?2), который обсуждался в предыду

щей главе. Его запись в виде

5>

N -К

R2 = l ^

^2

TV _

i=l

и замечание, что знаменатель в этом выражении не зависит от рассматриваемой модели, показывает, что скорректированный R2 обеспечивает компромисс между качеством приближения данных

n

моделью, которое измеряется ^ ef, и простотой или экономией

1=1

модели, которая измеряется числом параметров К. Существует ряд альтернативных критериев, которые обеспечивают такой компромисс. Самыми общими критериями являются информационный критерий Акаике (АИК), предложенный Акаике (Akaike, 1973), определяемый как

AHK = logl£>? + ^ (3.17)

1=1

и байесовский информационный критерий Шварца (БИК), предложенный Шварцем (Schwarz,1978), определяемый как

1 N К БИК = log-]T ег2 + log TV. (3.18)

i=l

Модели с более низкими значениями критерия АИК или БИК, как правило, более предпочтительны. Заметим, что оба критерия включают налагаемый на модель штраф, который увеличивается с числом регрессоров. Поскольку налагаемый штраф больше для критерия БИК, то этот критерий имеет тенденцию поддерживать более лаконичные модели, чем критерий АИК. Применение любого из этих критериев обычно ограничивается случаями не вложенных альтернативных моделей (см. раздел 3.2.3), а экономическая теория не предоставляет никакого руководства для отбора соответствующей модели. Типичной ситуацией является поиск экономной модели, которая описывает динамический процесс одной переменной (см. главу 8).

Альтернативно возможно протестировать, значимо ли статистически увеличение і?2. Такое тестирование в точности то же самое, что и тестирование, являются ли коэффициенты вновь добавленных переменных Zi все равными нулю, и такое тестирование мы видели в предыдущей главе. Вспомним из выражения (2.59), что соответствующую /-статистику можно написать как

f = (Ді ~ RD/J (3 19)

где і?2 и J?q обозначают R2 для модели с вектором переменных Zi и для модели без него соответственно, a J — число переменных в векторе Zi. При нулевой гипотезе, что переменные вектора Zi имеют нулевые коэффициенты, /-статистика имеет F-распределение с J и N—K степенями свободы при условии, что мы можем наложить условия (А1)-(А5) из главы 2. Таким образом, F-критерий обеспечивает статистический ответ на вопрос, было ли увеличение R2 из-за включения в модель вектора zi значимым. Заметим, что /-статистику можно переписать также в терминах скорректированных і?2-ов. Она показала бы, что R2 > R2, если и только если, /-статистика превышает определенное пороговое значение. В общем, эти пороговые значения не соответствуют 5\% или 10\% критическим значениям F-распределения, а существенно меньше. В частности можно показать, что R2 > R2, если и только если, /-статистика больше единицы. Для одной переменной (J = 1) это означает, что скорректированный R2 увеличится, если дополнительная переменная будет иметь ^-отношение с абсолютным значением больше единицы. (Вспомним, что для одного ограничения Г2 = /.) Это показывает, что скорректированный R2 привел бы к включению большего числа переменных, чем стандартный ^-критерий или F-критерий.

Прямое тестирование гипотезы, что вектор коэффициентов 7 для вектора переменных Zi равняется нулю, можно провести с помощью tи F-критериев, обсужденных в предыдущей главе. По сравнению с вышеприведенной /-статистикой можно получить более общую тестовую статистику. Пусть 7 — это МНК-оценка для вектора 7 и пусть ^{7} обозначает оцененную ковариационную матрицу вектора 7. Тогда можно показать, что при нулевой гипотезе 7 = 0 тестовая статистика

і = I'Vm-1! (3.20)

имеет асимптотическое \%2-распределение с J степенями свободы. Это подобно критерию Вальда, описанному в главе 2 (сравните с выражением (2.63)). Форма ковариационной матрицы вектора 7 зависит от предположений, которые мы пожелаем сделать. При предположениях Гаусса—Маркова мы получили бы статистику, которая удовлетворяла бы соотношению £ = Jf.

Важно напомнить, что два отдельных (одиночных) теста не эквивалентны одному совместному тесту Например, если мы рассматриваем исключение двух отдельных переменных с коэффициентами 7i и 72, то возможно, что индивидуальные і-критерии не отклонят ни гипотезу 7і = 0, ни гипотезу 72 = 0, в то время как совместный F-критерий (или критерий Вальда) отклонит совместную гипотезу 7і = 72 = 0. Информация заключается в том, что если мы хотим одновременно исключить две переменные из модели, то мы должны смотреть на совместный тест, а не на два отдельных теста. Как только первая переменная исключена из модели, вторая переменная может оказаться значимой. Это особенно важно, если между этими двумя переменными существует коллинеарность.

3.2.3. Сравнение не вложенных моделей

Иногда экономистам хочется сравнить две разные модели, которые не являются вложенными. В этом случае ни одна из двух моделей не является частным случаем другой модели. Такая ситуация может возникнуть, если две альтернативные экономические теории приводят к различным моделям для одного и того же явления. Рассмотрим следующие две альтернативные спецификации:

Модель А: уі = х'ф + Єі (3.21)

и

Модель Б: уі = z'a + щ, (3.22)

где обе модели интерпретируются как описание условного математического ожидания переменной уі при условии заданного вектора объясняющих переменных Хі и вектора zi соответственно. Эти две модели не являются вложенными, если вектор zi включает переменную, которой нет в векторе и наоборот. Поскольку обе модели объясняют одну и ту же эндогенную переменную, то можно использовать І?2, критерий АИК или критерий БИК, обсужденные в предыдущем разделе. Альтернативной и более формальной идеей, которую можно использовать для сравнения двух моделей, является идея охвата (см. Mizon, 1984; Mizon, Richard, 1986): если верится, что модель А является корректной моделью, то она должна охватывать модель Б, то есть, должна быть способна объяснить результаты модели Б. Если модель А не сможет этого сделать, ее следует отклонить. И наоборот, если модель Б неспособна охватить модель А, ее также следует отклонить. Следовательно, возможно, что следует отклонить обе модели не из-за ошибок первого рода, а потому что ни одна из них не является корректной. Если модель А не отклоняется, мы можем тестировать ее против другой конкурирующей модели и сохранять ее до тех пор, пока она не отклоняется.

Принцип охвата является общим, и логично требовать, что модель должна охватывать конкурирующие модели. Если конкурирующие модели вкладываются внутрь текущей модели, то она охватывает их автоматически, потому что более общая модель всегда способна объяснить результаты более простых моделей (сравните выражение (3.15) выше). Если модели не являются вложенными, охват нетривиален. К сожалению, тесты охвата для общих моделей довольно сложны, но для моделей регрессии эти тесты относительно просты.

Мы рассмотрим два альтернативных критерия. Первый является не вложенным F-критерием или F-критерием охвата. При записи х[ — {xfu,x'2i), где вектор объясняющих переменных х'и включается в вектор Z{ (a x'2i нет), модель Б можно протестировать построением так называемой модели искусственного вложения вида

(3.23)

Эта модель, как правило, не имеет никакого экономического объяснения, но сводится к модели Б, если 5а = 0. Таким образом обоснованность модели Б (модель Б охватывает модель А) можно протестировать применением F-критерия для проверки гипотезы (ограничения) 5 а — 0. Подобным образом мы можем протестировать обоснованность модели А, тестируя гипотезу 5в — 0 для модели

Уг = х'ф + х'2і8в + Єі

(3.24)

где Z2i содержит переменные из вектора zi, которые не включены в вектор Хі . Нулевые гипотезы, которые здесь тестируются, утверждают, что одна модель охватывает другую. Исход двух тестирований может состоять в том, что следует отклонить обе модели. С другой стороны также возможно, что ни одна из двух моделей не отклоняется. Таким образом тот факт, что модель А отклоняется, не следует интерпретировать как свидетельство в пользу модели Б. Этот факт просто показывает кое-что, улавливаемое моделью Б, что не адекватно принимается в расчет моделью А.

Более экономным не вложенным тестом является J-тест. Опять начнем с модели искусственного вложения, в которую вложены и модель А, и модель Б. Модель искусственного вложения задается в виде

Уі = (1 8)х'ф + Sz'ft + Щ (3.25)

где 6 — скалярный параметр, а щ — регрессионный остаток. Если 8 = 0, то уравнение (3.25) соответствует модели А, а если 8=1, то оно сводится к модели Б. К сожалению модель вложения (3.25) нельзя оценить, потому что в общем /?, 7 и 8 не возможно идентифицировать по отдельности. Одно из решений этой проблемы (предложенное в работе Девидсона и МакКиннона (Davidson, MacKinnon, 1981)) состоит в том, чтобы заменить неизвестные параметры 7 на МНК-оценки 7 из модели Б, и протестировать гипотезу, что 8 = 0 для модели

Уі = хР + Szfi + щ = х'ф* + 5уів + Щ, (3.26)

где уїв — «подогнанное» значение из модели Б, а /3* = (1 — 8)f3. В J-тесте на обоснованность модели А применяется i-статистика для проверки гипотезы 8 = 0 в этой последней регрессии. В вычислительном отношении это просто означает, что подогнанное значение из конкурирующей модели добавлено к тестируемой модели. С помощью стандартного і-критерия мы проверяем гипотезу о равенстве нулю коэффициента тестируемой модели. По сравнению с невложенным F-критерием J-критерий включает только одно ограничение. Это означает, что J-критерий может быть более привлекательным (имеет большую мощность), если число дополнительных регрессоров в невложенном F-критерии является большим. Если невложенный F-критерий включает только один дополнительный регрессор, то он эквивалентен J-критерию. Больше подробностей о невложенном тестировании и соответствующие ссылки можно найти у Девидсона и МакКиннона (Davidson, MacKinnon, 1993, Sect. 11.3).

При наличии двух альтернативных невложенных моделей другим важным случаем является выбор функциональной формы между линейной и логарифмически линейной формой. Поскольку зависимые переменные в этих моделях отличаются (у і и log у і соответственно), сравнение на основе мер качества приближения данных моделью, включая критерии АПК и БИК, неуместно. Один из способов тестировать правомерность линейной и логарифмически линейной модели включает их вложение в более общую модель, используя так называемое преобразование Бокса—Кокса (см. Davidson,

MacKinnon, 1993, Sect. 14.6), R2 > Rq* и их сравнение против этой более общей альтернативы. Альтернативно можно выбрать подход, подобный вышеописанному подходу охвата, используя модель искусственного вложения. Очень простой процедурой является тест РЕ, предложенный МакКинноном, Уайтом и Девидсоном (MacKinnon, White, Davidson, 1983). Сначала с помощью МНК оцениваются и линейная, и логарифмически линейная модели. Обозначим предсказанные значения через у і и log у і соответственно. Тогда линейную модель можно протестировать против ее логарифмически линейной альтернативы с помощью проверки нулевой гипотезы, что 8lin — О в тестируемой регрессии

Уі = х'ф + SLIN(log уі log Уі) + щ.

Точно так же логарифмически линейная модель соответствует нулевой гипотезе Slog = 0 в тестируемой регрессии

log уі = (log ХіУ-f + 6Ьос(Уі exp {log Уі}) + щ.

Оба теста просто могут основываться на стандартных і-статистиках, которые при нулевой гипотезе приближенно имеют стандартное нормальное распределение. Если Slin — 0 не отклоняется, возможно, что предпочтительнее линейная модель. Если 6 log — 0 не отклоняется, тогда предпочтительнее логарифмически линейная модель. Если отклоняются обе гипотезы, то по-видимому ни одна из двух моделей не уместна и надо рассматривать более общую модель, например, обобщая функциональную форму переменных Хі либо в линейной, либо в логарифмически линейной модели 3 В разделе 3.4 представлен эмпирический пример применения теста РЕ.