6.2. спецификационные тесты

6.2. спецификационные тесты

6.2.7. Три принципа тестирования

На основе оценки максимального правдоподобия можно построить большое количество альтернативных тестов. Такие тесты, как правило, основаны на одном из трех различных принципов: Вальда, отношения правдоподобия или множителей Лагранжа. Хотя для построения теста проверки заданной гипотезы можно использовать любой из этих трех принципов, каждый из них имеет свои собственные достоинства и преимущества. В предыдущих главах неоднократно применялся 'тест Вальда и, в общем, он применим к любой оценке, которая состоятельна и асимптотически нормальна. Принцип отношения правдоподобия (ОП) предоставляет легкий способ сравнить две альтернативные вложенные модели, тогда как тесты множителей Лагранжа (МЛ) позволяют протестировать ограничения, которые накладываются на модель при оценивании. Подход МЛ особенно подходит для тестирования неправильной спецификации модели, когда выбранная спецификация модели тестируется на некорректную спецификацию в нескольких направлениях (как, например, гетероскедастичность, ненормальность, или невключенные переменные).

Опять рассмотрим общую проблему оценивания К-мерного вектора параметров 9 на основе максимизации логарифмической функции правдоподобия, то есть:

Предположим, что мы интересуемся тестированием одного или более линейных ограничений на вектор параметров 9 — (#i,... , 9к)'• Эти ограничения можно представить в виде нулевой гипотезы Hq : R9 = q для некоторого фиксированного J-мерного вектора д, где R — J х К матрица. Предполагается, что J строк матрицы R линейно независимы, так что ограничения не противоречат друг другу и не являются избыточными. Три принципа тестирования можно резюмировать следующим образом:

Тест Вальда. Вектор неизвестных параметров 9 оценивается методом максимального правдоподобия и проверяется, является ли разность R9 — q близкой к нулю, используя ее (асимптотическую) ковариационную матрицу. Эта идея лежит в основе известных t-и F-критериев.

Тест отношения правдоподобия. Модель оценивается дважды: один раз без наложенных ограничений (при ММП-оценке 9) и один раз с наложенной нулевой гипотезой (при ММП-оценке 9 с ограничениями 9, где R9 = q) и проверяется, отличается ли разность в значениях логарифмических функций правдоподобия log L{9)—log L(9) значимо от нуля. Это подразумевает сравнение максимумов logL(#) без ограничений и с ограничениями.

Тест множителей Лагранжа. Модель оценивается с ограничениями, налагаемыми нулевой гипотезой (при ММП-оценке 9),

дв от нуля.

Несмотря на то, что с помощью этих трех тестов анализируются различные аспекты функции правдоподобия, в общем, эти тесты асимптотически эквивалентны (то есть: критические статистики имеют одно и то же асимптотическое распределение, даже если нарушается нулевая гипотеза), и даже в некоторых случаях они приводят к одинаковым числовым результатам. Однако вычисление критических статистик существенно различается, поэтому в большинстве случаев, мы выбираем тест, который наиболее легко вычисляется по имеющимся у нас данным. Например, тест Вальда требует оценивания модели без наложенных ограничений, тогда как тест множителей Лагранжа (МЛ) требует, чтобы модель оценивалась только при нулевой гипотезе. В результате тест МЛ может быть особенно привлекательным, когда ослабление нулевой гипотезы существенно усложняет оценивание модели. Этот тест является привлекательным и в ситуациях, когда число различных гипотез, которые хотят протестировать, является большим, поскольку модель следует оценивать только один раз. Тест отношения правдоподобия требует, чтобы модель оценивалась с ограничениями и без ограничений, но, как мы увидим, он легко вычисляется по значениям логарифма правдоподобия.

Тест Вальда отправляется от результата, в соответствии с которым

y/N(e-e) -+tf(0,V). (6.23)

Отсюда следует, что J-мерный вектор R6 также имеет асимптотическое нормальное распределение, которое можно определить в виде (см. Приложение Б),

y/N(R9R0) ЛГ(0, RVR'). (6.24)

При нулевой гипотезе R9 равняется известному вектору д, так что мы можем построить критическую статистику, образуя квадратичную форму

£в = N(R0q)'[RVR'}-4Re«), (6.25)

где V — состоятельная оценка для ковариационной матрицы V (см. выше). При нулевой гипотезе Но эта критическая статистика имеет хи-квадрат распределение с J степенями свободы, так что большие значения критической статистики £в вынуждают нас отклонить нулевую гипотезу.

Критерий отношения правдоподобия оказывается реализуемым еще проще, за счет того, что модель оценивается с наложенными ограничениями и без них. Это означает, что мы имеем две различные оценки: ММП-оценку 9 без ограничений и ММП-оценку 9 с ограничениями, полученную максимизацией логарифмической функции правдоподобия log L{9) при ограничениях R9 = q. Ясно, что максимизация функции, учитывающая ограничения на ее аргументы, не может приводить к большему максимуму по сравнению со случаем без ограничений. Таким образом, из этого следует, что log L(9) — log L(9) > 0. Если эта разность мала, то последствия наложения ограничений R9 = q несущественны, и можно предположить, что ограничения являются корректными. Если разность будет большой, то ограничения, вероятно, являются некорректными. Критическая статистика ОП вычисляется просто как

^ = 2[logL(0)-logL(0)],

и при нулевой гипотезе имеет хи-квадрат распределение с J степенями свободы. Это показывает, что если мы оценили две спецификации модели, то мы можем легко протестировать спецификацию с ограничениями против более общей спецификации, сравнивая значения логарифмических функций правдоподобия. Важно подчеркнуть, что использование этого теста является приемлемым, если только две сравниваемые модели являются вложенными (см. главу 3). Привлекательная особенность теста состоит в том, что его легко применить, тестируя нелинейные ограничения, и что результат не чувствителен к способу, которым мы формулируем эти ограничения. Напротив, тест Вальда может применяться при нелинейных ограничениях, но он чувствителен к способу, которым они сформулированы. Например, будет иметь значение, тестируем ли мы 9k — I или log 9k — 0. Для обсуждения см. (Gregory, Veal, 1985), (Lafontaine, White, 1986) или (Phillips, Park, 1988).

6.2.2. Тесты множителей Лагранжа

Некоторые из обсужденных в предыдущих главах тестов, как, например, тест Бреуша—Пагана на гетероскедастичность, являются тестами множителей Лагранжа (МЛ-тестами). Чтобы ввести

общую идею МЛ-теста, предположим, что нулевая гипотеза ограничивает некоторые элементы в векторе неизвестных параметров 0 приравниванием к заданным значениям. Чтобы подчеркнуть это, напишем 9' — (01,02)? гДе нулевая гипотеза теперь говорит, что 02 = q, где 02 имеет размерность J. Термин «множители Лагранжа» исходит из того факта, что он неявно основан на значении множителей Лагранжа в проблеме максимизации с ограничениями. Условия первого порядка Лагранжиана

(6.26)

приводят к ММП-оценке с ограничениями 0 = (0і,</)' и ^Вектор множителей Лагранжа Л может интерпретироваться как вектор ограничений скрытых цен 02 = q. Если скрытые цены высоки, то нам хотелось бы отклонить ограничения. Если они близки к нулю, то ограничения относительно «законны». Поэтому чтобы получить критическую статистику, нам хотелось бы рассмотреть распределение вектора Л. Из условий первого порядка (6.26) следует, что

и

где вектор меток Si(9) разбит на подвекторы Sn(9) и 5^(0), соответствуя векторам параметров 9 и 02 соответственно. Результат (6.28) показывает, что вектор множителей Лагранжа А равен вектору первых производных относительно ограниченных параметров в векторе 02, вычисленных в ограниченной оценке 0. Следовательно, вектор ограничений скрытых цен 02 = q также имеет интерпретацию измерения величины, на которую нарушаются условия первого порядка относительно 02, если мы вычисляем их в ограниченных оценках 0 — (0І ? я'У Поскольку первые производные называются также метками, то тест множителей Лагранжа известен также как тест меток.

Для определения соответствующей критической статистики, мы используем тот факт, что можно показать — выборочное среднее

N А имеет асимптотическое нормальное распределение с ковариационной матрицей

= ЫО) І2і{Є)Іц{в)-1І12{Є), (6.29)

где ljk(0) ~~ блоки в информационной матрице 1(9), определяемой выражением (6.17), то есть

ЫО)

ЫО) ыо)) '

где 122(G) имеет размерность Jx J. В вычислительном отношении мы можем использовать тот факт4 что ковариационная матрица (6.29) является обращением нижнего правого J х J блока в обращении 1(9),

{) l21(0) 122{в))'

то есть V — I22(9)~l. Критическую статистику теста множителей Лагранжа можно представить в виде

Ыл = м-1~-1122ф)Х (6.30)

которая при нулевой гипотезе имеет асимптотическое хи-квадрат распределение с J степенями свободы, и где 1(9) обозначает оценку информационной матрицы, основанную на ограниченной оценке 9. Только если 12(9) = 0и информационная матрица является блочно диагональной, справедливо, что І22(9) = І22(#)-1В общем, для вычисления соответствующей ковариационной матрицы TV-1 А требуются и другие блоки информационной матрицы.

Вычисление статистики МЛ-теста особенно привлекательно, если информационная матрица оценена на основе первых производных логарифмической функции правдоподобия в виде

1 N ~ ~ Іо=й'Е*і(Є)*і(0) (6.31)

і=1

Этот результат справедлив в общем и следует из правила обращений блочных матриц (см. (Davidson, MacKinnon, 1993, Appendix A) (Green, 2000, Chapter 2)).

то есть в виде среднего скалярного произведения вектора первых производных, вычисленных при значении 9, равном ограниченной

ММП-оценке в. Используя выражения (6.27) и (6.28), мы можем написать критическую статистику МЛ-теста в виде

n ^ / n ^ ^ ч -1 TV ^

г=1

г=1

Заметим, что первые К — J элементов в метке Si(6) при суммировании дают нуль из-за равенства (6.27). Однако эти элементы вообще важны для того, чтобы вычислить корректную ковариационную матрицу. Только в случае блочной диагональности справедливо, что 12{0) — 0, и другой блок информационной матрицы не имеет отношения к нашим задачам. Асимптотически эквивалентную версию критической статистики МЛ-теста в случае блочной диагональности можно представить в виде:

ІМЛ = 8^вУ ( Е ^(0)*г2(0)' ) X) Si2^' (6-33)

г=1 М=1 ' г=1

Выражение (6.32) предлагает легкий способ вычисления критической статистики теста множителей Лагранжа. Обозначим N х К матрицу первых производных как 5, так что

5 =

S2(e)'

(6.34)

WW/

В матрице S каждая строка соответствует наблюдению, и каждый столбец соответствует производной относительно одного из параметров. Следовательно, мы можем написать

n

J>(0) = S'l,

г=1

где ^=(1,1,...,1)/ размерности N. Кроме того

n

1=1

Это позволяет нам переписать выражение (6.32) как

Ыл = i'sis'sy^su = N^S(S'S)-1S'

(6.35)

Теперь, рассмотрим вспомогательную регрессию столбца единиц по столбцам матрицы S. Из стандартного выражения для МНК-оценки (S'S)~1S'l мы получаем прогнозные значения этой регрессии в виде S(S'S)~xS'l. Поэтому объясненная сумма квадратов задается как

i'SiS'S^S'SiS'S^S'i = I'SiS'S^S'i,

наряду с тем, что полная (не центрированная) сумма квадратов этой регрессии равна і!ь. Следовательно, из этого следует, что одну из версий критической статистики теста множителей Лагранжа можно вычислить как

імл = NR2, (6.36)

где R2 — нецентрированный R2 (см. параграф 2.4) вспомогательной регрессии вектора единиц по векторам меток (в матрице S)5 При нулевой гипотезе критическая статистика асимптотически распределена как х2 с J степенями свободы, где J — число ограничений, наложенных на вектор неизвестных параметров 9. Заметим, что вспомогательная регрессия не должна включать свободный член.

Формулы в (6.32) или (6.36) предоставляют один из способов вычисления критической статистики множителей Лагранжа, часто называемый версией внешнего произведения градиента (ВПГ) статистики МЛ-теста (см. (Godfrey, 1988, р. 15)). К сожалению, тесты, основанные на оценке ВПГ ковариационной матрицы, как правило, имеют свойства для малых выборок, которые весьма отличаются от той асимптотической теории, на основе которой получают прогнозы. Некоторые эксперименты Монте-Карло наводят на мысль, что тесты, основанные на ВПГ, имеют тенденцию отклонять нулевую гипотезу слишком часто в случаях, когда она, на самом деле, истинна. То есть, фактический уровень значимости критериев может быть намного больше, чем заданный асимптотический уровень (принимаемый, как правило, равным 5\%). Это означает, что при отклонении нулевой гипотезы следует быть осторожным, если критическая статистика превышает асимптотическое критическое значение. Для дополнительного обсуждения см. (Davidson, MacKinnon, 1993, p. 477). Для вычисления критической статистики МЛ-теста существуют альтернативные способы, например, используя выражение (6.30) и матрицу

Если ваше программное обеспечение не обеспечивает вычисления нецентриро-ванных Я2-тов, тот же самый результат получается вычислением N — RSS, где RSS обозначает остаточную сумму квадратов.

вторых производных логарифмической функции правдоподобия, или на основе других вспомогательных регрессий. Некоторые из них будут обсуждены в следующем параграфе.

Несмотря на вышеупомянутые замечания, мы сосредоточим наше обсуждение главным образом на подходе NR2 к реализации МЛ-теста. Это объясняется тем, что при вычислениях требуются только первые производные. В этом подходе можно легко построить тест на проверку любой гипотезы, поскольку столбцы матрицы S часто определяются довольно легко на основе результатов оценивания. При реализации версии ВПГ-теста также рекомендуется проверить ваше программирование построением регрессии вектора единиц по столбцам матрицы 5, что соответствует отсутствию ограничений на параметры. В результате это должно привести к і?2, равному нулю.

В параграфе 6.3 мы обсудим реализацию принципа множителей Лагранжа, чтобы проводить тестирование на невключенные переменные, гетероскедастичность, автокорреляцию и ненормальность, все в контексте линейной модели регрессии с нормальными остатками. В главе 7 описывается несколько приложений МЛ-тестов к различным типам моделей. Однако сначала мы снова рассмотрим наш простой пример.

6.2.3. Пример (продолжение)

Снова рассмотрим простой пример, касающийся урны с красными и желтыми шарами. Этот пример особенно прост, поскольку включает только один неизвестный параметр. Предположим, что мы интересуемся тестированием гипотезы Но : р = ро для данного значения Pq. Как мы видели, (неограниченная) оценка максимального правдоподобия равна

в то время как ограниченная оценка просто равна р = ро. Тест Вальда для нулевой гипотезы Щ в его квадратичной форме основан на критической статистике

£в = iV(p-po)[p(l -р)]_1(р-Ро),

которая является просто квадратом выражения (6.21).

Для теста отношения правдоподобия нам требуется сравнить максимальные значения логарифма правдоподобия для неограниченной и ограниченной модели, то есть

log L{p) = N, log ^ + (N N,) log (l " Tf). (6-37)

И

log L(p) = N± logp0 + {NNx) log (1 po), Критическая статистика вычисляется просто как

£on = 2(logL(p)-logL(p)).

И, наконец, мы рассмотрим тест множителей Лагранжа. При единственном параметре мы получаем, что множитель Лагранжа TV-1 А (выраженный как выборочное среднее) является асимптотически нормальным с дисперсией

i(p) = p(i-pT1Кроме того,

n

a log Li(p)

_Ni_ N-Nx

i=l

dp

Таким образом, мы можем вычислить критическую статистику МЛ-теста как

Ыл = iV-1A[p0(l-Po)]A =

= iV"1^ iVp0)bo(l РоТЧ^ NPo) = = N(p-p0)po(l -Ро)]_1(р-Ро).

Это показывает, что в этом случае статистика МЛ-теста очень похожа на статистику теста Вальда: единственное различие состоит в том, что информационная матрица оценивается, используя ограниченную оценку ро) а не неограниченную оценку р.

В качестве примера, предположим, что мы имеем выборку N = 100 шаров, из которых 44\% являются красными. Если мы тестируем гипотезу, что р = 0,5, то мы получаем статистику Вальда, ОП-статистику и МЛ-статистику соответственно равные 1,46, 1,44 и 1,44. 5\%-ое критическое значение, взятое для асимптотического хи-квадрат распределения с одной степенью свободы равно 3,84, так что нулевая гипотеза не отклоняется на 5\%-ом уровне значимости ни одним из трех критериев.

6.3. Тесты в модели нормальной линейной регрессии

Опять рассмотрим нормальную линейную модель регрессии, которая обсуждалась в п. 6.1.4,

Уі=ХіР + Єи Єі~

HOHP(0,a2),

где остаток Є{ независим от вектора объясняющих переменных Х{. Предположим, что нас интересует тестирование правильности данной спецификации модели. Неправильная спецификация могла бы отражать невключение существенных объясняющих переменных, наличие гетероскедастичности или автокорреляции, или ненормальность остатков. Тестировать такие неправильные спецификации относительно легко, используя структуру множителей Лагранжа, когда предполагается, что данная модель является ограниченной моделью и ММП-оценки являются ограниченными ММП-оценками. Тогда мы рассматриваем более общие модели, которые допускают, например, существование гетероскедастичности, а затем тестируем, значимо ли данные оценки нарушают условия первого порядка для более общей модели.

6.3.7. Тестирование на наличие существенных невключенных переменных

С помощью первого спецификационного теста, который мы рассмотрим, тестируется наличие существенных невключенных переменных. В этом случае более общая модель есть

у{ = х'ф + z'fi + Єі

где об остатке є і сделаны те же самые предположения, что и прежде, a Zi; — J-мерный вектор не включенных объясняющих переменных, не зависимых от остатка єг. Нулевая гипотеза утверждает, что Щ : 7 = 0. Условия первого порядка для более общей модели подразумевают, что следующие производные все равны нулю:

и

(Уі х(5 z'gf a2

где первое и третье выражения по построению равны нулю }. Таким образом тест множителей Лагранжа должен проверить, отличается

n ~

-4^значимо от нуля. Критическую статистику МЛ-теста а1

г=

можно вычислить с помощью выражения (6.35), где матрица S имеет типичную строку

[єіх'і Siz't]. (6.38)

Из-за блочной диагональности информационной матрицы производные по а2 здесь можно опустить, хотя не было бы некорректно также включить их в матрицу S. Кроме того, не имеющие отношение к делу коэффициенты пропорциональности исключаются из матрицы S. Это позволяется, поскольку такие константы не влияют на результат выражения (6.35). В итоге мы вычисляем критическую МЛ-статистику построением регрессии вектора единиц на (ММП или МНК) остатки, взаимодействующие с включенными объясняющими переменными Х{ и с невключенными переменными Zi, и умножаем нецентрированный R2 на объем выборки N. При нулевой гипотезе получающаяся критическая статистика NR2 имеет асимптотическое хи-квадрат распределение с J степенями свободы. Если вектор Zi выбирается как нелинейная функция от вектора Хі, то этот подход можно непосредственно использовать для тестирования функционального вида модели (против хорошо определенной альтернативы).

6.3.2. Тестирование на наличие гетероскедастичности

Теперь предположим, что дисперсия остатка є і может не быть константой, а является функцией от некоторых переменных Zi, которые обычно состоят из подмножества объясняющих переменных Хі или являются функциями от Хі . Это формализовано в уравнении

Эти два выражения соответствуют условиям первого порядка ограниченной модели и определяют /3 и а2.

(4.44) из главы 4, которое говорит, что

V{ei} = v? = o2h{z<a),

(6.39)

где h — неизвестная, непрерывно дифференцируемая функция (которая не зависит от г) такая, что /г(-) > 0, /г'(-) Ф О, и /г(0) = 1, и

где Zi — J-мерный вектор объясняющих переменных (не включая

константу). Нулевая гипотеза гомоскедастичности остатков соответствует Но : a — 0 (и мы имеем — (j2)Вклад в логарифмическую функцию правдоподобия наблюдения і в этой более общей

модели задается в виде

Метка по а имеет вид 0 log £,<(/?, a)

da

+

2 a2h{z[a) liVi-x'^dhizla)

da

1 1

2 h(z[a) 2 о2Н{г[а)2

(6.40)

где

da

= ti(zfia)Zi,

и где h! — производная h. Если мы вычислим метку при ограниченных ММП-оценках (3 и а2, то получим

+

2 2

где ас = hf(0) ф 0 — несущественная константа. Тем самым объясняется удивительный результат, что тест не требует спецификации для функции h.

Поскольку информационная матрица в данном случае является блочно диагональной относительно /3 и (а2, а), то ВПГ-версия теста множителей Лагранжа для гетероскедастичности получается вычислением выражения (6.35), где матрица S имеет строки вида

и где снова исключены несущественные коэффициенты пропорциональности. Таким образом, во вспомогательную регрессию мы включаем переменные, которые мы подозреваем во влиянии на гетероскедастичность, взаимодействующие с отклонениями квадратов остатков от дисперсии ошибки, оцененной при нулевой гипотезе. С J переменными в векторе Zi получающаяся критическая статистика

NR2 имеет асимптотическое хи-квадрат распределение с J степенями свободы (при нулевой гипотезе).

Вышеупомянутый подход предоставляет способ вычислить тест БреушаПагана на наличие гетероскедастичности, соответствующей нашему общему правилу вычисления, заданному выражением (6.35). Существуют альтернативные способы вычисления (асимптотически эквивалентные) критической статистики Бреуша—Пагана, например, вычисление 7V, умноженного на R2 вспомогательной регрессии є 2 (квадратов МНК-остатков или ММП-остатков) на Z{ и константу. Это обсуждалось в главе 4. Для дополнительного обсуждения см. (Engle, 1984) или (Godfrey, 1988, Section 4.5).

Если нулевая гипотеза гомоскедастичности отклоняется, то один из вариантов состоит в оценивании более общей модели, которая учитывает гетероскедастичность. Этот вариант может быть основан на вкладе в логарифмическую функцию правдоподобия (6.40) и на некотором специальном выборе функции /г(-), например экспоненциальной функции. Поскольку в этой специфической модели гетероскедастичность не приводит в результате к несостоятельной ММП-оценке (МНК-оценке) для вектора неизвестных параметров /3, то уместно вычислить при этом и состоятельные стандартные ошибки полученных оценок с учетом наличия гетероскедастичности; см. главу 4 и параграф 6.4 ниже.

6.3.3. Тестирование на наличие автокорреляции

При работе с временными рядами остатки в модели регрессии могут быть подвержены автокорреляции. Рассмотрим линейную модель

yt = x'tP + eu * = 1,2,...,Г,

при сформулированных выше предположениях. Альтернативная гипотеза автокорреляции первого порядка утверждает, что

et = pSt-1 + щ,

так что нулевая гипотеза соответствует Но : р = 0. Если мы переписываем модель в виде

yt = x't(3 + реі-і + vu

то из этого следует, что тестирование на наличие автокорреляции подобно тестированию на не включенную в модель переменную, а именно,

Si-i = Уі-х х^р.

Следовательно, можно вычислить версию теста множителей Лагранжа для автокорреляции, используя выражение (6.35), где S имеет строки вида

[etx't StSt-l]

и число наблюдений, равное Т — 1. Если xt не содержит лагирован-ную зависимую переменную, то информационная матрица является блочно диагональной относительно /3 и (а2, р), и метки относительно /3, соответствующие Stxf, можно исключить из S. Это приводит к критической статистике

Т , Т ч -1 т

t=2 М=2 ' £=2

Поскольку при нулевой гипотезе остатки St и St-i независимы7^, то справедливо, что

E{e2eU} = E{e2t}E{eU}Это указывает на то, что асимптотически эквивалентная критическая статистика получается с помощью замены

на (^іЕ^2)(гзтЕ^2-і)В результате получаем

т , Т ч-1 т

Е ( Е ^-1 ) Е

Ыл = (Т 1)^ Ч=2Г = (Т 1)Д2,

где имеется в виду Д2 вспомогательной регрессии МНК-оцененного остатка (или ММП-остатка) et по его лагу e't-iЭта критическая статистика соответствует тесту Бреуша—Годфри на наличие автокорреляции, который обсуждался в главе 4. Если вектор Xt содержит лагированную зависимую переменную, то соответствующую вспомогательную регрессию Et надо строить по 6t-i и xt Тесты на наличие автокорреляции р-го порядка получаются пополнением строк матрицы S с StSt-2 до StSt-p, что, соответственно, потребует добавления

Напомним, что при нормальности нулевая корреляции означает независимость (см. Приложение Б).

St-2i • • • , £t-p во вспомогательную регрессию, объясняющую et. Дополнительное обсуждение представлено в работах (Engle, 1984) и (Godfrey, 1988, Section 4.4).