2.3. свойства мнк-оценки для малых выборок

2.3. свойства мнк-оценки для малых выборок

2.3.1. Предположения Гаусса—Маркова

В этом разделе мы обсудим несколько важных свойств МНК-оценки Ь. Для обсуждения этих свойств нам необходимо сделать некоторые предположения о регрессионном остатке и векторе объясняющих переменных Хі. Первую совокупность предположений, которую мы рассмотрим, составляют так называемые предположения Гаусса-Маркова. Обычно эти предположения являются стандартными в первых главах учебников эконометрики, хотя, как мы будем видеть ниже, они не все строго необходимы, чтобы обосновать применение обычной МНК-оценки. Предположения Гаусса—Маркова представляют только простой случай, в котором легко вывести свойства b для малых выборок.

Стандартная совокупность предположений Гаусса—Маркова имеет вид:

= О, i = l,...,7V, (А1) {si,...,6n} и {жі,..., x/v} независимы, (А2) У{^} = <т2, i = l,...,7V, (A3) cov ^} = 0, г, j = 1,... , TV, г ф j. (А4)

Предположение (А1) говорит, что математическое ожидание регрессионного остатка равно нулю, и подразумевает, что, в среднем, линия регрессии должна быть истинной. Предположение (A3) утверждает, что все регрессионные остатки имеют одну и ту же дисперсию, и называется предположением гомоскедастичности, в то время как предположение (А4) подразумевает нулевую корреляцию между разными регрессионными остатками, что исключает любую форму автокорреляции. Взятые вместе предположения (А1), (A3) и (А4) подразумевают, что регрессионные остатки являются некоррелированными извлечениями из генеральной совокупности с распределением, имеющим нулевое математическое ожидание и постоянную дисперсию а2. Используя вышеприведенную матричную систему обозначений, эти три условия можно переписать в виде

Е{є} = 0 и V{e} = <r2IN, (2.29)

где In — N х N единичная матрица. Последнее из выражений (2.29) говорит, что ковариационная матрица вектора регрессион~ 2

ных остатков є является диагональной матрицей с дисперсией а на диагонали. Предположение (А2) означает независимость матрицы X и вектора регрессионных остатков є, что является довольно сильным предположением, которое может быть несколько ослаблено (см. ниже). Оно, в частности, подразумевает, что

Е{еХ} = Е{е} = 0 (2.30)

и

V{eX} = V{e} = a2IN. (2.31)

Таким образом, матрица значений регрессоров X не предоставляет никакой информации о математических ожиданиях остатков или об их (ковариациях) дисперсиях. Условия (2.30) и (2.31), объединяющие необходимые элементы из предположений Гаусса—Маркова, требуются для того, чтобы приведенные ниже результаты были справедливыми. Часто предположение (А2) излагается в следующем виде: матрица регрессоров X является детерминированной, не стохастической матрицей. Основанием для этого служит то, что исходы в матрице X можно рассматривать как заданные, без влияния на свойства вектора остатков є, т.е. все интересующие нас свойства оценки можно выводить условно по X (т. е. при данных фиксированных значениях матрицы X). Для простоты в этом разделе и разделе 2.5 мы будем придерживаться такого подхода. Согласно предположениям (А1) и (А2) Гаусса—Маркова линейную модель можно интерпретировать как условное математическое ожидание переменной уі при заданном х^, то есть, Е(уіхі) = х'ф, что является прямым следствием из предположения (2.30).

2.3.2. Свойства МНК-оценки

Согласно предположениям (А1)-(А4) МНК-оценка Ъ для вектора неизвестных параметров /3 имеет несколько желаемых свойств. Прежде всего, она является несмещенной оценкой. Это означает, что при повторных выборках мы можем ожидать, что наша оценка, в среднем, равна истинному значению вектора /3. Мы формулируем это свойство, как E{b} = f3. Поучительно посмотреть на доказательство:

Е{Ъ} = ЕЦХ'Х^Х'у} = Е{р+(Х'Х)-1Х'е) = = Р + Е{(Х'Х)-1Х'е} = р.

Последний шаг доказательства существенен, и он следует из соотношения

ЕЦХ'Х^Х'е) = Е{(Х'Х)-1Х'}Е{е] = 0,

поскольку X и є независимы и Е{е} — 0. Заметим, что в доказательстве мы не использовали предположений (A3) и (А4). Тем самым показано, что МНК-оценка является несмещенной до тех пор, пока регрессионные остатки имеют нулевое среднее и независимы от всех объясняющих переменных, даже если присутствует гетероске-дастичность или автокорреляция. Мы возвратимся к этой проблеме в главе 4.

Дополнительно к знанию, что мы, в среднем, корректны, нам также хотелось бы сделать утверждения о том, насколько (невероятно, что оценка при заданной выборке будет далекой от истинного значения вектора (3. Это подразумевает, что мы хотели бы знать закон распределения оценки Ь. Прежде всего, ковариационная матрица вектора Ь (условная по X) имеет вид

У{ЬХ} = аХ'ХГ1=а2{У,Хіх'Л , (2.32)

которую, для простоты, мы обозначим Неявно это означает,

что мы рассматриваем матрицу X как детерминированную матрицу. Доказательство довольно легкое и проводится следующим образом:

V{b} = Е{(Ъ р)(Ъ р)'} = ЕЦХ'Х^Х'єє'Х&'Х)-1} = = {X,X)-lXa2IN)X{X,X)-1 = a2{XfX)-1.

Без применения матричной системы обозначений доказательство проводится следующим образом:

v{b} = vl (X>*J) $>гє

, n .-in . , n

і=1 ' М=1 ' 4=1

]Г ХгХ[ J СТ2 ( ^ Хіх'і J ( Жі^ ) =

г=1 ' 4=1 ' 4=1 '

= сг2(5>^ • (2.33)

Последний результат составляет часть теоремы Гаусса—Маркова. Эта теорема утверждает, что при предположениях (А1)-(А4) МНК-оценка b является наилучшей линейной несмещенной оценкой (HJIHO) для вектора р. Кратко мы говорим, что b является НЛНО-оценкой для вектора р. Чтобы понять этот результат, рассмотрим класс линейных несмещенных оценок. Линейная оценка является линейной функцией от элементов вектора у и ее можно написать как Ь — Ау, где А — это К х N матрица. Оценка является несмещенной, если Е{Ау} = р. (Заметим, что МНК-оценка получается с матрицей А, равной А = (Х/Х)~1Х/.) Тогда теорема утверждает, что разность между ковариационной матрицей вектора b = Ay и ковариационной матрицей МНК-оценки b всегда является положительно полуопределенной. Что это означает? Предположим, что мы интересуемся некоторой линейной комбинацией коэффициентов /3, заданной в виде d!(3, где d — это if-мерный вектор. Тогда результат Гаусса—Маркова означает, что дисперсия МНК-оценки d'b для линейной функции d'(3 не больше, чем дисперсия любой другой линейной несмещенной оценки d'b, то есть

V{d'b} > V{d'b} для любого вектора d.

В качестве частного случая последнее соотношение справедливо для k-го элемента и мы имеем, что

V{bk} > V{bk}.

Таким образом, согласно предположениям Гаусса—Маркова, МНК-оценка является самой точной (линейной) несмещенной оценкой для вектора /3. Больше подробностей относительно результата Гаусса-Маркова можно найти у Грина5) (Greene, 1997, 2000, Section 6.6) или у Стюарта и Джилла (Stewart, Gill, 1998, Section 2.4).

Пока, мы не делали никакого предположения о форме распределения регрессионных остатков є і за исключением того, что они взаимно некоррелированны, независимы от матрицы X, и имеют нулевое среднее значение и постоянную дисперсию. Для точного статистического вывода при заданной выборке из N наблюдений следует сделать6^ явные предположения о распределении. Самое общее предположение состоит в том, что остатки имеют совместное многомерное нормальное распределение 7^. В этом случае некоррелированность (предположение (А4)) эквивалентна независимости всех регрессионных остатков. Наиболее распространенное предположение следующее

e~Af(0,a2IN), (А5)

Если не обозначено иначе, все ссылки ниже одинаково соответствуют как третьему изданию (Greene, 1997), так и четвертому изданию (Greene, 2000). Например, для построения точных интервальных оценок и тестов для значений /3k или для значений у{х^2 ... , х^К>) при заданных значениях регрессо-ров х^2 ... , х^к^ (примеч. научн. ред. перевода).

Позже мы увидим, что для приближенного вывода при больших выборках это не является необходимым.

Распределения, применяемые в этом тексте, объясняются в Приложении Б.

говорящее, что є имеет TV-мерное нормальное распределение с вектором нулевых средних значений и ковариационной матрицей, равной cf2In • Таким образом, предположение (А5) заменяет предположения (А1), (A3) и (А4).

Альтернативный способ записи предположение (А5) есть

Єі~ НОНР(0,а2), (А5')

что означает: є, є<і, ... , en являются независимыми, одинаково нормально распределенными случайными величинами со средними значениями, равными нулю, и дисперсиями, равными а2. Даже не смотря на то, что регрессионные остатки не наблюдаемы, это не означает, что мы свободны в принятии любых предположений, которые нам понравятся. Например, если предполагается, что остатки имеют нормальное распределение, то это значит, что у і (для заданного значения вектора хі) также имеет нормальное распределение. Ясно, что мы можем думать о многих переменных, распределение которых (условное при заданном множестве переменных Хі) не является нормальным, когда предположение о нормальном распределении остатков неуместно. К счастью, не все предположения являются одинаково критическими для справедливости последующих результатов и, кроме того, большинство предположений может быть тестировано эмпирически; см. главы 3, 4 и 6 ниже.

Чтобы сделать упрощения, предположим, что матрица X является фиксированной и детерминированной или, альтернативно, будем работать условно по исходам X. Тогда справедлив следующий результат. Согласно предположениям (А2) и (А5) МНК-оценка Ъ имеет нормальное распределение с вектором средних значений, равным /3, и ковариационной матрицей, равной а2(Х'Х)~1, то есть,

Ь^Мф,а2{Х,Х)-1). (2.34)

Доказательство непосредственно следует из результата, что оценка Ъ является линейной комбинацией всех членов регрессионных остатков Єі, и здесь опускается. Из этого также следует, что каждый элемент в векторе b имеет нормальное распределение, например,

Ьк~ЛГ(0к,а2скк). (2.35)

где Ckk — (к, к) элемент в матрице (XfХ)~1. Эти результаты обеспечивают обоснование статистических тестов, основанных на МНК-оценке 6.

Чтобы оценить дисперсию Ь, нам требуется заменить неизвестную дисперсию регрессионных остатков а2 ее оценкой. Очевидным кандидатом является выборочная дисперсия остатков Єі = Уі — х[Ъ, то есть

1=1

(напомним, что среднее значение остатков равно нулю). Однако поскольку оцененные остатки Є{ отличаются от остатков Єі , то можно показать, что эта оценка является смещенной для дисперсии а2. Несмещенная оценка имеет вид

1=1

Эта оценка имеет скорректированные степени свободы, так как она делится на число наблюдений минус число регрессоров (включая свободный член). Интуитивный аргумент состоит в том, что К параметров были подобраны так, чтобы минимизировать остаточную сумму квадратов и таким образом минимизировать выборочную дисперсию остатков. Доказательство, что s является несмещенной оценкой, не приводится и его можно найти в нескольких учебниках эконометрики (например, (Greene, 2000, Section 6.6) или (Judge et al., 1988, Section 5.8)). Ковариационную матрицу оценки Ь, таким образом, можно оценить в виде

/ N ~г

V{b} = s2(X'X)-1 = s21 J2 хіх'і ) . (2.38)

Оцененная дисперсия элемента bk задается, как s2CkkКвадратный корень из этой оцененной дисперсии обычно называется стандартной ошибкой элемента bk. Она является оцененным стандартным отклонением элемента bk и является мерой точности оценки.

2.3.3. Пример: индивидуальная заработная плата (продолжение)

Возвратимся теперь к нашему примеру заработной платы. Мы можем сформулировать статистическую модель как

wagei = Pi + p2malei + Єі, (2.39)

где wagei обозначает почасовую тарифную ставку заработной платы молодого работника г, а таїеі = 1, если работник г является мужчиной, и malei = 0, если работник г является женщиной. Наложение условий, что Е{єі} = 0 и Е{егта1ег} = 0 приводит к интерпретации

коэффициента регрессии (3 как средней величины тарифной ставки заработной платы для женщин, в то время как интерпретация выражения

Е{иоадЄітаІЄі — 1} — j3 + (32

приводит к средней величине тарифной ставки заработной платы для мужчин. Эти коэффициенты регрессии являются неизвестными величинами генеральной совокупности, и мы можем пожелать оценить их. Предположим, что мы имеем случайную выборку, подразумевая, что различные наблюдения являются независимыми. Также предположим, что остатки Єі, является независимыми от регрессоров, в частности, дисперсия остатков Є{ не зависит от пола (malei). Тогда МНК-оценка для вектора коэффициентов регрессии (3 является несмещенной, и ее ковариационная матрица задается выражением (2.32). Результаты оценивания представлены в таблице 2.1. В дополнение к значениям МНК-оценок, которые идентичны значениям, представленным ранее в п. 2.1.3, теперь нам также известно кое-что о точности оценок, которая отражается в стандартных ошибках. Мы теперь можем сказать, что наша оценка математического ожидания почасовой разности заработной платы /32 между мужчинами и женщинами равна 1,28 доллара со стандартной ошибкой 0,14 доллара. Совместно с нормальным распределением, это позволяет нам делать утверждения о (32. Например, мы можем проверить гипотезу, что (32 = 0. Если дело обстоит так, то разность заработной платы между мужчинами и женщинами в нашей выборке отличается от нуля только случайно. В разделе 2.5 обсуждается, как тестировать гипотезы относительно вектора неизвестных параметров (3.

2.4. Качество «подгонки» данных моделью ("goodness-of-M")

51

2.4. Качество «подгонки» данных моделью ("goodness-of-fit")

Оценив конкретную линейную модель, естественно задать вопрос: насколько хорошо оцененная линия регрессии соответствует наблюдениям? Популярной мерой качества подгонки данных моделью является доля (выборочной) дисперсии переменной у, которая объясняется моделью. Эту переменную называют R2 (R квадрат) и она определяется как

1 N

где

*2 = Wr = it > (2-4°)

Уі — х[Ъ^ & у = (jy) У1 обозначает выборочное среднее yi.

^ ' і

Заметим, что у также соответствует выборочному среднему yi из-за выражения (2.11).

Из условий первого порядка (сравните (2.10)) непосредственно следует, что

N

^2 eixik =0, k = 1,... , К.

i=i

Следовательно, мы можем написать у і — у і + е^, где ЄіУі = 0.

і

В самом важном случае, когда модель содержит свободный член, справедливо, что

УЫ = 9{уг} + 9{е*}, (2.41) где V'fej} = s2. Используя это, В2 можно переписать в виде

1 N

R2 = 1_^il = 1 (2 42)

Пін) і f. _,2

1=1

Уравнение (2.41) показывает, как выборочную дисперсию у і можно разложить на сумму выборочных дисперсий двух ортогональных компонент: предиктора у і и оцененного остатка Є{. Таким образом, мы видим, что величина R2 действительно определяет, какую долю выборочной вариации і/і можно объяснить моделью.

Если интересующая нас модель содержит свободный член, то два выражения (2.40) и (2.42) для R2 эквивалентны. Кроме того, в этом случае можно показать, что 0 < R2 < 1. Только если все Єі = 0, то справедливо, что R2 = 1, тогда как R2 равен нулю, если модель ничего не объясняет дополнительно к выборочному среднему Уі. Таким образом, R2 модели, которая имеет только свободный член в своей правой части, равен нулю по определению. В этом смысле R2 показывает, насколько лучше построенная модель описывает данные, чем тривиальная модель только с одним постоянным членом.

Из результатов в таблице 2.1 мы видим, что R2 очень простого уравнения заработной платы равен только 0,0248. Это означает, что приблизительно только 2,5\% вариации заработной платы молодых работников можно объяснить различиями пола. Очевидно, что помимо пола на заработную плату работника влияют много других наблюдаемых и ненаблюдаемых факторов. Это автоматически не означает, что модель, которая была оценена с результатами, приведенными в таблице 2.1, неправильна или бесполезна: результаты просто показывают относительную (не)значимость пола в объяснении вариации заработной платы.

В исключительных случаях, когда модель не содержит свободного члена, два выражения для R2 не эквивалентны. Причина заключается в том, что соотношение (2.41) нарушается, потому что

N

сумма ^2 ег больше не равна нулю. В этой ситуации, возможно, что

і=1

і?2, вычисленный из выражения (2.42), становится отрицательным. Альтернативным критерием, который обычно вычисляется некоторыми пакетами программ, если нет никакого свободного члена, является нецентрированный R2, который определяется как

N N

е?

нецентрированный R = ^ = 1 — . (2.43)

i=i г=

В общем, значение нецентрированного R2 выше, чем стандартного R2.

Поскольку R2 измеряет объясненную вариацию у і , то он также является чувствительным к определению этой переменной. Напри-

2.4. Качество «подгонки» данных моделью ("goodness-of-fit")

53

мер, объяснение заработной платы несколько другое чем объяснение логарифма заработной платы, и Д2-ты будут отличаться. Точно так же модели, объясняющие потребление, его приращения или его рост не будут непосредственно сопоставимы в терминах их і?2-тов. Ясно, что одни источники вариации намного сложнее объяснить чем другие. Например, вариацию в агрегированном потреблении для данной страны обычно легче объяснить, чем пространственную вариацию в потреблении по индивидуальным домашним хозяйствам. Следовательно, нет никакой абсолютной точки отсчета, чтобы сказать, что R2 «высок» или «низок». Значение 0,2 может быть высоким в определенных приложениях, но низким в других приложениях, и даже значение 0,95 может интерпретироваться как низкое в определенном контексте.

Иногда R2 интерпретируется как мера качества статистической модели, в то время как фактически он измеряет не что иное, как качество линейной аппроксимации. Поскольку подход МНК разработан для получения наилучшей линейной аппроксимации независимо от «истинной» модели и законности ее предположений, оценивание линейной модели обычным методом наименьших квадратов будет всегда давать наилучший возможный R2. Любой другой метод оценивания, и мы будем видеть это несколько ниже, будет приводить к более низким значениям R2 даже при том, что соответствующая оценка может иметь намного лучшие статистические свойства согласно предположениям модели. Еще хуже, если модель оценивается не с помощью МНК; тогда два определения (2.40) и (2.42) не эквивалентны, и не очевидно, как следует определить R2. Можно рекомендовать к использованию альтернативное определение Д2, которое в рамках МНК будет эквивалентно выражениям (2.40) и (2.42) и гарантирует, что при любой другой оценке R2 будет между нулем и единицей. Этот R2 задается в виде

fN - V

(У2іуі-у){уі-у))

R2 = согг2{Уг, уг} = — -, (2.44)

(Е^-й'ДЕ®-»')

который обозначает квадрат (выборочного) парного коэффициента корреляции между фактическими и прогнозными значениями. Используя (2.41), легко проверить, что для МНК-оценки выражение (2.44) эквивалентно выражению (2.40). Написанный таким образом

R2 может интерпретироваться в качестве измерителя, насколько хорошо изменение значений yi связана с вариацией изменения значений у і . Но и при этом альтернативном определении R2 отражает качество линейной аппроксимации, а не обязательно качество той статистической модели, в которой мы заинтересованы. Поэтому величина Д2, как правило, не самая важная характеристика наших результатов оценивания.

Другой недостаток R2 состоит в том, что он никогда не будет уменьшаться при увеличении числа регрессоров, даже если добавленные переменные не будут иметь никакой реальной объясняющей мощности. Общий способ решения в этом случае состоит в том, чтобы скорректировать оценки дисперсий в выражении (2.42) на степени свободы. Это приводит к так называемому скорректированному ("adjusted") Д2, или R , определяемому как

1 N 1 ^е2

N-К ^

R2 = 1 • (2.45)

N _

г=і

Эта мера качества подгонки данных моделью предусматривает некоторое «наказание» за включение дополнительных объясняющих переменных в модель, и поэтому автоматически не увеличивается (т. е. не всегда увеличивается), когда в модель добавляются регрессоры (см. главу 3). В действительности он может уменьшаться при добавлении переменной к множеству регрессоров. Заметим также, что в

2

некоторых крайних случаях R может стать отрицательным. Также отметим, что скорректированный R2 строго меньше чем і?2, если только модель не состоит из одного постоянного члена, или если оба измерителя не равны нулю.

2.5. Проверка статистических гипотез

*) В данном параграфе речь идет и о построении интервальных оценок (доверительных интервалов) для неизвестных коэффициентов регрессии /3k (примеч. научн. ред. перевода).

Согласно предположениям Гаусса—Маркова (А1)-(А4) при нормальном распределении регрессионных остатков (А5) мы видели, что

МНК-оценка b имеет нормальное распределение со средним значением, равным /3, и ковариационной матрицей, равной сг2(Х/Х)-1. Мы можем использовать этот результат, чтобы разработать критерии проверки гипотез относительно неизвестных параметров генеральной совокупности /3. Отправляясь от предположения (2.35), имеем, что переменная

- h ~Pk (2.46)

имеет стандартное нормальное распределение (то есть, нормальное распределение со средним, равным 0, и дисперсией, равной 1). Если мы заменяем неизвестное а его оценкой s, то в точности это больше не справедливо. Можно показать 8 что несмещенная оценка s2, определенная выражением (2.37), не зависит от 6 и имеет хи-квадрат распределение с N — К степенями свободы. В частности 9

(N-K)^~X2n-k(2-47)

Соответственно случайная переменная

tk = (2.48)

является отношением стандартной нормальной переменной и квадратного корня из независимой хи-квадрат переменной и, следовательно, имеет t-распределение Стьюдента с N — К степени свободы. Как известно, і-распределение близко к стандартному нормальному распределению за исключением того, что оно имеет более «тяжелые хвосты», особенно когда число степеней свободы N — К является малым. Чем больше N — К, тем больше ^-распределение напоминает стандартное нормальное распределение, и для достаточно больших N — К эти два распределения практически идентичны.

2.5. Т. Простой t-критерий

8) Доказательство этого вне рамок этого текста. Основная идея состоит в том, что

сумма квадратов нормальных переменных имеет хи-квадрат распределение

(см. Приложение Б).

9) См. Приложение Б для более детального описания распределений, используемых в этом разделе.

Вышеприведенный результат можно применить, чтобы построить критическую статистику и доверительные интервалы. Общая идея относительно проверки гипотез следующая. Начинают с формулировки проверяемой гипотезы, нулевой гипотезы; затем предлагается критическая статистика (некоторая функция от результатов наблюдений), которая имеет известное распределение при предположении, что нулевая гипотеза является истинной. После этого вычисляется значение критической статистики (по конкретным, имеющимся у нас данным) и решается, неправдоподобно ли вычисленное значение критической статистике с точки зрения того распределения, которому она должна подчиняться; утвердительный ответ говорит о том, что проверяемая (нулевая) гипотеза вряд ли будет истинна. Проиллюстрируем это на примере. Предположим, что у нас есть сформулированная нулевая гипотеза, которая специфицирует значение (5k, скажем Щ : Рк = Pki где /3£ — специфицированное (заданное) значение, выбранное исследователем. Если эта гипотеза истинна, то мы знаем что статистика

tk = (2.49)

имеет t-распределение с N — К степенями свободы. Если нулевая гипотеза не верна, то справедлива альтернативная гипотеза Ні : Рк ф Рк • Будем использовать tk как критическую статистику; ее значение можно вычислить, располагая значениями оценки Ък и ее стандартной ошибки s^/ckk Обычная процедура тестирования состоит в отклонении нулевой гипотезы, если tk понимает значение, которое очень неправдоподобно в условиях справедливости нулевой гипотезы. Этот случай соответствует очень большим абсолютным значениям tkТочнее, нулевая гипотеза отклоняется, если вероятность наблюдения значений k или больших, чем оказывается меньшей, чем заданный уровень значимости критерия а (часто величина а принимается равной 0,05). Отсюда можно определить критические значения £дг-к;а/2> используя

P{ k\>tN-K;a/2} = a*

Другими словами, значения tN_K. а/2 — это 100 —\%-ные точки распределения Стьюдента с N — К степенями свободы (примеч. научн. ред. перевода).

Для не слишком малых N — К эти критические значения только слегка больше, чем соответствующие значения процентных точек стандартного нормального распределения (для которого, например, двустороннее критическое значение для a = 0,05 равно 1,96; следовательно, при 5\%-ом уровне значимости и при достаточно больших N — К нулевая гипотеза отклоняется, если k > 1,96).

Вышеупомянутый критерий называется двухсторонним критерием, потому что альтернативная гипотеза учитывает значения f3k с обеих сторон Иногда альтернативная гипотеза является односторонней, например, гипотеза: математическое ожидание заработной платы мужчины больше чем женщины. Формально, мы определяем нулевую гипотезу как Но : fik < 01 с альтернативной гипотезой Hi : /3k > 01Затем мы рассматриваем распределение тестовой статистики tk на границе нулевой гипотезы (то есть, при /3k — 01, как и прежде), и мы отклоняем нулевую гипотезу, если tk является слишком большим (заметим, что большие значения bk приводят к большим значениям \%). Большие отрицательные значения tk согласуются с нулевой гипотезой и не приводят к ее отклонению. Таким образом, для одностороннего критерия, критическое значение определяется из соотношения

P{tk > tjsf-Ka}

— a.

Используя стандартную нормальную аппроксимацию, мы снова отклоняем нулевую гипотезу на 5\%-ом уровне значимости, если

tk > 1,64

В программном обеспечении по регрессии, как правило, вычисляется следующее ^-значение

В данном случае под «критическим значением» подразумевается 100а\%-ная точка распределения Стьюдента с N — К степенями свободы, которая при a = 0,05 и достаточно больших значениях N — К приблизительно равна 1,64 (примеч. научн. ред. перевода).

иногда называемое ^-отношением, которое является просто точечной оценкой параметра , деленного на его стандартную ошибку. Это t-отношение является просто i-статистикой, которая вычисляется для проверки нулевой гипотезы, что /3^ = 0; эта гипотеза также может представлять экономический интерес. Если гипотеза отклоняется, то говорят, что «/3k значимо отличается от нуля», или что соответствующая переменная «Xik имеет значимое воздействие на уі». Часто, мы просто говорим, что (эффект) «Xik является значимым».

Доверительный интервал можно определить в виде интервала всех значений для , для которых нулевая гипотеза Pk = Pk не отклоняется і-критериями. Говоря не совсем точно, доверительный интервал предоставляет диапазон значений для истинного коэффициента fik, которые не являются маловероятными для имеющихся данных, то есть, при условии оценки bk и соответствующей стандартной ошибки. Это подразумевает выполнение следующих неравенств, которые справедливы с вероятностью 1-а,

— tN-K;a/2 < < ^N — K; а/2? (2.50)

Sy/Ckk

или

bk — tN_K. a/2S^/Ckk < Рк < bk + tN-K', ot/2S^/Ckk- (2-51)

Следовательно, используя стандартную нормальную аппроксимацию, 95\% доверительный интервал для неизвестного параметра pk задается интервалом

[Ьк l,96sv^fe* < Pk < Ьк + l,96sVcifefc ]■ (2.52) В повторных выборках того же объема N 95\% таких интервалов будут содержать истинное значение pk, которое является фиксированным, но неизвестным числом (и таким образом не стохастическим).

2.5.2. Пример: индивидуальная заработная плата (продолжение)

По данным таблицы 2.1 мы можем вычислить ^-отношение и выполнить простые тесты. Например, если мы хотим проверить гипотезу /?2 = 0, то строим t-статистику как оценку, деленную на ее стандартную ошибку, и получаем t = 9,15. Для заданного большого числа наблюдений соответствующее ^-распределение фактически идентично стандартному нормальному распределению, таким образом, 5\% двустороннее критическое значение равно 1,96. Это означает, что нам, несомненно, следует отклонить нулевую гипотезу р2 = 0. Таким образом, нам следует отклонить нулевую гипотезу о том, что в генеральной совокупности математическое ожидание разности заработной платы между мужчинами и женщинами равно нулю. Мы также можем вычислить доверительный интервал, который имеет границы 1,28 ± 1,96 х 0,14. Это означает, что с 95\% уровнем доверия мы можем утверждать, что для всей генеральной совокупности математическое ожидание разности заработной платы между мужчинами и женщинами находится между 1,00 долларом и 1,56 доллара в час.

2.5.3. Тестирование одного линейного ограничения

Тест, обсужденный выше, включает ограничение на один коэффициент. Часто, интересующая нас экономическая гипотеза подразумевает линейное ограничение более чем на один коэффициент, типа10^ /?2 + Рз + •. • + Рк = 1 • Вообще, мы можем сформулировать такую линейную гипотезу как

Н0 : Пр2 + ... + ткрк = r'p = q (2.53)

для некоторого скалярного значения q и Х-мерного вектора г. Мы можем проверить гипотезу (2.53), используя результат, что r'b является НЛНО для г Р с дисперсией V{rfb} = rfV{b}r *). Поскольку b имеет Х-мерное нормальное распределение, то r'b также имеет нормальное распределение (см. Приложение Б), так что мы имеем отношение

Р ~ tN-K, (2.54) 8y/r'(X'X)-ir

которое является прямым обобщением (2.48) п^. Тестовая статистика для проверки гипотезы Но имеет вид

t = r'b q sy/r'iX'Xy^r

которая подчинена tjy-к распределению при справедливости нулевой гипотезы. На 5\%-ом уровне значимости абсолютные значения і, превышающие 1,96 (нормальная аппроксимация), приводят к отклонению нулевой гипотезы. Это представляет самую общую версию t-критерия.

10) Например, в производственной функции Кобба—Дугласа, записываемой в виде линейной модели регрессии в логарифмах, гипотеза постоянной отдачи от масштаба производства соответствует тому, что сумма всех параметров наклона (коэффициентов при всех логарифмах факторов производства) должна быть равна единице.

Здесь V{b} — ковариационная матрица МНК-оценки Ь. Она определяется соотношением (2.32), а ее оценка — соотношением (2.38) (примеч. научн. ред. перевода).

п) Статистика является той же самой, если г является К-мерным вектором нулей с первой по k-ую позицию.

Иногда более удобный способ получить ту же самую тестовую статистику состоит в такой перепараметризации исходной модели, что линейное ограничение Но соответствует ограничению обычного вида, скажем, 01 = 0. Например, рассмотрим

Vt= 01+ 02\%І2 + 03\%ІЗ + Єі

и предположим, что интересующее нас ограничение есть 02 = 0з-Тогда мы можем переписать модель в виде12^

yt = (Зі + (02 Рз)Хі2 + АзОгЗ + Хі2) + Єі

или

Уі= 01 + 02ХІ2 + 0з(\%із + хі2) + Єі.

Из определения МНК, который минимизирует остаточную сумму квадратов, следует, что этот метод является инвариантным при линейной перепараметризации. Следовательно, МНК-оценка для коэффициента 0з в обеих формулировках модели будет идентична, а оценка для разности (02 — 0з) = 02 идентична 62 — &з • Преимущество перепараметризации состоит в том, что нулевую гипотезу можно написать как нулевое ограничение на один из коэффициентов регрессии, то есть, Но : 02 = 0. Следовательно, эту гипотезу можно протестировать, используя стандартное і-отношение для коэффициента 02 в перепараметризованной модели. Знаменатель критической статистики (или вся критическая статистика) автоматически предоставляется стандартными программами и модулями по регрессии.

Перепараметризация не всегда возможна и может быть неудобной, если следует протестировать много гипотез. В таких случаях можно применять t-критерий как обсуждалось выше или, если требуется совместный критерий для более чем одного ограничения, можно применять один из подходов, описанных ниже.

2.5.4. Совместный критерий значимости коэффициентов регрессии

Эта перепараметризация не единственна.

Стандартный тест, который также часто автоматически поставляется в статистических пакетах программ, является тестом на проверку совместной гипотезы, что все коэффициенты регрессии кроме свободного члена 01 равны нулю. Мы обсудим эту процедуру несколько шире, с помощью проверки нулевой гипотезы, что J из К коэффициентов регрессии равны нулю. Без потери общности, предположим,

что эти J коэффициентов регрессии являются последними в модели, Н0 : (Зк-j+i = ... = /?* = 0. (2.56)

Альтернативной в этом случае является гипотеза, что нулевая гипотеза Но не истинна, то есть, что, по крайней мере, один из этих J коэффициентов не равен нулю.

В этом случае самая легкая процедура тестирования должна сравнить остатки суммы квадратов полной модели с остатками суммы квадратов ограниченной модели (в которой исключены J последних регрессоров). Обозначим остаточную сумму квадратов полной модели через Si, а остаточную сумму квадратов ограниченной модели через SoЕсли бы нулевая гипотеза была корректной, то ожидалось бы, что сумма квадратов с наложенным ограничением только немного больше чем в неограниченном случае. Критическую статистику можно получить, используя следующий результат, который мы представляем без доказательства. При нулевой гипотезе и предположениях (А1)-(А5) справедливо, что

So — Si 2 /о KV

——2— ~ Xj(2-57) Из более ранних результатов мы знаем, что

(ІУ K)s2 2

—2 ~Xn-KКроме того, при нулевой гипотезе можно показать, что So — Si и s2 независимы. Следовательно, мы можем определить следующую тестовую статистику,

(Sp -Si)/J f~ SxKN-КУ (2l58)

При нулевой гипотезе / имеет F-распределение с J и N — К степенями свободы, обозначенное через F^_K. Если мы используем определение R2 из выражения (2.42), то мы также можем написать эту / статистику в виде

f № ~ Royj (2 59)

где R2 и Rq — обычные меры качества подгонки данных с помощью неограниченной и ограниченной моделей соответственно.

Ясно, что в этом случае только очень большие значения для критической статистики подразумевают отклонение нулевой гипотезы.

Несмотря на двухстороннюю альтернативную гипотезу, критические значения Fft-Kа *^ для этого так называемого F-критерия являются односторонними, и определяются следующим равенством

>*#-*;«} = «.

где а — уровень значимости теста. Например, если N — К = 60 и J = 3, то критическое значение на 5\%-ом уровне значимости равно 2,76.

В большинстве приложений оценки для различных элементов вектора параметров регрессии будут коррелированны. Это означает, что объясняющие мощности объясняющих переменных перекрываются. Следовательно, маргинальный вклад каждой объясняющей переменной при ее добавлении может быть очень малым. Поэтому возможно, что і-критерий для коэффициента каждой переменной заданного набора регрессоров говорит о ее незначимости, в то время как F-критерий для совокупности этих переменных высоко значим. То есть, возможно, что нулевая гипотеза Pi = 0, как таковая, является правдоподобной и нулевая гипотеза /?2 = 0 является правдоподобной, но совместная нулевая гипотеза /Зі = /З2 = 0 вряд ли является справедливой. В результате, в общем, возможно, что і-критерий для каждого ограничения не отклоняет отдельную нулевую гипотезу, в то время как совместный F-критерий отклоняет совместную нулевую гипотезу. Обратное также верно: возможно, что индивидуальные ^-критерии отклоняют отдельные нулевые гипотезы, в то время как совместный критерий этого не делает. Ниже в разделе о мультиколлинеарности этот момент разъясняется.

Частный случай этого F-критерия иногда ошибочно называется ^ модельным тестом13^. Это случай, когда тестируется не значимость всех регрессоров, то есть тестируется нулевая гипотеза

Здесь, как и прежде, под «критическим значением» подразумевается 100а\%-ная точка F-распределения с числом степеней свободы J и N — К (примеч. научн. ред. перевода).

Эта терминология водит в заблуждение, поскольку ни в каком смысле не тестируется, корректны ли ограничения, наложенные на модель. Тестируется единственный случай равенства нулю всех коэффициентов регрессии, за исключением свободного члена. То есть, это случай тривиальной модели с нулевым R2. Как показано в выражении для критической статистики (2.61), критическая статистика, связанная с модельным тестом, является просто функцией R2.

Но : 02 = Рз = • • • = Рк = О,

означающая, что все частные коэффициенты наклона являются равными нулю. Соответствующая тестовая статистика в этом случае есть

(S0-S1)/(K-l) f= Si/iN-K) ' (2-60)

где Si — остаточная сумма квадратов модели, то есть Si = е2,

і

a So — остаточная сумма квадратов ограниченной модели, содержащей только свободный член, то есть So = ^^(Уг — у)2 14^ • Поскольку

г

ограниченная модель имеет нулевой R2 по построению, то критическую статистику можно также написать как

&/(к -1)

F=(i-*2)/(iv-*)' (2-61)

где мы использовали принятую традицию обозначать эту статистику через F. Заметим, что она является простой функцией от R2 модели. Если тест, основанный на F, не отклоняет нулевую гипотезу, то можно заключить, что модель «работает» довольно плохо: «модель» только со свободным членом не могла бы сделать это статистически хуже. Однако обратное конечно не верно: если тест действительно отклоняет нулевую гипотезу, то нельзя заключить, что модель является хорошей, идеальной, обоснованной или наилучшей. Альтернативная модель может выполняться намного лучше. В главе 3 этой проблеме уделяется больше внимания.

2.5.5. Пример: индивидуальная заработная плата (продолжение)

14) Используя определение МНК-оценки, легко проверить, что свободный член в модели без регрессоров, оценивается выборочным средним у. Любой другой выбор привел бы к более высоким значениям S.

Наше прежнее заключение о существовании значимой разности между математическим ожиданием тарифных ставок заработной платы для мужчин и женщин, не обязательно указывает на дискриминацию. Возможно, что работающие мужчины и женщины различаются по своим характеристикам, например, по времени обучения. Для такого анализа мы можем расширить модель регрессии дополнительными объясняющими переменными, например введением переменной school^, которая обозначает время обучения (в годах), и переменной ехрегі, обозначающей опыт работы (в годах.). Теперь модель описывает условное математическое ожидание тарифной ставки заработной платы работника при заданных «значениях» его пола, времени обучения и опыта. Коэффициент 02 при переменной таїві теперь интерпретируется как разность математических ожиданий заработной платы между мужчиной и женщиной с одним и тем же временем обучения и опытом работы. Точно так же коэффициент /?з при переменной schook представляет разность математических ожиданий заработной платы между двумя работниками с одним и тем же опытом работы и полом, при наличии одного дополнительного года обучения. Вообще коэффициенты в модели множественной регрессии могут интерпретироваться только при условии ceteris paribus (при прочих равных условиях), то есть, коэффициент для данной переменной интерпретируется при условии, что остальные переменные, включенные в модель, являются одними и теми же.

Оценивание МНК приводит к результатам, представленным в таблице 2.2. Коэффициент при переменной malei теперь предполагает, что если мы сравниваем мужчину и женщину с одним и тем же временем обучения и опытом работы, то разность математических ожиданий заработной платы равна 1,47 доллара по сравнению с 1,28 долларом прежде. Со стандартной ошибкой, равной 0,14 доллара, эта разность все еще статистически высоко значима. Нулевую гипотезу, что обучение не имеет никакого эффекта на заработную плату работника, при условии одного и того же пола и опыта работы, можно протестировать, используя описанный выше i-критерий с критической статистикой равной 14,86. Ясно, что нулевую гипотезу следует отклонить. Оцененное увеличение заработной платы при одном дополнительном годе обучения с одинаковым опытом работы равно 0,62 доллара. При таких результатах не удивительно, что совместную нулевую гипотезу равенства нулю всех трех частных коэффициентов регрессии также следует отклонить. Интерпретация нулевой гипотезы состоит в том, что на заработную плату рабочего не влияют ни пол, ни время обучения и ни опыт работы. F-статистика принимает значение 103,4 при соответствующем 5\% критическом значении, равном 2,60.

И, наконец, можно использовать вышеупомянутые результаты, чтобы сравнить эту модель с более простой моделью, результаты для которой представлены в таблице 2.1. R2 увеличился с 0,0248 до 0,0861, что означает, текущая модель в состоянии объяснить 8,6\%

выборочной вариации в заработной плате. Мы можем проверить совместную нулевую гипотезу, что две дополнительных переменные, время обучения и опыт работы, обе имеют нулевые коэффициенты, применяя описанный выше F-критерий. Тестовую статистику (2.59) можно вычислить из Д2-ов, представленных в таблицах 2.1 и 2.2, как

(0,0861 0,0248)/2

1 (1 0,0861)/(3296-4) ' '

Очевидно, что при 5\% критическом значении, равном 3,00, нулевая гипотеза отклоняется. Таким образом, можно заключить, что модель, которая включает переменные пола, времени обучения и опыта работы, выполняется значимо лучше модели, включающей только пол.

2.5.6. Общий случай линейных ограничений на коэффициенты регрессии

Самая общая линейная нулевая гипотеза является комбинацией предыдущих двух случаев и включает множество J линейных ограничений на коэффициенты. Мы можем сформулировать эти ограничения в виде

R0 = q,

15) Полный ранг строк означает, что ограничения линейно независимы.

где R — это J х К матрица полного ранга строк 15 ag — J-мерный вектор. Примером такого множества ограничений является р + th + ... + (Зк = 1 и 02 = 0з, где J = 2 и

R={o і -І о" о)' 9=(о

В принципе, возможно, оценить модель с наложенными выше ограничениями при помощи процедуры тестирования, описанной в разделе 2.5.4. Однако во многих случаях эти ограничения являются такими, что их трудно оценить при нулевой гипотезе (то есть с наложением ограничения R/3 = q). В этом случае можно использовать результат, что

Rb ~ N(R(3, a2R{X'X)-lRf), (2.62)

так что можно построить квадратичную форму, которая имеет при нулевой гипотезе хи-квадрат распределение, то есть.

{Rb-q)R{X'X)^R')-l{Rb-q) 2 ( .

€ = —2 ~Xj(2.Ь6)

Поскольку дисперсия а2 неизвестна, мы должны заменить эту дисперсию ее оценкой s2. Существуют два способа продолжения. Первый способ состоит просто в замене а2 в выражении (2.63) на s2, тогда полученная статистика приближенно имеет хи-квадрат распределение (конечно при нулевой гипотезе)16). Часто проверка нулевой гипотезы с помощью такой статистики называется тестом Вальда. Второй способ продолжения состоит в применении результата (2.47), снова такого, что тестовую статистику можно определить как отношение двух независимых хи-квадрат переменных, то есть,

[(N-K)s2/a2]/(N-K) (Rb q),(R(X'X)-lR')-1(Rb q)

(Rb q)(T2R(X,X)-lR)-1(Rb q)/J_ _

(2.64)

Js2

Приближенный результат получен на основе асимптотического распределения, и также справедлив, если на члены ошибок не накладывается предположение о нормальности их распределения (см. ниже). Аппроксимация тем более точная, чем больше объем выборки.

которая при нулевой гипотезе имеет F-распределение с J и N — К степенями свободы. Как и прежде, большие значения приводят к отклонению нулевой гипотезы. Можно показать, что статистика (2.64) алгебраически идентична статистикам (2.58) и (2.59), приведенным выше. Какую статистику применить — просто вопрос вычислительного удобства.

Возможно также построить совместные доверительные области для двух или больше элементов в р. Поскольку они очень мало используется в эмпирической работе, то мы их пропустим и отошлем заинтересованного читателя за подробностями к Грину (Greene, 2000, Section 7.2) или к Джаджу (Judge et al., 1988, Section 6.3).

2.5.7. Размер, мощность и р-значения критерия

При проверке статистической гипотезы, можно сделать две ошибки. Первая ошибка заключается в том, что нулевая гипотеза отклоняется, когда она истинна, и называется ошибкой первого рода*). Вторая ошибка состоит в том, что нулевая гипотеза принимается, когда истинна альтернативная гипотеза и называется ошибкой второго рода. Вероятностью ошибки первого рода непосредственно управляет исследователь с помощью выбора уровня значимости а. При выполнении теста на 5\%-ом уровне значимости, вероятность отклонения нулевой гипотезы, когда она истинна, в точности равна 5\%. Эта вероятность (уровень значимости) часто называется размером критерия. Вероятность ошибки второго рода зависит от истинных значений параметра. Интуитивно ясно, что если истина отклоняется намного от сформулированной нулевой гипотезы, то вероятность такой ошибки будет относительно малой, тогда как если нулевая гипотеза близка к истине, то эта вероятность будет весьма большой. Обратная вероятность, то есть, вероятность отклонения нулевой гипотезы, когда она ложна, называется мощностью критерия. Она показывает, насколько «мощный» тест при обнаружении отклонений от нулевой гипотезы (в зависимости от истинного значения параметра). Вообще, сокращение размера критерия уменьшает его мощность, так что между выбором значений ошибок первого и второго рода существует некоторое компромиссное решение.

Предположим, что мы проверяем гипотезу, что 02 — 0, в то время как истинное значение этого параметра фактически равно 0.1. Ясно, что вероятность отклонения нулевой гипотезы, зависит от стандартной ошибки нашей МНК-оценки Ь и, таким образом,

Ее вероятность задается величиной «уровня значимости критерия» (примеч. научн. ред. перевода).

между прочим, от объема выборки. Чем больше объем выборки, тем меньше стандартная ошибка и тем более вероятно отклонение нулевой гипотезы. Это означает, что при возрастании объема выборки ошибки второго рода становятся все более и более маловероятными. Для компенсации исследователи, как правило, уменьшают вероятность ошибки первого рода (то есть вероятность неправильного отклонения нулевой гипотезы), снижая размер критерия а. Этим объясняется, почему в больших выборках более уместно выбирать 1\% размер или менее, а не «традиционные» 5\%. Точно так же в очень маленьких выборках мы можем предпочесть работать с 10\% уровнем значимости.

Обычно сформулированная нулевая гипотеза предполагается истинной, если не убеждает свидетельство об обратном. Тем самым предполагается, что если нулевая гипотеза не отклоняется тестом, то при любых соображениях мы придерживаемся нулевой гипотезы. Такое представление не является полностью целесообразным. Возможно тестирование диапазона альтернативных нулевых гипотез (например, /?2 = 0, /?2 = 0,1 и /?2 = 0,5) с результатом, что ни одна из них не отклоняется. Очевидно, что заключение об истинности всех трех нулевых гипотез одновременно было бы нелепым. Единственный соответствующий вывод состоит в том, что мы не можем отклонить ни одну из этих гипотез, ни (32 — 0, ни /З2 = 0,1 и ни /?2 = 0,5. Иногда, эконометрические тесты просто не очень мощны и требуются очень большие объемы выборок, чтобы отклонить сформулированную гипотезу.

И, наконец, еще одна вероятность, которая принимается в расчет в статистических тестах, обычно называется р-значением (р-value). Это р-значение или значение вероятности обозначает минимальный размер критерия, для которого нулевая гипотеза все еще отклонялась бы. Оно определяется как вероятность при нулевой гипотезе найти тестовую статистику, которая (по абсолютному значению) превышает значение статистики, вычисленной из выборки. Если

4

р-значение меньше уровня значимости а, то нулевая гипотеза отклоняется. Многие современные пакеты статистического программного обеспечения предоставляют такие р-значения и таким образом позволяют исследователям делать выводы без консультаций или задания соответствующих критических значений. По р-значениям также можно судить о чувствительности решения отклонить нулевую гипотезу относительно выбора уровня значимости.

2.6. Асимптотические свойства МНК-оценок

Во многих случаях свойства МНК-оценок для малых выборок могут отклоняться от обсужденных выше свойств. Например, если регрессионные остатки Єі в линейной модели не подчиняются нормальному распределению, то и выборочное распределение МНК-оценки b не является нормальным. Если предположение (А2) Гаусса—Маркова нарушено, нельзя показать, что b имеет математическое ожидание, равное р. Фактически, линейная модель регрессии согласно предположениям Гаусса—Маркова с нормальными регрессионными остатками является одним из очень немногих случаев в эконометрике, когда известно точное выборочное распределение оценок параметра. Как только мы ослабим некоторые из этих предположений или переходим к альтернативным моделям, свойства наших оценок для малых выборок, как правило, неизвестны. В таких случаях мы используем альтернативный подход, чтобы определить качество наших оценок на основе асимптотической теории. Асимптотическая теория отвечает на вопрос, что случится, если гипотетически объем выборки становиться бесконечно большим. Асимптотически, эконометрические оценки обычно имеют хорошие свойства, как, например, нормальность, и мы используем асимптотические свойства, чтобы аппроксимировать свойства для конечной выборки, которую мы имеем. Этот раздел представляет первое обсуждение асимптотических свойств МНК-оценок.

2.6.7. Состоятельность

Мы начнем с линейной модели при предположениях Гаусса—Маркова. В этом случае мы знаем, что МНК-оценка b имеет следующие первые два момента

Е{Ь} = /?, (2.65)

V{b} = a2 I ]Г хгх J = a2{X'X)(2.66)

Если мы не предполагаем, что остаточные члены имеют нормальное распределение, то вид распределения b неизвестен. Однако о распределении b можно кое-что сказать, по крайней мере, приблизительно. Первой отправной точкой является так называемое неравенство Чебышева, которое утверждает: вероятность отклонения случайной переменной z больше чем на положительное число

S от своего среднего значения ограничена ее дисперсией, деленной на б2, то есть

P{z-E{z} > 6} < Щ^, для всех 5>0. (2.67)

о

Для МНК-оценки это означает, что каждый к-ът элемент удовлетворяет соотношению

P{k-pk\>S}<X^= ^, для всех 6>0, (2.68) где Ckk, как прежде, является элементом (fc, к) в матрице

n ч-1

м=1 '

В большинстве приложений вышеупомянутое неравенство не очень полезно, так как верхняя граница вероятности больше единицы. Однако рассмотрим это неравенство. Возьмем фиксированное 5 и разрешим нашему воображению, представить, что объем выборки N

n

возрастает бесконечно. Что тогда случится? Ясно, что Х{Х{ возi=i

растает при возрастании числа членов, поэтому дисперсия Ъ уменьшается при возрастании объема выборки. Если мы предположим, что17)

1 N

— ^2 хіх'і сходится к конечной невырожденной матрице

г=1

(А6)

если объем выборки N становится бесконечно большим, то непосредственно из вышеупомянутого неравенства следует, что

Невырожденность Ytxx требует, чтобы, асимптотически, не было никакой мультиколлинеарности. Требование конечности предела является условием «регулярности», которое удовлетворяется в большинстве эмпирических приложений. Достаточное условие состоит в том, что переменные X являются независимыми извлечениями из одного и того же распределения с конечной дисперсией. Нарушения обычно происходят в контексте временных рядов, где одна или более переменных х может иметь тренд. Мы возвратимся к этой проблеме в главах 8 и 9.

lim Р{Ък рк > 6} = 0, для всех 6 > 0. (2.69)

Это говорит, что, асимптотически, вероятность отклонения МНК-оценки больше чем на S от истинного значения параметра равна нулю. Обычно это свойство именуется как «предел по вероятности b равен /3», или «Ь сходится по вероятности к /5», или просто пишем18^

plim b = /3.

(2.70)

Заметим, что b является вектором случайных переменных, распределение которых зависит от N, а /3 — вектор фиксированных (неизвестных) чисел. Когда оценка вектора параметров /3 сходится к истинному значению, мы говорим, что она является состоятельной оценкой. Любая оценка, которая удовлетворяет (2.69), является состоятельной оценкой для /3, даже если она смещенная.

Состоятельность является так называемым свойством больших выборок и, выражаясь неточно, говорит, что если мы получаем все больше и больше наблюдений, то вероятность, что наша оценка является некоторым положительным числом далеким от истинного значения /?, становится все меньше и меньше. Значения, которые b может принимать не вблизи /5, становятся все более и более маловероятными. Во многих случаях, нельзя доказать, что оценка является несмещенной и, возможно, что никакой несмещенной оценки не существует (например, в нелинейных или динамических моделях). В этих случаях минимальное требование к оценке, чтобы она была полезной, является состоятельность. В последующем мы будем заинтересованы главным образом в состоятельности наших оценок, а не в их (не)смещенности*).

Полезным свойством пределов по вероятности (plim) является следующее свойство. Если plim b — (5,а д(-) — непрерывная функция (по крайней мере, при истинном значении /3), то также справедливо, что

plim </(Ь) = </О0).

(2.71)

Это гарантирует, например, что примененная перепараметризация является несущественной для состоятельности. Например, если s2 является состоятельной оценкой для с2, то s является состоятельной оценкой для а. Заметим, что этот результат не справедлив для несмещенности, поскольку E{s}2 ф E{s2} (см. Приложение Б).

Оценка метода наименьших квадратов состоятельна при существенно более слабых условиях, чем условия, указанные выше. Чтобы увидеть это, представим МНК-оценку в виде

1 " х-1 і "

ДГ XiX'i ) дг ХіУі = г=і 7 і=

f N N

= ^+ЬЕ^ м^ХіЄі(2-72)

v i= ' i=i

В этом выражении играют роль выборочные средние Хіх и ХіЄі. При возрастании объема выборки выборочные средние включают все больше и больше наблюдений. Кажется разумным предположить, и можно показать при очень слабых условиях 19 что в пределе эти выборочные средние сходятся к соответствующим средним генеральной совокупности. Теперь согласно предположению (А6) мы имеем выражение

plim(6 -р) = ^Е{хгбг}, (2.73)

которое показывает, что МНК-оценка является состоятельной, если справедливо условие

Е{хіЄі] = 0. (А7)

19) Результат, что выборочные средние сходятся к средним значениям генеральной совокупности, доказывается в нескольких версиях закона больших

чисел (см. Greene, 2000, Section 9.4; Greene, 1997, Section 6.7; Davidson and

MacKinnon, 1993, Section 4.5).

20) Точнее, условие Е{єіхі} = 0 подразумевает Е{єід(хі)} = 0 для любой функции (см. Приложение В).

Это условие просто говорит, что регрессионный остаток имеет нулевое среднее и не коррелирован ни с какой объясняющей переменной. Заметим, что Е{хієі} = 0 подразумевает условие (А7), тогда как обратное не обязательно верно 20^. Таким образом мы можем заключить, что МНК-оценка b является состоятельной для вектора (3 при условиях (А6) и (А7). Как правило, эти условия намного слабее, чем условия Гаусса—Маркова (А1)-(А4), требуемые для несмещенности. Мы обсудим их обоснованность ниже.

Аналогично МНК-оценка s2 для дисперсии ошибки а2 состоятельна при условиях (А6), (А7) и (A3) (и некоторых слабых условиях регулярности). Интуитивно понятно, что при сходимости b к вектору (3 оцененные остатки , становятся асимптотически эквивалентными остаткам Є{, так что выборочная дисперсия Єі , будет сходиться к дис