2.8. проверка значимости параметров линейной регрессии и подбор модели с использованием f-критериев
2.8. проверка значимости параметров линейной регрессии и подбор модели с использованием f-критериев
Приводимая ниже таблица содержит ежегодные данные о следующих показателях экономики Франции за период с 1949 по 1960 годы (млрд. франков, в ценах 1959 г.):
где Xj — значение показателя Xj в i-м наблюдении (i-му
наблюдению соответствует (1948 + i) год, и xt 1 = 1 (значения
«переменной» X1, тождественно равной единице). Будем, как
обычно, предполагать что ,£12 ~ і. і. d. N(0,a2) ичто
Обращают на себя внимание выделенные P значения. В соответствии с ними, проверка каждой отдельной гипотезы H0 : в 2 = 0, H0 : в 3 = 0 (даже при уровне значимости 0.10)
приводит к решению о ее неотклонении. Соответственно, при реализации каждой из этих двух процедур проверки соответствующий параметр ( в 2 или в 3 ) признается статистически
незначимым. И это выглядит противоречащим весьма высокому значению коэффициента детерминации.
По-существу, вопрос стоит таким образом: необходимо построить статистическую процедуру для проверки гипотезы H0 : ^2 = @ 3 = 0 ,
конкретизирующей значения не какого-то одного, а сразу двух коэффициентов.
И вообще, как проверить гипотезу
(гипотеза значимости регрессии) в рамках нормальной линейной модели множественной регрессии
yi =#1 *i 1 +•••+#pXjp +£i , i = n ,
с xt 1 = 1?
Соответствующий статистический критерий основывается на так называемой F-статистике
f _(RSSHo RSS )/(р -1) RSS/(n p) ~ '
Здесь RSS — остаточная сумма квадратов, получаемая при оценивании полной модели (с p объясняющими переменными, включая тождественную единицу), a RSSHo — остаточная сумма квадратов, получаемая при оценивании модели с наложенными гипотезой H0 ограничениями на параметры. Но последняя (редуцированная) модель имеет вид
01 y ,
так что
Rssho = It (у, ~ у, У = I (у, ~ у, У = tss .
i=1 i=1
yt = flj +st , i = 1,n ,
Следовательно,
F _{TSS RSS)l(p -1) = ESS/{p -1) RSS/ (n p) RSS/ (n p)
В некоторых пакетах статистического анализа (например, в EXCEL) в распечатках результатов приводятся значения числителя и знаменателя этой статистики (в графе Средние квадраты — Mean Squares).
Если є ,,..., є ~ i. i. d. N(0,a2), то указанная Fстатистика, рассматриваемая как случайная величина, имеет при гипотезе H0 (т. е. когда действительно в 2 = ...= в p= 0) стандартное распределение F(p 1, n p), называемое Fраспределением Фишера с (p-1) и (n-p) степенями свободы.
Чем больше отношение ESS RSS, тем больше есть оснований говорить о том, что совокупность переменных X2,...,Xp действительно помогает в объяснении изменчивости объясняемой переменной Y.
В соответствии с этим, гипотеза
Н0 : 02 = 03 =••• = 0 p = 0
отвергается при «слишком больших» значениях F, скорее указывающих на невыполнение этой гипотезы. Соответствующее пороговое значение определяется как квантиль уровня (1 -а) распределения F(p1, n -p), обозначаемая символом
F1-a{p ~ 1 n ~ p) .
Итак, гипотеза Н0 отвергается, если выполняется неравенство
ESS/ (p -1) ,
F = — '-> F (d
RSS/(n p)> F1-a {P
При этом, вероятность ошибочного отвержения гипотезы H0 равна а.
Статистические пакеты, выполняющие регрессионный анализ, приводят среди прочих результатов такого анализа также значение F указанной F-статистики и соответствующее QM^_P-3Ha4eHue(P-value), т. е. вероятность
Р [F(p -1, n -p)> F
В частности, в рассмотренном выше примере с импортом товаров и услуг во Францию вычисленное (наблюдаемое) значение F-статистики равно F = 97.75, в то время как критическое значение
F0.95 (2, 9) = 4.26 .
H02 : # 2 = 0 | и |H03 : ^3 = 0|,
рассматриваемая сама по себе, в отрыве от второй, не отвергается.
Подобное положение встречается не так уж и редко и связано с проблемой мультиколлинеарности данных. Далее мы уделим этой проблеме определенное внимание.
Что касается рассмотренных до этого примеров, то для них результаты использования F-статистики таковы.
Пример. Анализ данных об уровнях безработицы среди белого и цветного населения США приводит к следующим результатам:
R2 = 0.212 , F = 4.0446, Р-значение = 0.0626, так что при выборе а 0.05 гипотеза H0 не отвергается, а при выборе
а 0.10 отвергается.
Соответственно, Р -значение крайне мало — в распечатке результатов приведено значение 0.000000. Значит, здесь нет практически никаких оснований принимать составную гипотезу H0: в 2 -9 3 0 , хотя каждая из частных гипотез
Пример. Анализ зависимости спроса на куриные яйца от цены приводит к значениям
R2 = 0.513 , F = 13.7241, P -значение = 0.0026, так что гипотеза H0 отвергается, а регрессия признается статистически
значимой.
Пример. Зависимость производства электроэнергии в США от мирового рекорда по прыжкам в высоту с шестом:
R2 = 0.900, F = 71.96, P -значение = 0.0000, регрессия признается статистически значимой.
Пример. Потребление свинины в США в зависимости от оптовых цен:
R2 = 0.054 , F = 0.6915, P -значение = 0.4219, так что гипотеза H0 не отвергается даже при выборе а = 0.10.
Отметим, наконец, еще одно обстоятельство. Во всех четырех рассмотренных примерах регрессионного анализа модели простой (парной) линейной регрессии (p=2) вычисленные P -значения F-статистик совпадают с P -значениями t -статистик, используемых для проверки гипотезы вг = 0 . Факт такого совпадения отнюдь не случаен и может быть доказан с использованием преобразований, приведенных, например, в книге Доугерти (параграф 3.11).
Применение критериев, основанных на статистиках, имеющих при нулевой гипотезе F -распределение Фишера (F-критерии), отнюдь не ограничивается только что рассмотренным анализом статистической значимости регрессии. Такие критерии широко применяются в процессе подбора модели.
Пусть мы находимся в рамках множественной линейной
модели регрессии
мр : Уі =&1xi 1 +•••+# p-qxi, p-g +---+&pxip +£i, i = 1 •• -,n
с р объясняющими переменными, и гипотеза Н0 состоит
в том, что в модели М р последние q коэффициентов равны
нулю, т. е.
Но : 0 р -9 р- p-q+1 0 .
Тогда при гипотезе Н0 (т. е. в случае, когда она верна) мы
имеем редуцированную модель
Mp-q : Уг =віХг 1 ++ 9 p-q*i, p-q , * = 1 -,П ,
уже с р q объясняющими переменными.
Пусть RSS остаточная сумма квадратов в полной модели М р, a RSSHo — остаточная сумма квадратов в редуцированной модели М p_q. Если гипотеза Н0 верна и выполнены стандартные предположения о модели (в частности,
..,£ n ~ i. i. d. N(o,a2)), то тогдаF-статистика
рассматриваемая как случайная величина, имеет при гипотезе H0 (т. е. когда действительно вp = вp-1 = ...= 0p-q+1= 0) F-распределение Фишера F (q, n-p) с q и (n-p) степенями свободы.
В рассмотренном ранее случае проверки значимости регрессии в целом мы имели q = 1, и при этом там имело равенство RSSH RSS = ESS , которое не выполняется в общем
случае.
Пусть
ESS = TSS RSS I — сумма квадратов, объясняемая полной
моделью М ,
j ESSH0 = TSS RSSH 0 j — сумма квадратов, объясняемая
редуцированной моделью М p_q.
Тогда
ESS ESSH = RSSH RSS ,
H 0 H 0 '
так что F-статистику можно записать в виде
f (ESS essh 0 )lq
RSS/(n p) '
из которого следует,что F-статистика измеряет, в соответствующем масштабе, возрастание объясненной суммы квадратов вследствие включения в модель дополнительного количества объясняющих переменных.
Естественно считать, что включение дополнительных переменных существенно, если указанное возрастание объясненной суммы квадратов достаточно велико. Это приводит нас к критерию проверки гипотезы
основанному на F-статистике
(RSSH0 RSS)/q (ESS ESSH 0 )/q
F ~ RSS/(n p) ~ RSS/(n p)
и отвергающему гипотезу H0 , когда наблюдаемое значение F этой статистики удовлетворяет неравенству
F > F1-a{p ~ 11, n ~ p),
где а — выбранный уровень значимости критерия (вероятность ошибки 1-го рода).
Пример. В следующей таблице приведены данные по США о следующих макроэкономических показателях:
DPI — годовой совокупный располагаемый личный доход;
C — годовые совокупные потребительские расходы; A — финансовые активы населения на начало календарного года
(все показатели указаны в млрд. долларов, в ценах 1982 г.).
вх +в2DPI, +6?3At +в4DPItl +et , t
1... ,11
где индексу t соответствует (1965 +1) год. Это модель с
4 объясняющими переменными:
X1 = 1, X2 = DPI, X3 = A, X4 = DPI(-1);
символ DPI(-1) обозначает переменную, значения которой запаздывают на одну единицу времени относительно значений переменной, DPI0 = 1367,4. Оценивание этой модели дает следующие результаты:
в
в
6» 4 =-0.024
P value = 0.0028 ; P value = 0.8387 ; P value = 0.9337 ; RSS = 2095.3, TSS = 268835, R2 = 1
(RSS/TSS) = 0.9922
F — статистика критерия проверки значимости регрессии в целом
F = 297.04, P value = 0.0000.
Регрессия имеет очень высокую статистическую значимость. Вместе с тем, каждый из коэффициентов при двух последних переменных статистически незначим, так что, в частности, не следует придавать особого значения отрицательности оценок этих коэффициентов.
Используя t — критерий, мы могли бы попробовать удалить из модели какую-нибудь одну из двух последних переменных, и если оставшиеся переменные окажутся значимыми, то остановиться на модели с 3 объясняющими переменными; если же и в новой модели окажутся статистически незначимые переменные, то произвести еще одну редукцию модели.
Рассмотрим, в этой связи, модель
|М2 : с, =вх + в2DPI, +въA, + є, , t = 1,...,І~С
с удаленной переменной DPI(-1) . Для нее получаем:
в 2 = 0.893 , P value = 0.0001 ;
в 3 =-0.039 , P value = 0.6486 ;
RSS = 2098.31, R2 = 0.9922 ;
F-статистика критерия проверки значимости регрессии в этой модели
F = 508.47, P value = 0.0000.
Поскольку здесь остается статистически незначимым коэффициент при переменной A, можно произвести дальнейшую редукцию, переходя к модели
М3 : Ct =вх + в2DPI, +є, , t = 1,.„,11
Для этой модели
в 2 = 0.843 , P value = 0.0000 ; RSS = 2143.57, R2 = 0.9920 ;
F-статистика критерия проверки значимости регрессии в этой модели
F = 1119.7, P value = 0.0000,
и эту модель в данном контексте можно принять за окончательную.
С другой стороны, обнаружив при анализе модели М1 (посредством применения t-критериев) статистическую незначимость коэффициентов при двух последних переменных, мы можем попробовать выяснить возможность одновременного исключения из этой модели указанных объясняющих переменных, опираясь на использование соответствующего F-критерия.
Исключение двух последних переменных из модели М1 соответствует гипотезе H0 : в 3 = в 4 = 0 ,
при которой модель М1 редуцируется сразу к модели М 3. Критерий проверки гипотезы H0 основывается на статистике
f _(RSSH 0 RSS )/q
RSS/ (n p) , где RSS — остаточная сумма квадратов в модели М1, RSSHo — остаточная сумма квадратов в модели М 3, q = 2 — количество зануляемых параметров, n p = 11 4 = 7. Для наших данных получаем значение
(2143.57 2095.3V2
F = ± ■ ^= 0.08 ,
2095.3 7
которое следует сравнить с критическим значением F095(2,7) = 4.74. Поскольку F < F095(2,7), мы не отвергаем гипотезу Ий:в 3 = в 4 = 0 и можем сразу перейти от модели М1 к модели М 3.
Замечание. В рассмотренном примере мы действовали двумя способами:
Дважды использовали t -критерии, сначала приняв (не отвергнув) гипотезу IH0: в 4 = 01 в рамках модели М1, а затем
приняв гипотезу |H0: в 3 0в рамках модели М2.
Однократно использовали F-критерий, приняв гипотезу в рамках модели М1.
H0:0 3 = 0 4 = 0
Выводы при этих двух альтернативных подходах оказались одинаковыми. Однако, из выбора модели М3 в подобной
последовательной процедуре, вообще говоря, не следует что такой же выбор будет обязательно сделан и при применении F-критерия, сравнивающего первую и последнюю модели.
Обсуждение Институт экономики переходного периода
Комментарии, рецензии и отзывы