3.11. взаимосвязи между критериями в парном регрессионном анализе

3.11. взаимосвязи между критериями в парном регрессионном анализе

Теперь мы выведем некоторые зависимости между критерием F для коэффициента R2, критерием t для коэффициента при х и критерием / для коэффициента корреляции между х и у в парной регрессионной модели. Начнем с последнего из них.

t-тестдля коэффициента корреляции

В разделе 1.8 мы определили выборочный коэффициент корреляции для двух переменных х и у:

Cov(x,^)

VVar(x)Var(y) '

(3.65)

Даже если переменные х и у вообще не коррелированы и теоретический коэффициент корреляции р равен нулю, вы будете связаны известным ограничением и неизбежно получите в расчетах некоторую величину выборочного коэффициента корреляции. Для конкретной выборки г может точно равняться нулю только чисто случайно, и можно ли утверждать, что значение г действительно указывает на наличие зависимости, или же оно появилось случайно?

Как обычно, ответом будет формулирование нулевой гипотезы о том, что зависимости нет, а затем — попытка ее опровергнуть. Для проверки гипотетической линейной зависим^етаптежду х и у, т. е. единственного типа зависимости, который будет рассматриваться в данной книге, справедлива следующая процедура.

Первый шаг состоит в вычислении /-статистики для г:

(3.66)

Выбрав уровень значимости, скажем, в 5\%, вы находите критическое значение /с (п — 2) степенями свободы. Если величина / превышает его критическое значение (в положительную или отрицательную сторону), вы отклоняете нулевую гипотезу о том, что р = 0, и заключаете, что нашли линейную зависимость (положительную или отрицательную).

Доказательство этого вам уже знакомо. Если нулевая гипотеза верна, то величина / будет превышать его критическое значение (в положительную или отрицательную сторону) только в 5\% случаев. Это означает, что при выполнении проверки вероятность допущения ошибки I рода, отклоняющей нулевую гипотезу, когда она фактически верна, составляет 5\%.

Возможно, что риск допущения такой ошибки в 5\% случаев слишком велик для вас. Тогда вы можете сократить степень риска, осуществляя расчеты при уровне значимости в 1\%. Критическое значение / теперь будет выше, чем до сих пор, поэтому вам потребуется более высокая (положительная или отрицательная) /-статистика для отклонения нулевой гипотезы, а это означает, что вам потребуется более высокое значение г.

Обоснованность этого /-теста зависит от того, удовлетворяют ли у и х некоторым условиям. Достаточно будет, чтобы величина у была связана с величиной х с помощью модели парной регрессии рассматриваемого типа. Данный тест справедлив только для нулевой гипотезы об отсутствии зависимости. Если вы хотите проверить гипотезу о том, что теоретический коэффициент корреляции вместо нуля равен некоторому другому значению, то должны будете использовать более сложную процедуру.

Зависимость между критериями

Мы увидим, что в случае парного регрессионного анализа (и только парного регрессионного анализа) /-критерий для гипотезы р = О, F-критерий для коэффициента R2 и /-критерий для гипотезы р = 0 эквивалентны друг другу. Мы начнем с определения зависимости между первыми двумя тестами.

В разделе 2.7 было показано, что коэффициент Л2 может интерпретироваться как квадрат коэффициента корреляции между у и у9 то есть г2*. Теперь, в случае парной регрессии, у является линейной функцией х, поэтому коэффициент корреляции между у и у должен совпадать с коэффициентом корреляции между х и у, то есть с г (см. упражнение 1.5). Следовательно, в парном регрессионном анализе (и только в парном регрессионном анализе) У?2 должен быть равен квадрату коэффициента корреляции между х и у. Мы докажем это, непосредственно начиная с уравнения (2.46), т. е. с определения коэффициента R2:

2 _ Var(j)) Z>2Var(x) Var(y) Var(y) '

поскольку Var (у) = Var (a + bx) = b2 Var (x). Делая замену для b, получим:

2 = [Соу(х,у)]2 Var(x) = Cov(x,y)2 1 Var(x) J VarOO Var(x)Var(y)"

Из уравнений (3.61) и (3.66) можно видеть, что /'-статистика для коэффициента R2 является в точности квадратом /-статистики для г . Как и следовало ожидать, критическое значение F будет равно квадрату критического значения /-статистики при любом уровне значимости, и эти два теста всегда дают один и тот же результат. Другими словами, коэффициент корреляции между х и у будет указывать на значимую зависимость, если и только если уровень R2 в регрессии между у и х будет говорить о такой зависимости.

Более того, можно показать, что величина b будет значимо отличаться от нуля при использовании /-теста, если и только если .Г-тест значим при данном уровне значимости. Используя тот факт, что Var (у) равняется £2Var(x), и оба определения коэффициента R2 в уравнениях (2.46) и (2.47), мы можем переписать выражение для стандартной ошибки величины Ь:

/|Л Var (г) . / Var (г) J 1 R2 ,Г1-/£г С0{Ь) J(«-2)Var(x) = 4(*-2)VarCP) = bj^ = '^Й/ (3"69)

Следовательно,

b n-2

co.(A) Г*Ц-£у (3-70>

и мы показали, что /-статистика для проверки гипотезы р = О такая же, как и /-статистика для проверки гипотезы р^— 0.

Таким образом, при наличии только одной независимой переменной /-критерий для гипотезы р = 0, /-критерий для гипотезы рху=0 и /^критерий для коэффициента Л2 эквивалентны. Как мы увидим далее, при использовании более одной независимой переменной это утверждение перестает быть справедливым.

Упражнения

Проверьте, что /^-статистика в регрессии, оцененной вами в упражнении 2.4, равняется квадрату /-статистики для коэффициента b и что критическое значение /*при уровне значимости в 1\% равняется квадрату критического значения /.

В упражнении 2.6 оба исследователя получили для своих регрессий значения коэффициента R2, равные 0,79. Было ли это совпадением?