3.7. геометрическая интерпретация регрессии и коэффициента детерминации
3.7. геометрическая интерпретация регрессии и коэффициента детерминации
Рассмотрим геометрическую интерпретацию регрессии.
Предположим, что мы имеем я=3 наблюдения: у, у2, уз —зависимой переменной У и х, Х2, х31 — объясняющей переменной X.
Рассматривая трехмерное пространство с осями координат 7, 2, 3,
можно построить векторы У=0>1, У2, Уз)> *2> *з)> а также
вектор 5=(1;1;1) (рис. 3.7). Тогда значения у9у29Уз9 получаемые по уравнению регрессии y = b0+b}x, можно рассматривать как компоненты вектора У, представляющего собой линейную комбинацию векторов S и X, т. е. Y = b0S + ЪХХ.
Необходимо найти такие значения оценок Ьо и Ь, при которых вектор У наилучшим образом аппроксимирует (заменяет) вектор У, т.е. вектор остатков е = (в9 Є2, ез), где ві= у і — у і (і = 1, 2, 3) будет иметь минимальную длину. Очевидно, решением задачи будет такой вектор У, для которого вектор е перпендикулярен плоскости тс, образуемой векторами X и S (рис. 3.7), а значит, перпендикулярен и самим векторам X и S, т.е е 1 X и е 1 S.
Полагаем, что равенство Х[=Х2==Хз не выполняется.
76
Условием перпендикулярности пары векторов является равенство нулю их скалярного произведения (11.27):
(е, 5)=0или j^erl = i,(b0+blxi-yi)=0;
і=і /=і
п п
(е, Х)=0 или X єіхі = Z o + 6Л У і )хі = 0
1=1 1=1
Вектор ОР есть ортогональная проекция вектора Y на вектор S. Из векторной алгебры известно, что длина такого вектора равна отношению скалярного произведения векторов Y и S к длине вектора S, т. е.
3
1 1 |s| VPTiFTF з л 1
где у — среднее значение переменной Y. Следовательно, вектор ОР= yS.
Вектор Y есть ортогональная проекция вектора Y на плоскость п. По известной в стереометрии теореме о трех перпендикулярах
проекция вектора Y на вектор S совпадает с ОР. Следовательно, прямоугольный треугольник pmn образуют векторы РМ = Y — yS,
pn = Y—yS9 NM=Y-Y= е (см. рис. 3.7). По теореме Пифагора
РМ2 = pn2 + m2, где вертикальными чертами отмечены длины векторов. Это равенство соответствует разложению (3.41) общей суммы Q квадратов отклонений зависимой переменной Y от средней у на сумму квадратов обусловленную регрессией, и
остаточную сумму квадратов Qe, т. е. Q=QR+Qe. Поэтому коэффициент детерминации r2, определяемый по (3.47), примет вид:
r2 =pn2/pm2 = cos2 ц>,
где ф — угол между векторами pn и РМ.
Геометрическая интерпретация регрессии, проведенная нами при я=3 наблюдениях, в принципе сохраняется и при я>3, однако при этом она теряет свою наглядность.
Обсуждение Эконометрика
Комментарии, рецензии и отзывы