4.6. оценка значимости множественной регрессии. коэффициенты детерминации r2 и r2

4.6. оценка значимости множественной регрессии. коэффициенты детерминации r2 и r2

Как и в случае парной регрессионной модели (см § 3.6), в модели множественной регрессии общая вариация Q — сумма квадратов отклонений зависимой переменной от средней (3.41) может быть разложена на две составляющие:

Q = QR + Qe>

где Qe — соответственно сумма квадратов отклонений, обусловленная регрессией, и остаточная сумма квадратов, характеризующая влияние неучтенных факторов.

Получим более удобные, чем (3.40), формулы для сумм квадратов Q, Qr и Qe, не требующие вычисления значений yi9

Обусловленных регрессией, и ОСТаТКОВ Є(.

В соответствии с (3.40), (3.42)

<2 = І(уі-уУ=і.у?

( п у

V/=l J

= Y'Y-ny

(4.29)

;=1

(ибо

2>2 =У +Уі +■■■ + УІ ={У Уг-Уп)

ҐУг^ Уг = Y7).

КУп)

С учетом (4.4) имеем

Qe = Z (у і ~ у і f =YY-2b'XY + Ь'Х'ХЬ = Y 7 b'XY (4.30) 1=1

(ибо в силу (4.5) ЬХХЬ = b'XY).

Наконец,

QR=Q-Qe = yty-ny1(УГ Ъ'ХГ)=Ъ'ХГ ny1. (4.31)

Уравнение множественной регрессии значимо (иначе — гипотеза #о о равенстве нулю параметров регрессионной модели, т. е. Щ: pi = р2 =...= fip= 0, отвергается), если (учитывая (3.43) при т = р + 1)

QeP

где Fa.p.n_p_x — табличное значение Fкритерия Фишера—

Снедекора, a Qr и Qe определяются по формулам (4.31) и (4.30).

В § 3.6 был введен коэффициент детерминации R2 как одна из наиболее эффективных оценок адекватности регрессионной модели, мера качества уравнения регрессии, характеристика его прогностической силы.

Коэффициент детерминации (или множественный коэффициент детерминации) определяется по формуле (3.47) или с учетом (4.31), (4.29):

Q YY-ny2

Отметим еще одну формулу для коэффициента детерминации:

л'-і-а-і^-дКг-д), (4.зз0

Q {У-У) (Y-Y)

или R2=l—, (4.33")

у'у

где e=Y—Xb, Y = (у,у,...,у), у(у у) — «-мерные векторы; е'е = ^е?=ХУі-Уі) ,

i=l i=l

у'у = ±(уі-у)2/=1

Напомним, что R2 характеризует долю вариации зависимой переменной, обусловленной регрессией или изменчивостью объясняющих переменных; чем ближе R2 к единице, тем лучше регрессия описывает зависимость между объясняющими и зависимой переменными.

Вместе с тем использование только одного коэффициента детерминации R2 для выбора наилучшего уравнения регрессии может оказаться недостаточным. На практике встречаются случаи, когда плохо определенная модель регрессии может дать сравнительно высокий коэффициент R2.

Недостатком коэффициента детерминации R2 является то, что он, вообще говоря, увеличивается при добавлении новых объясняющих переменных, хотя это и не обязательно означает улучшение качества регрессионной модели. В этом смысле предпочтительнее использовать скорректированный (адаптированный, поправленный (adjusted)) коэффициент детерминации R2, определяемый по формуле

R2=l ^-(і-Л2), (4.34)

п-p-l

или с учетом (4.33")

*=1-,{я-Че, • (4.340 п-р-)уу

Из (4.34) следует, что чем больше число объясняющих переменных р, тем меньше Л2 по сравнению с R2. В отличие от R2

скорректированный коэффициент R2 может уменьшаться при введении в модель новых объясняющих переменных, не оказывающих существенного влияния на зависимую переменную. Однако даже увеличение скорректированного коэффициента детерминации Л2 при введении в модель новой объясняющей переменной не всегда означает, что ее коэффициент регрессии значим (это происходит, как можно показать, только в случае, если соответствующее значение /-статистики больше единицы (по абсолютной величине), т. е. Ы>1. Другими словами, увеличение

R2 еще не означает улучшения качества регрессионной модели.

Если известен коэффициент детерминации R2, то критерий значимости (4.32) уравнения регрессии может быть записан в виде:

R2{n-p-). {-R2)p

где k=p, /с2=п—р—1, ибо в уравнении множественной регрессии вместе со свободным членом оценивается т = р+l параметров.

► Пример 4.4. По данным примера 4.1 определить множественный коэффициент детерминации и проверить значимость полученного уравнения регрессии 7 по Х и Х2 на уровне а = 0,05.

Решение. Вычислим произведения векторов (см. пример 4.1):

f 68 >*

b'XY = {3,54 0,854 0,367) 664

,445,

= -3,54 • 68 + 0,854 • 664 + 0,367 • 445 = 489,65

ю

и YY = Y,yi;=496 (см. итоговую строку табл. 4.2). Из табл. 4.2

10 _ п

находим также = 68, откуда у = ]Г>>, / « = 68/10 = 6,8 (т). i=i i=i Теперь по (4.33) множественный коэффициент детерминации

489,65-10.6,8' и

496-10-6,82

Коэффициент детерминации 7?2=0,811 свидетельствует о том, что вариация исследуемой зависимой переменной Y — сменной добычи угля на одного рабочего на 81,1\% объясняется изменчивостью включенных в модель объясняющих переменных — мощности пласта Х и уровня механизации работ Х2.

Проделав аналогичные расчеты по данным примера 3.1 для одной объясняющей переменной Х, можно было получить Я2 =0,751 (заметим, что в случае одной объясняющей переменной коэффициент детерминации Я2 равен квадрату парного коэффициента корреляции г2). Сравнивая значения Я2 и Я'2, можно сказать, что добавление второй объясняющей переменной Xi незначительно увеличило величину коэффициента детерминации, определяющего качество модели. И это понятно, так как выше, в примере 4.3, мы убедились в незначимости коэффициента регрессии bi при переменной X}.

По формуле (4.34) вычислим скорректированный коэффициент детерминации:

при р = Я'2 =1 --(1-0,751) = 0,720;

8

при р = 2 R'2 =1 0,811) = 0,757.

Видим, что хотя скорректированный коэффициент детерминации и увеличился при добавлении объясняющей переменной Х2, но это еще не говорит о значимости коэффициента bi (значение /-статистики, равное 1,51 (см. § 4.4), хотя и больше 1, но недостаточно для соответствующего вывода на приемлемом уровне значимости).

Зная Л2=0,811, проверим значимость уравнения регрессии. Фактическое значение критерия по (4.35): р = 0,811(10-2-1) (1-0,811)2

больше табличного /го,о5;2;7=4,74, определенного на уровне значимости а =0,05 при к=2 и А;2=Ю~"2—1=7 степенях свободы (см. табл. IV приложений), т. е. уравнение регрессии значимо, следовательно, исследуемая зависимая переменная У достаточно хорошо описывается включенными в регрессионную модель переменными Х и Х2. ►

Упражнения

4.5. Имеются следующие данные о выработке литья на одного работающего Х (т), браке литья Х2 (\%) и себестоимости 1 т литья У (руб.) по 25 литейным цехам заводов:

Необходимо: а) найти множественный коэффициент детерминации и пояснить его смысл; б) найти уравнение множественной регрессии У по Х и Х2, оценить значимость этого уравнения и его коэффициентов на уровне а=0,05; в) сравнить раздельное влияние на зависимую переменную каждой из объясняющих переменных, используя стандартизованные коэффициенты регрессии и коэффициенты эластичности; г) найти 95\%-ные доверительные интервалы для коэффициентов регрессии, а также для среднего и индивидуальных значений себестоимости 1 т литья в цехах, в которых выработка литья на одного работающего составляет 40 т, а брак литья — 5\%.

4.6. Имеются следующие данные о годовых ставках месячных доходов по трем акциям за шестимесячный период:

Есть основания предполагать, что доходы Y по акции С зависят от доходов Х и Х2 по акциям А и В. Необходимо: а) составить уравнение регрессии У по Х и Х2 б) найти множественный коэффициент детерминации R2 и пояснить его смысл; в) проверить значимость полученного уравнения регрессии на уровне а=0,05; г) оценить средний доход по акции С, если доходы по акциям А и В составили соответственно 5,5 и 6,0\%.