4.1. анализ вариации зависимой переменной

4.1. анализ вариации зависимой переменной

Пусть в уравнении регрессии содержится к объясняющих переменных. Допустим, что можно разложить дисперсию зависимой переменной на объясненную и необъясненную составляющие:

var(y) = var(_p) + var(e).

Используя определение выборочной дисперсии, это уравнение можно представить в виде

1<И502 = Х(5>,-Я2 + 5>,2.

Обозначим:

TSS ^(Уі у)2 — общий разброс зависимой переменной;

ESS = ^(Уі у)2 — разброс, объясненный регрессией;

USS = ^е2 — разброс, не объясненный регрессией.

Тогда

TSS = ESS+ USS

(я-1) (к) (л-*-1)

(в скобках указано число степеней свободы, соответствующее каждому члену уравнения).

Замечание. Любая сумма квадратов связана с числом степеней свободы, т.е. с числом независимого варьирования переменной. Существует равенство между числами степеней свободы для этого уравнения. Отнесение каждой суммы квадратов этого уравнения на одну степень свободы приводит их к сравнимому виду.

Коэффициент детерминации есть доля объясненной части разброса зависимой переменной, т.е.

r2 _ ESS^ _ l _ USS_ ~ TSS ~ TSS'

Величина R2 является мерой объясняющего качества уравнения регрессии по сравнению с горизонтальной линией у = у.

Поскольку коэффициент R2 измеряет долю дисперсии, совместно объясненной независимыми переменными, то, казалось бы, можно определить отдельный вклад каждой независимой переменной и таким образом получить меру ее относительной важности. Однако такое разложение невозможно, если независимые переменные коррелированы, поскольку в этом случае их объясняющие способности будут перекрываться.

На рис. 12, а и б отражен геометрический смысл коэффициента детерминации при использовании одной и двух объясняющих переменных соответственно.

С увеличением объясненной части разброса ESS коэффициент R2 приближается к единице. Кроме того, с добавлением еще одной переменной R2 обычно увеличивается.

Для компенсации такого увеличения R2 вводится скорректированный коэффициент детерминации с поправкой на число степеней свободы:

n-k-lTSS'

Если увеличение доли объясненной регрессии при добавлении новой переменной мало, то скорректированный коэффициент детерминации может уменьшиться, следовательно, добавлять переменную нецелесообразно.

Кроме того, если объясняющие переменные jq их2 сильно коррелируют между собой, то они объясняют одну и ту же часть разброса переменной у, и в этом случае трудно оценить вклад каждой из переменных в объяснение поведения >'.