2.5. регрессия по методу наименьших квадратов с одной независимой переменной

2.5. регрессия по методу наименьших квадратов с одной независимой переменной

Рассмотрим случай, когда имеется п наблюдений двух переменных хну. Предположив, что у зависит от х, мы хотим подобрать уравнение

у = а + Ьх. (2.22)

Расчетное значение зависимой переменной у{ и остаток е, для наблюдения / заданы уравнениями (2.18) и (2.21). Мы хотим выбрать а и Ь, чтобы минимизировать величину S:

$ = 1*? = *,2 + ... + <|. (2.23) Можно обнаружить, что величина S минимальна, когда

(2.24)

ь=Со(х,у)

Var(x) и

а = у-Ьх. (2.25)

Варианты выражения для b Так как

Cov(x, у) = -^(х-х)(у-у) = -^ху-ху; (2.26) п п

и

Var(x) = X (х х)2 = X х2 х2, (2.27) мы можем получить следующие выражения для Ъ:

_ Cov(x,y) _ Ъ^-х)(у-у) _ \%(*-*№-У).

Var(x) ІУ(х-х)2 Х(*-^)2 ' <2-28>

л

1

Ь = 1

X ху ху v

Il^_-"lx2-,x2(2-29)

п

Ъхупху

В дальнейшем в тексте будет использоваться первоначальное определение b= Cov (jc, >>)/Var (х) и это выражение, вероятно, легче всего запомнить. На практике для вычисления коэффициентов регрессии используется компьютер, поэтому нет смысла запоминать альтернативные выражения. Зная определения выборочной дисперсии и ковариации, вы всегда сможете вывести эти выражения.

Вывод выражений для аиЬ^

Вывод выражений для а и Ъ будет осуществляться в соответствии с той же процедурой, которая использовалась в двух примерах в разделе 2.3, и предлагается сравнивать общий вариант с примерами на каждом этапе. Начнем с того, что выразим квадрат /-го остатка через а и b и наблюдения значений х и у:

ef = (у і у і f = (у g -abxt )2 = у] +a2 + b2xf lay і + 2abxi 2bxiyi. (2.30) Суммируя по всем п наблюдениям, запишем S в виде:

S = £ у] + па1 + b2 £х2 2аУ£уі + 2abLxt 2bL xft. (2.31)

Заметим, что данное выражение для Sявляется квадратичной формой по а и Ь, и ее коэффициенты определяются выборочными значениями х и у. Мы можем влиять на величину S, только задавая значения а и Ь. Значения х и у, которые определяют положение точек на диаграмме рассеяния, уже не могут быть изменены после того, как мы взяли определенную выборку. Полученное уравнение представляет собой обобщенный вариант уравнений (2.4) и (2.13).

Условия первого порядка для минимума, то есть dS/da = 0 и dS/db = 0, принимают вид:

dS

= 2ап2Ly( + 7bLxi = 0; (2.32) da

= 2bL xj + 2ayLxi-lLxiyi = 0. (2.33) db

Эти уравнения известны как нормальные уравнения для коэффициентов регрессии и представляют собой обобщенные варианты уравнений (2.7), (2.8), (2.14) и (2.15) в двух примерах. Уравнение (2.32) позволяет выразить а через

у, х и пока неизвестное Ъ. Подставив пу вместо Еу, и пх вместо lxi9 получим:

2ап-2пу + 2Ьпх = 0. (2.34)

Следовательно,

а = у-Ьх. (2.35)

1 Те, кто не знаком с дифференциальным исчислением, могут пропустить следующую часть данного раздела.

Подставив выражение для а в уравнение (2.33) и помня, что їх, равно пх, имеем:

2ЬЪxj + 2пху 2Ъпх 2І xtyt = 0. (2.36) После деления на 2п и перегруппировки получим:

*{ Іxf ~ я*) = І*іУі *У(2.37)

С учетом формул (2.26) и (2.27) это выражение можно переписать в следующем виде:

War(x) = Cov(x,y), (2.38)

и, таким образом, мы получим уравнение (2.24). Найдя из этого выражения Ь, выразим затем а из уравнения (2.25). Тот, кто знаком с условиями второго порядка, без труда сможет убедиться, что они удовлетворены.

Во втором числовом примере, приводимом в разделе 2.3, Со(х,у)= 1,0;

Var (х) = 0,67; у = 4,67; х = 2,00. Следовательно,

£ = 1,00/0,67 = 1,5; (2.39)

а = у Ьх = 4,67 -1,5(2,00) = 1,67, (2.40) что подтверждает исходные вычисления.