3.1. случайные составляющие коэффициентов регрессии

3.1. случайные составляющие коэффициентов регрессии

Коэффициент регрессии, вычисленный методом цаименьших квадратов, — это особая форма случайной величины, свойства которой зависят от свойств остаточного члена в уравнении. Мы продемонстрируем зто сначала теоретически, а затем посредством контролируемого эксперимента. В частности, мы увидим, какое значение для оценки коэффициентов регрессии имеют некоторые конкретные предположения, касающиеся остаточного члена.

В ходе рассмотрения мы постоянно будем иметь дело с моделью парной регрессии, в которой у связан с х следующей зависимостью:

у = а + Рх + w,

(3.1)

и на основе п выборочных наблюдений будем оценивать уравнение регрессии.

у = а+Ьх.

(3.2)

Мы также будем предполагать, что х — это неслучайная экзогенная переменная. Иными словами, ее значения во всех наблюдениях можно считать заранее заданными и никак не связанными с исследуемой зависимостью.

Во-первых, заметим, что величина>> состоит из двух составляющих. Она включает неслучайную составляющую (а + Рх), которая не имеет ничего общего с законами вероятности (аир могут быть неизвестными, но тем не менее это постоянные величины), и случайную составляющую и.

Отсюда следует, что, когда мы вычисляем b по обычной формуле:

Cov(x,y)

* = "V^T' (3-3)

b также содержит случайную составляющую. Cov (х, у) зависит от значений у, а у зависит от значений и.

Если случайная составляющая принимает разные значения в п наблюдениях, то мы получаем различные значения у и, следовательно, разные величины Cov (х, у) и Ь.

Теоретически мы можем разложить b на случайную и неслучайную составляющие. Воспользовавшись соотношением (3.1), а также правилом / расчета ковариации из раздела 1.2, получим:

Cov(x, у) = Cov(x, [а + рх + и]) = Cov(x, а) + Cov(x, рх) + Cov(x, и). (3.4)

По ковариационному правилу 3, ковариация Cov (х, а) равна нулю. По ковариационному правилу 2, ковариация Cov (х, рх) равна pCov (х, х). Причем Cov (х, х) это тоже, что и Var (х). Следовательно, мы можем записать:

Cov(x, у) = pVar(x) + Cov(x, и), (3.5)

и, таким образом,

b^Cov(x,y) Cov(x,u) Var(x) р Var(x)

Итак, мы показали, что коэффициент регрессии Ь, полученный по любой выборке, представляется в виде суммы двух слагаемых: 1) постоянной величины, равной истинному значению коэффициента р; 2) случайной составляющей, зависящей от Cov (х, и), которой обусловлены отклонения коэффициента b от константы р. Аналогичным образом можно показать, что а имеет постоянную составляющую, равную истинному значению а, плюс случайную составляющую, которая зависит от случайного фактора и.

Следует заметить, что на практике мы не можем разложить коэффициенты регрессии на составляющие, так как не знаем истинных значений аир или фактических значений и в выборке. Они интересуют нас потому, что при определенных предположениях позволяют получить некоторую информацию о теоретических свойствах а и Ь.