2.2. гауссовское (нормальное) распределение ошибок в линейной модели наблюдений

2.2. гауссовское (нормальное) распределение ошибок в линейной модели наблюдений

Итак, предположив, что в модели наблюдений

Уі =а + pxt +st , і = 1,n

ошибки є 1,...,є 1 — независимые случайные величины, имеющие одинаковое распределение (i. i. d), мы должны сделать и предположение о том, каким именно является это распределение.

Классические методы статистического анализа линейных моделей наблюдений предполагают, что таковым является распределение Гаусса (Gaussian distribution), функция плотности которого имеет вид

р(x)

1

2л

■2/ (

■со < x < +со .

График указанной функции плотности имеет колоколооб-разную форму

Параметр а> 0 характеризует степень рассредоточения распределения вдоль оси абсцисс. На диаграмме представлены графики функций плотности гауссовского распределения при трех различных значениях параметрам: а = 1, а = 0.5, а = 2 . Из трех представленных функций наибольшее значение в нуле имеет функция плотности с а = 0.5, наименьшее — функция плотности с <т = 2 , а промежуточное между ними — функция плотности с а = 1. Эти значения равны, соответственно,

2/42ж = 0.7979 , l/V2^ = 0.3989 , і/ (2^/2^) = 0.1995 .

Гауссовское распределение симметрично относительно нуля, и это предполагает, что положительные ошибки столь же вероятны, как и отрицательные; при этом, малые ошибки встречаются чаще, чем большие. Если случайная ошибка имеет гауссовское распределение с параметром а , то с вероятностью 0.95 ее значение будет заключено в пределах от -1.96<т до +1.96<т . Соответственно, для трех рассмотренных случаев получаем: с вероятностью 0.95 значение случайной ошибки заключено в интервале

(-0.98,0.98)— при а = 0.5, (-1.96,1.96)- при а = 1,

(-3.92,3.92)при а = 2.

Хотя гауссовское распределение довольно часто вполне приемлемо для описания случайных ошибок в моделях наблюдений, оно вовсе не является универсальным. Такое распределение характерно для ситуаций, когда результирующая ошибка является следствием сложения большого количества независимых случайных ошибок, каждая из которых достаточно мала.

Мы будем далее в этом параграфе предполагать, что процесс порождения данных (////,/, или DGPdata generating process) устроен следующим образом. Значения д^,...,xn известны точно и рассматриваются как заданные, а значения y1,...,yn получаются наложением на значения а + /3 xi случайных ошибок єі.

В этом контексте, a + fi xi рассматриваются как некоторые постоянные (хотя и не известные наблюдателю). Напротив, значения yi носят случайный характер, определяемый

случайным характером значений єі. Собственно, yi отличается от случайной величины si лишь сдвигом на постоянную а + fi xi, и потому также является случайной величиной. Мы будем обозначать ее в этом качестве как случайную величину Yi. Функция распределения этой случайной величины имеет вид

FYi (y) = P{Yt < y} = P{a + fi xt + st < y}

= P{st <y-(a + fixt)} = F(y-a-fix,) ,

где F — функция распределения случайной величины^

(одинаковая для всех є1,...,єп). Соответственно, функция

плотности распределения случайной величины Y имеет вид

, ч dFYt (y) dF(y -a-fi xt) . 0 .

dy dy

где p — функция плотности распределения случайной величины єі.

Таким образом, случайные величины Y1,...,Yn хотя и являются взаимно независимыми (в силу предполагаемой взаимной независимости случайных величинs1,єп), но имеют разные распределения, отличающиеся сдвигом. На следующем рисунке представлены графики функции плотности p(x) распределения еі (гауссовское распределение с параметром (7= 1) и функции плотности pY (x) распределения случайной величины Yi а + fi xi + єі при значении а + fi xi 1.5.

Заметим, что если случайная ошибка єі имеет гауссовское

распределение с плотностью

. . 1 -у2/Ы2)

Р(У) = 1= ^ , -со< y <+<х> ,

crV In

то отличающаяся от нее сдвигом случайная величина Y а + Р xi + єі имеет функцию плотности

1 -{y-a-fix,)2/І2<т2)

pY (y) = -;= Є п ' , -со< у< +со .

' crv 2л

Эта функция плотности принадлежит двухпараметрическому семейству функций плотности вида

/ ч 1 -b-nil(2°2) г, p(y) = —-;= є іу ', -со< у <+со ; сг>0, -со<//<+со.

(TV 2л

Функции плотности такого вида называются нормальными плотностями, а определяемые ими распределения вероятностей называются нормальными распределениями вероятностей. Если некоторая случайная величина Y имеет плотность распределения, заданную последним соотношением, то говорят, что случайная величина Y имеет нормальное распределение с параметрами /ни а2. Распределение такой случайной величины симметрично относительно своего среднего значе

ния //. Максимальное значение функции плотности этой случайной величины достигается при y /л.

Таким образом, строго говоря, гауссовское распределение

лением с параметрами /л и а2.

Важнейшая роль предположения о нормальном (гауссов-ском) распределении ошибок в линейной модели наблюдений yt =а + pxt +g. , і = 1,n ,

определяется тем обстоятельством, что при добавлении такого предположения к стандартному предположению о том, что ошибки е1,...,еп — независимые случайные величины,

имеющие одинаковое распределение, можно легко найти точный вид распределения оценок наименьших квадратов для неизвестных значений параметров модели.

мы можем записать выражение для J3 в виде

Вспомним, в этой связи, полученное ранее выражение

p= Z wi {у і ~ у) = Z ~ у Z w>

i-l і-1 і-1

и n n

= Z wiyi" w Z y = Z Ы w)y>

i-1 i-1 i-1

где

с. = wi w . Таким образом,

P ,

где c1,...,cn — фиксированные величины, a y1,...,yn — наблюдаемые значения случайных величин Y1,...,Yn. Поэтому

вычисленное по последней формуле значение Р является наблюдаемым значением случайной величины

Р = tcY,

i=1

которая является линейной комбинацией случайных величин Y1,...,Yn и имеет некоторое распределение вероятностей, зависящее от распределения последних.

В общем случае, аналитическое описание распределения

Р как случайной величины довольно затруднительно. Более

просто эта задача решается в ситуации, когда st имеет гауссовское распределение. Если ошибки є1,...,є nнезависимые

случайные величины, имеющие одинаковое нормальное распределение с нулевым средним, то тогда оценка наименьших

квадратов Р параметра р также имеет нормальное распределение. Чтобы указать параметры этого нормального распределения и иметь возможность проводить статистический анализ подобранной модели линейной связи между переменными факторами, нам придется уделить внимание некоторым важным числовым характеристикам случайных величин и их свойствам.