4.4. автокорреляция в остатках. критерий дарбина-уотсона

4.4. автокорреляция в остатках. критерий дарбина-уотсона

Автокорреляция в остатках может быть вызвана несколькими причинами, имеющими различную природу.

Она может быть связана с исходными данными и вызвана наличием ошибок измерения в значениях результативного признака.

В ряде случаев автокорреляция может быть следствием неправильной спецификации модели. Модель может не включать фактор, который оказывает существенное воздействие на результат и влияние которого отражается в остатках, вследствие чего последние могут оказаться автокоррелированными. Очень часто этим фактором является фактор времени .

От истинной автокорреляции остатков следует отличать ситуации, когда причина автокорреляции заключается в неправильной спецификации функциональной формы модели. В этом случае следует изменить форму модели, а не использовать специальные методы расчета параметров уравнения регрессии при наличии автокорреляции в остатках.

Один из более распространенных методов определения автокорреляции в остатках это расчет критерия Дарбина-Уотсона:

d = J=^-„ . (4.5)

t=i

Т.е. величина d есть отношение суммы квадратов разностей последовательных значений остатков к остаточной сумме квадратов по модели регрессии.

Можно показать, что при больших значениях n существует следующее соотношение между критерием Дарбина-Уотсона d и коэффициентом автокорреляции остатков первого порядка г:

d @ 2-(1 гх). (4.6) Таким образом, если в остатках существует полная положительная автокорреляция и г = 1, то d = 0. Если в остатках полная отрицательная

автокорреляция, то г =—1 и, следовательно, d = 4. Если автокорреляция остатков отсутствует, то г = 0 и d = 2. Т.е. 0 £ d £ 4.

Алгоритм выявления автокорреляции остатков на основе критерия Дарбина-Уотсона следующий. Выдвигается гипотеза //0 об отсутствии

автокорреляции остатков. Альтернативные гипотезы состоят,

соответственно, в наличии положительной или отрицательной автокорреляции в остатках. Далее по специальным таблицам (см. приложение E) определяются критические значения критерия Дарбина-Уотсона dL и djj для заданного числа наблюдений n, числа независимых переменных модели m и уровня значимости ОС. По этим значениям числовой промежуток [0; 4] разбивают на пять отрезков.

Принятие или отклонение каждой из гипотез с вероятностью 1 — ОС осуществляется следующим образом:

0 < d < dL есть положительная автокорреляция остатков, H0

отклоняется, с вероятностью P = 1 — О принимается H1;

dL < d < du зона неопределенности;

du < d < 4 — du нет оснований отклонять H0, т.е. автокорреляция остатков отсутствует;

4 — du < d < 4 — dL зона неопределенности;

4 — dL < d < 4 есть отрицательная автокорреляция остатков, H0

отклоняется, с вероятностью P = 1 — О принимается H1 .

Если фактическое значение критерия Дарбина-Уотсона попадает в зону неопределенности, то на практике предполагают существование

автокорреляции остатков и отклоняют гипотезу H0 .

Пример. Проверим гипотезу о наличии автокорреляции в остатках для аддитивной модели нашего временного ряда. Исходные данные и промежуточные расчеты заносим в таблицу:

Фактическое значение критерия Дарбина-Уотсона для данной модели составляет:

d = ЗВД = 2,24.

37911,97

Сформулируем гипотезы: Н0 в остатках нет автокорреляции; Н1

в остатках есть положительная автокорреляция; Н* в остатках есть отрицательная автокорреляция. Зададим уровень значимости a = 0,05. По таблице значений критерия Дарбина-Уотсона определим для числа наблюдений n = 16 и числа независимых параметров модели k = 1 (мы рассматриваем только зависимость от времени t) критические значения

dL = 1,10 и djj = 1,37. Фактическое значение d-критерия Дарбина-Уотсона попадает в интервал dj < d < 4 — dj (1,37<2,24<2,63). Следовательно, нет основания отклонять гипотезу //0 об отсутствии

автокорреляции в остатках.

Существует несколько ограничений на применение критерия Дарбина-Уотсона.

Он неприменим к моделям, включающим в качестве независимых переменных лаговые значения результативного признака.

Методика расчета и использования критерия Дарбина-Уотсона направлена только на выявление автокорреляции остатков первого порядка.

Критерий Дарбина-Уотсона дает достоверные результаты только для больших выборок.

Приложение A

Случайные переменные Дискретная случайная переменная

Ваше интуитивное понимание вероятности почти наверняка соответствует задачам этого пособия, и поэтому мы опустим традиционный раздел чистой теории вероятностей, хотя он мог бы быть весьма увлекательным. Многие люди непосредственно сталкивались с вероятностями, участвуя в лотереях и азартных играх, и их заинтересованность в том, чем они занимались, часто приводила к удивительно высокой практической компетентности, обычно при полном отсутствии формальной подготовки.

Мы начнем непосредственно с дискретных случайных переменных. Случайная переменная это любая переменная, значение которой не может быть точно предсказано. Дискретной называется случайная величина, имеющая определенный набор возможных значений. Пример -сумма выпавших очков при бросании двух игральных костей. Пример случайной величины, не являющейся дискретной, температура в комнате. Она может принять любое из непрерывного диапазона значений и является примером непрерывной случайной величины. К рассмотрению таких величин в этом приложении мы перейдем позже.

Продолжая разговор о примере с двумя игральными костями, предположим, что одна из них зеленая, а другая красная. Если их бросить, то возможны 36 элементарных исходов эксперимента, поскольку на зеленой кости может выпасть любое число от 1 до 6 и то же самое на красной. Случайная переменная, определенная как их сумма, которую мы обозначим через x, может принимать только одно из 11 числовых

значений от 2 до 12. Взаимосвязь между исходами эксперимента и значениями случайной величины в данном случае показана в табл. А.1.

Предположив, что кости «правильные», мы можем воспользоваться табл. А.1 для определения вероятности каждого значения x. Поскольку на костях имеется 36 различных комбинаций, каждый исход имеет вероятность 1/36. Лишь одна из возможных комбинаций {зеленая=1, красная=1} дает сумму, равную 2, так что вероятность X = 2 равна 1/36. Чтобы получить сумму x = 7, нам потребуются сочетания {зеленая=1, красная=6}, либо {зеленая=2, красная=5}, либо {зеленая=3, красная=4}, либо {зеленая=4, красная=3}, либо {зеленая=5, красная=2}, либо { зеленая=6, красная=1}. В данном случае нас устроят 6 возможных исходов, и поэтому вероятность получения 7 равна 6/36. Все эти вероятности приведены в табл. А.2. Если все их сложить, то получится ровно 1. Это будет так, поскольку с вероятностью 100\% рассматриваемая сумма примет одно из значений от 2 до 12.

Таблица А.2

Значения x І 2|3|4|5|6|7|8|9|10|11|12 Вероятность | 1/36 | 2/36 | 3/36 | 4/36 | 5/36 | 6/36 | 5/36 | 4/36 | 3/36 | 2/36 | 1/36

Совокупность всех возможных значений случайной переменной описывается генеральной совокупностью, из которой извлекаются эти значения. В нашем случае генеральная совокупность это набор чисел от 2 до 12.

Математическое ожидание дискретной случайной величины

Математическое ожидание дискретной случайной величины это взвешенное среднее всех ее возможных значений, причем в качестве весового коэффициента берется вероятность соответствующего исхода. Вы можете рассчитать его, перемножив все возможные значения случайной величины на их вероятности и просуммировав полученные произведения. Математически если случайная величина обозначена как

x, то ее математическое ожидание обозначается как M ( x) или mx.

Предположим, что x может принимать n конкретных значений

(x1, x2, xn) и что вероятность получения xi равна pi. Тогда

n

M( x) = x1 p1 + x2 p2 + ... + xnpn = Z xiPi . (A1)

i=1

В случае с двумя костями величинами от x1 до xn были числа от 2 до 12. Математическое ожидание рассчитывается так:

M (x) = 2 — + 3 • — + 4 • — +... +11 • — +12 — = 7.

36 36 36 36 36

Прежде чем пойти дальше, рассмотрим еще более простой пример случайной переменной число очков, выпадающее при бросании лишь одной игральной кости.

В данном случае возможны шесть исходов: x1 = 1, x2 = 2,

x6 = 6. Каждый исход имеет вероятность 1/6, поэтому здесь

M (x ) = 1 • + 2 • + 3 • + 4 • + 5 • + 6 • = 3,5. (A.2)

666666

В данном случае математическим ожиданием случайной переменной является число, которое само по себе не может быть получено при бросании кости.

Математическое ожидание случайной величины часто называют ее средним по генеральной совокупности. Для случайной величины x это значение часто обозначается как JU.

Математические ожидания функций дискретных случайных

переменных

Пусть g(x) некоторая функция от x. Тогда M(g( x)) -математическое ожидание g ( x) записывается как

M(g(x)) = Xg(x) Pi, (A.3) где суммирование производится по всем возможным значениям x. В табл. A.3 показана последовательность практического расчета

математического ожидания функции от x.

Предположим, что x может принимать n различных значений от x до xn с соответствующими вероятностями от p1 до pn. В первой

колонке записываются все возможные значения x. Во второй -записываются соответствующие вероятности. В третьей колонке рассчитываются значения функции для соответствующих величин x. В четвертой колонке перемножаются числа из колонок 2 и 3. Ответ приводится в суммирующей строке колонки 4.

2

Рассчитаем математическое ожидание величины x . Для этого рассмотрим пример с числами, выпадающими при бросании одной кости.

Использовав схему, приведенную в табл. A.3, заполним табл. A.4.

Таблица A.4

xi	pi	2 Xi	x2 P,
1	2	3	4
1	1/6	1	0,167
2	1/6	4	0,667
3	1/6	9	1,500
4	1/6	16	2,667
5	1/6	25	4,167
6	1/6	36	6,000
Всего			15,167

2

В четвертой ее колонке даны шесть значений x , взвешенных по

соответствующим вероятностям, которые в данном примере все

равняются 1/6. По определению, величина M(X2 ) равна ^ X2 p{, она

приведена как сумма в четвертой колонке и равна 15,167.

Математическое ожидание x, как уже было показано, равно 3,5, и

3,5 в квадрате равно 12,25. Таким образом, величина M ( х2 ) не равна

2

, и, следовательно, нужно аккуратно проводить различия между M(x2) и {M(x)}2.

Правила расчета математического ожидания

Существуют три правила, которые часто используются. Эти правила практически самоочевидны, и они одинаково применимы для дискретных и непрерывных случайных переменных.

Правило 1. Математическое ожидание суммы нескольких переменных равно сумме их математических ожиданий. Например, если имеются три случайные переменные x, y и z, то

M ( x + y + z) = M ( x) + M ( y) + M ( z). (A.4)

133

Правило 2. Если случайная переменная умножается на константу, то ее математическое ожидание умножается на ту же константу. Если x -случайная переменная и a константа, то

M (a ■ x) = a ■ M (x). (A.5)

Правило 3. Математическое ожидание константы есть она сама. Например, если a константа, то

M (a) = a. (A.6)

Следствие из трех правил:

M (a + b ■ x) = a + b ■ M (x).

Независимость случайных переменных

Две случайные переменные x и y называются независимыми, если M( f (x) ■ g(y)) = M( f (x)) ■ M(g(y)) (A.7)

для любых функций f (x) и g(y). Из независимости следует как важный частный случай, что M ( x ■ y) = M ( x) ■ M ( y).

Теоретическая дисперсия дискретной случайной переменной

Теоретическая дисперсия является мерой разброса для вероятностного распределения. Она определяется как математическое ожидание квадрата разности между величиной x и ее средним, т.е.

величины (x — /і) , где J! математическое ожидание x. Дисперсия

обычно обозначается как (7^ или D( x), и если ясно, о какой переменной идет речь, то нижний индекс может быть опущен:

S ° D( x) = M(( x—ft)2) = £(xt —//f Pl. (A.8)

i=1

2

Из Оx можно получить Gx среднее квадратическое отклонение столь же распространенную меру разброса для распределения

134

вероятностей; среднее квадратическое отклонение случайной переменной есть квадратный корень из ее дисперсии.

Мы проиллюстрируем расчет дисперсии на примере с одной

игральной костью. Поскольку jU = M(x), то (x —/і) в этом случае

равно (x — 3,5) . Мы рассчитаем математическое ожидание величины

(x — 3,5) , используя схему, представленную в табл. A.5. Дополнительный столбец (x — m) представляет определенный этап

расчета (x — /і) . Суммируя последний столбец в табл. I.5, получим значение дисперсии Ox, равное 2,92. Следовательно, стандартное отклонение (Sx) равно -^2,92, то есть 1,71.

Одним из важных приложений правил расчета математического ожидания является формула расчета теоретической дисперсии случайной переменной, которая может быть записана как

а2х = M (x2 ) — m2. (A.9)

Это выражение иногда оказывается более удобным, чем первоначальное определение. Доказательство предоставляется читателю в качестве упражнения.

Вероятность в непрерывном случае

С дискретными случайными переменными очень легко обращаться, поскольку они по определению принимают значения из некоторого конечного набора. Каждое из этих значений связано с определенной вероятностью, характеризующей его «вес». Если эти «веса» известны, то не составит труда рассчитать теоретическое среднее (математическое ожидание) и дисперсию.

Вы можете представить указанные «веса» как определенные количества «пластичной массы», равные вероятностям соответствующих значений. Сумма вероятностей и, следовательно, суммарный «вес» этой «массы» равен единице. Это показано на рис. A.1 для примера, где величина есть сумма очков, выпавших при бросании двух игральных костей. Величина x принимает значения от 2 до 12, и для всех этих значений показано количество соответствующей «массы».

Величины вероятности

Рис. А.1.

К сожалению, анализ часто проводится для непрерывных случайных величин, которые могут принимать бесконечное число значений. Поскольку невозможно представить себе «пластичную массу»,

разделенную на бесконечное число частей, используем далее другой подход.

Проиллюстрируем наши рассуждения на примере температуры в комнате. Для определенности предположим, что она меняется в пределах от 55 до 75° по Фаренгейту, и вначале допустим, что все значения в этом диапазоне равновероятны.

Поскольку число различных значений, принимаемых показателем температуры, бесконечно, здесь бессмысленно пытаться разделить «пластичную массу» на малые части. Вместо этого можно «размазать» ее по всему диапазону. Поскольку все температуры от 55 до 75° F равновероятны, она должна быть «размазана» равномерно, как это показано на рис. A.2.

Высота (плотность вероятности)

0,05 | 1

55 60 65 70 75 Температура, F

Рис. A.2.

В этом примере, как и во всех остальных, мы будем полагать, что «пластичная масса размазана» на единичной площади. Это связано с тем, что совокупная вероятность всегда равняется единице. В данном случае наша «масса» покрыла прямоугольник, и поскольку основание этого прямоугольника равно 20, его высота h определяется из соотношения:

20 h = 1, (A.10) так как произведение основания и высоты равно площади. Следовательно, высота равна 0,05, как это показано на рисунке.

Найдя высоту прямоугольника, мы можем ответить на вопросы

типа: с какой вероятностью температура будет находиться в диапазоне от

65 до 70°F? Ответ определяется величиной «замазанной» площади (или,

137

говоря более формально, совокупной вероятностью), лежащей в диапазоне от 65 до 70°F, представленной заштрихованной фигурой на рис. A.3. Основание заштрихованного прямоугольника равно 5, его высота равна 0,05 и, соответственно, площадь 0,25. Искомая вероятность равна 1/4, что в любом случае очевидно, поскольку промежуток от 65 до 70°F составляет 1/4 всего диапазона.

Рис. A.3.

Высота заштрихованной площади представляет то, что формально называется плотностью вероятности в этой точке, и если эта высота может быть записана как функция значений случайной переменной, то эта функция называется функцией плотности вероятности. В нашем

примере она записывается как f (x), где x температура, и

f (x) = 0,05; 55 £ x£ 75. (A.11)

В качестве первого приближения функция плотности вероятности показывает вероятность нахождения случайной переменной внутри единичного интервала вокруг данной точки. В нашем примере эта функция всюду равна 0,05, откуда вытекает, что температура находится, например, между 60 и 61°F с вероятностью 0,05.

В нашем случае график функции плотности вероятности

горизонтален, и ее указанная интерпретация точна, однако в общем

случае эта функция непрерывно меняется, и ее интерпретация дает лишь

приближение. Далее мы рассмотрим пример, когда эта функция

непостоянна, поскольку не все температуры равновероятны.

138

Предположим, что центральное отопление работает таким образом, что температура никогда не падает ниже 65°F, а в жаркие дни температура превосходит этот уровень, не превышая, как и ранее, 75°F. Мы будем считать, что плотность вероятности максимальна при температуре 65°F и далее она равномерно убывает до нуля при 75°F (рис. A.4).

Плотность вероятности

0,20 ■ 0,15 -0,10 -0,05 ■

65 70 75 Температура, F

Рис. A.4.

Общая «замазанная» площадь, как всегда, равна единице, поскольку совокупная вероятность равна единице. Площадь треугольника равна половине произведения основания на высоту, поэтому получаем:

2 10 • h = 1, (A.12)

и высота при 65°F равна 0,20.

Предположим вновь, что мы хотим знать вероятность нахождения температуры в промежутке между 65 и 70°F. Она представлена заштрихованной площадью на рис. A.5, и если вы немного помните геометрию, то сможете проверить, что она равна 0,75. Если вы предпочитаете процентное измерение, то это означает, что с вероятностью 75\% температура попадет в диапазон 65-70°F и только с вероятностью 25\% в диапазон 70-75 °F.

Плотность вероятности

0,20 0,15 ■ 0,10 -0,05

6s /и /й Температура, F

Рис. A.5.

В данном случае функция плотности вероятности записывается как f ( x), где

f (x) = 1,5 — 0,02x; 65 £ x£ 75. (A.13)

Прежде чем продолжить изложение, упомянем о хорошей и плохой новостях. «Плохая новость» это то, что если вы хотите рассчитать вероятности для более сложных функций с криволинейными графиками, то элементарная геометрия становится неприменимой. Вообще говоря, вы должны воспользоваться интегральным исчислением или специальными таблицами (если последние существуют). Интегральное исчисление используется также и при определении математического ожидания и дисперсии непрерывной случайной величины.

«Хорошая новость» в том, что специальные таблицы существуют для всех функций, которые будут интересовать нас на практике. Кроме того, математическое ожидание и дисперсия имеют практически тот же смысл для непрерывных случайных величин, что и для дискретных, для них верны те же самые правила.

Постоянная и случайная составляющие случайной переменной

Часто вместо рассмотрения случайной величины как единого целого можно и удобно разбить ее на постоянную и чисто случайную составляющие, где постоянная составляющая всегда есть ее

математическое ожидание. Если x случайная переменная и jl ее

математическое ожидание, то декомпозиция случайной величины записывается следующим образом:

x ={1 + Є, (A.14)

где e чисто случайная составляющая.

Конечно, можно было бы посмотреть на это по-другому и сказать, что случайная составляющая e определяется как разность между x и j

є = x -jl. (A.15) Из определения следует, что математическое ожидание величины є равно нулю:

m (є) = m (x-m) = m (x) m (m)=m-m = 0.

Поскольку весь разброс значений x обусловлен є, неудивительно, что теоретическая дисперсия x равна теоретической дисперсии є. Последнее нетрудно доказать. По определению,

S = M ((x -ji)2 ) = M (є2)

и

аЄ = M ((є-M (є))2 ) = M ((є-0 )2 ) = M (є2).

Таким образом, G может быть эквивалентно определена как дисперсия x или є .

Обобщая, можно утверждать, что если x случайная переменная, определенная по формуле (A.14), где jl заданное число и є  

случайный член с M(є) = 0 и = G2, то математическое ожидание

2

величины x равно j , а дисперсия G .

Способы оценивания и оценки

До сих пор мы предполагали, что имеется точная информация о

рассматриваемой случайной переменной, в частности - об ее

141

распределении вероятностей (в случае дискретной переменной) или о функции плотности распределения (в случае непрерывной переменной). С помощью этой информации можно рассчитать теоретическое математическое ожидание, дисперсию и любые другие характеристики, в которых мы можем быть заинтересованы.

Однако на практике, за исключением искусственно простых случайных величин (таких, как число выпавших очков при бросании игральной кости), мы не знаем точного вероятностного распределения или плотности распределения вероятностей. Это означает, что неизвестны также и теоретическое математическое ожидание, и дисперсия. Мы, тем не менее, можем нуждаться в оценках этих или других теоретических характеристик генеральной совокупности.

Процедура оценивания всегда одинакова. Берется выборка из n наблюдений, и с помощью подходящей формулы рассчитывается оценка нужной характеристики. Нужно следить за терминами, делая важное различие между способом или формулой оценивания и рассчитанным по ней для данной выборки числом, являющимся значением оценки. Способ оценивания это общее правило, или формула, в то время как значение оценки это конкретное число, которое меняется от выборки к выборке.

В табл. A.6 приведены формулы оценивания для двух важнейших характеристик генеральной совокупности. Выборочное среднее x обычно

дает оценку для математического ожидания, а формула s2 оценку дисперсии генеральной совокупности.

Отметим, что это обычные формулы оценки математического ожидания и дисперсии генеральной совокупности, однако не единственные. Возможно, вы настолько привыкли использовать x в качестве оценки для jl, что даже не задумывались об альтернативах.

Конечно, не все формулы оценки, которые можно представить, одинаково хороши. Причина, по которой в действительности используется x, в том, что эта оценка в наилучшей степени соответствует двум очень важным критериям несмещенности и эффективности. Эти критерии будут рассмотрены ниже.

Оценки как случайные величины

Получаемая оценка представляет частный случай случайной переменной. Причина здесь в том, что сочетание значений x в выборке случайно, поскольку x случайная переменная и, следовательно, случайной величиной является и функция набора ее значений. Возьмем, например, x оценку математического ожидания:

x = 1 ( x1 + x1 + ... + xn ) .

n

Выше мы показали, что величина x в -м наблюдении может быть разложена на две составляющие: постоянную часть j и чисто случайную

составляющую є :

xi =М + єі. (A.17)

Следовательно,

x = jU + є, (A.18)

где є выборочное среднее величин є.

Отсюда можно видеть, что x, подобно x, имеет как фиксированную, так и чисто случайную составляющие. Ее фиксированная составляющая j , то есть математическое ожидание x, а ее случайная составляющая £, то есть среднее значение чисто случайной составляющей в выборке.

Функции плотности вероятности для x и x показаны на одинаковых графиках (рис. A.6). Как показано на рисунке, величина x считается нормально распределенной. Можно видеть, что распределения, как x, так и x, симметричны относительно // теоретического

среднего. Разница между ними в том, что распределение x уже и выше. Величина x, вероятно, должна быть ближе к //, чем значение единичного наблюдения x, поскольку ее случайная составляющая £ есть среднее от чисто случайных составляющих £1, £2, £п в выборке,

которые, по-видимому, «гасят» друг друга при расчете среднего. Далее теоретическая дисперсия величины £ составляет лишь часть теоретической дисперсии £ .

i х Рис. A.6.

Величина s оценка теоретической дисперсии x также является случайной переменной. Вычитая (A.18) из (A.17), имеем: xi — x = £ — £ .

Следовательно,

s2 =

1

п — 1

I (x—x)

2 =—I (£—£)

п—1

Таким образом, s зависит от (и только от) чисто случайной составляющей наблюдений x в выборке. Поскольку эти составляющие

меняются от выборки к выборке, также от выборки к выборке меняется и

2

величина оценки s .

Несмещенно сть

Поскольку оценки являются случайными переменными, их значения лишь по случайному совпадению могут в точности равняться характеристикам генеральной совокупности. Обычно будет присутствовать определенная ошибка, которая может быть большой или малой, положительной или отрицательной, в зависимости от чисто случайных составляющих величин x в выборке.

Хотя это и неизбежно, на интуитивном уровне желательно, тем не менее, чтобы оценка в среднем за достаточно длительный период была аккуратной. Выражаясь формально, мы хотели бы, чтобы математическое ожидание оценки равнялось бы соответствующей характеристике генеральной совокупности. Если это так, то оценка называется несмещенной. Если это не так, то оценка называется смещенной, и разница между ее математическим ожиданием и соответствующей теоретической характеристикой генеральной совокупности называется смещением.

Начнем с выборочного среднего. Является ли оно несмещенной оценкой теоретического среднего? Равны ли M(x) и jj? Да, это так, что

непосредственно вытекает из (A.18).

Величина x включает две составляющие jj и £ . Значение £ равно средней чисто случайных составляющих величин x в выборке, и, поскольку математическое ожидание такой составляющей в каждом наблюдении равно нулю, математическое ожидание £ равно нулю. Следовательно, m (x ) = m (m+e) = m m (e)=m+0=m (A.19)

Тем не менее полученная оценка не единственно возможная несмещенная оценка m. Предположим для простоты, что у нас есть

выборка всего из двух наблюдений x1 и x2. Любое взвешенное среднее

наблюдений x1 и x2 было бы несмещенной оценкой, если сумма весов

равна единице. Чтобы показать это, предположим, что мы построили обобщенную формулу оценки:

Z = 1 x + 1 x2. (A.20) Математическое ожидание Z равно:

M(Z) = M(1x + 1 x2) = M(x-) + 1 M(x2) = (1+І2)m. (A.21) Если сумма 1 и 12 равна единице, то мы имеем M(Z) = JU и Z является несмещенной оценкой m.

Таким образом, в принципе число несмещенных оценок бесконечно. Как выбрать одну из них? Почему в действительности мы всегда используем выборочное среднее с 1=1 = 0,5? Возможно, вы

полагаете, что было бы несправедливым давать разным наблюдениям различные веса или что подобной асимметрии следует избегать в принципе. Мы, однако, не заботимся здесь о справедливости или о симметрии как таковой. Дальше мы увидим, что имеется и более осязаемая причина.

До сих пор мы рассматривали только оценки теоретического

среднего. Выше утверждалось, что величина 52, определяемая в

соответствии с табл. А.6, является оценкой теоретической дисперсии О .

22

Можно показать, что математическое ожидание s равно О , и эта величина является несмещенной оценкой теоретической дисперсии, если наблюдения в выборке независимы друг от друга. Доказательство этого математически несложно, но трудоемко, и поэтому мы его опускаем.

Эффективность

Несмещенность желательное свойство оценок, но это не единственное такое свойство. Еще одна важная их сторона это надежность. Конечно, немаловажно, чтобы оценка была точной в среднем за длительный период, но, как однажды заметил Дж. М. Кейнс, «в долгосрочном периоде мы все умрем». Мы хотели бы, чтобы наша оценка с максимально возможной вероятностью давала бы близкое значение к теоретической характеристике, что означает желание получить функцию плотности вероятности, как можно более «сжатую» вокруг истинного значения. Один из способов выразить это требование -сказать, что мы хотели бы получить сколь возможно малую дисперсию.

Предположим, что мы имеем две оценки теоретического среднего, рассчитанные на основе одной и той же информации, что обе они являются несмещенными и что их функции плотности вероятности показаны на рис. A.7. Поскольку функция плотности вероятности для оценки B более «сжата», чем для оценки A, с ее помощью мы скорее получим более точное значение. Формально говоря, эта оценка более эффективна.

Функция плотности вероятности

Рис. A.7.

Важно заметить, что мы использовали здесь слово «скорее». Даже

хотя оценка B более эффективна, это не означает, что она всегда дает

147

более точное значение. При определенном стечении обстоятельств значение оценки A может быть ближе к истине. Однако вероятность того, что оценка A окажется более точной, чем B, составляет менее 50\%.

Это напоминает вопрос о том, пользоваться ли ремнями безопасности при управлении автомобилем. Множество обзоров в разных странах показало, что значительно менее вероятно погибнуть или получить увечья в дорожном происшествии, если воспользоваться ремнями безопасности. В то же время не раз отмечались странные случаи, когда не сделавший этого индивид чудесным образом уцелел, но погиб бы, будучи пристегнут ремнями. Упомянутые обзоры не отрицают этого. В них лишь делается вывод, что преимущество на стороне тех, кто пользуется ремнями безопасности. Подобным же преимуществом обладает и эффективная оценка. (Неприятный комментарий: в тех странах, где пользование ремнями безопасности сделано обязательным, сократилось предложение для трансплантации почек людей, ставших жертвами аварий.)

Мы говорили о желании получить оценку как можно с меньшей дисперсией, и эффективная оценка это та, у которой дисперсия минимальна. Сейчас мы рассмотрим дисперсию обобщенной оценки теоретического среднего и покажем, что она минимальна в том случае, когда оба наблюдения имеют равные веса.

Если наблюдения x1 и x2 независимы, теоретическая дисперсия обобщенной оценки равна:

(A.21)

Мы уже выяснили, что для несмещенности оценки необходимо равенство единице суммы 1 и 12. Следовательно, для несмещенных

(A.22)

Поскольку мы хотим выбрать я1 так, чтобы минимизировать

дисперсию, нам нужно минимизировать при этом (2Д2 — 211 +1). Эту

задачу можно решить графически или с помощью дифференциального исчисления. В любом случае минимум достигается при 11 = 0,5.

Следовательно, 12 также равно 0,5.

Итак, мы показали, что выборочное среднее имеет наименьшую дисперсию среди оценок рассматриваемого типа. Это означает, что оно имеет наиболее «сжатое» вероятностное распределение вокруг истинного среднего и, следовательно (в вероятностном смысле), наиболее точно. Строго говоря, выборочное среднее это наиболее эффективная оценка среди всех несмещенных оценок. Конечно, мы показали это только для случая с двумя наблюдениями, но сделанные выводы верны для выборок любого размера, если наблюдения не зависят друг от друга.

Два заключительных замечания: во-первых, эффективность оценок можно сравнивать лишь тогда, когда они используют одну и ту же информацию, например один и тот же набор наблюдений нескольких случайных переменных. Если одна из оценок использует в 10 раз больше информации, чем другая, то она вполне может иметь меньшую дисперсию, но было бы неправильно считать ее более эффективной. Во-вторых, мы ограничиваем понятие эффективности сравнением распределений несмещенных оценок. Существуют определения эффективности, обобщающие это понятие на случай возможного сравнения смещенных оценок, но в этом пособии мы придерживаемся данного простого определения.

Противоречия между несмещенностью и минимальной дисперсией

В данном обзоре мы уже выяснили, что для оценки желательны несмещенность и наименьшая возможная дисперсия. Эти критерии совершенно различны, и иногда они могут противоречить друг другу. Может случиться так, что имеются две оценки теоретической характеристики, одна из которых является несмещенной (A на рис. A.8), другая же смещена, но имеет меньшую дисперсию (B).

Функция плотности вероятности

Оценка A хороша своей несмещенностью, но преимуществом оценки B является то, что ее значения практически всегда близки к истинному значению. Какую из них вы бы выбрали?

Данный выбор зависит от обстоятельств. Если возможные ошибки вас не очень тревожат при условии, что за длительный период они «погасят» друг друга, то, по-видимому, вы выберете A. С другой стороны, если для вас приемлемы малые ошибки, но неприемлемы большие, то вам следует выбрать B.

Формально говоря, выбор определяется функцией потерь,

стоимостью сделанной ошибки как функцией ее размера. Обычно

выбирают оценку, дающую наименьшее ожидание потерь, и делается это

путем взвешивания функции потерь по функции плотности вероятности.

150

(Если вы не любите риск, то можете также пожелать учесть дисперсию потерь.)

Влияние увеличения размера выборки на точность оценок

Будем по-прежнему предполагать, что мы исследуем случайную переменную x с неизвестным математическим ожиданием m и

теоретической дисперсией о и что для оценивания m используется x. Каким образом точность оценки x зависит от числа наблюдений n ?

Ответ неудивителен: при увеличении n оценка x, вообще говоря, становится более точной. В единичном эксперименте большая по размеру выборка необязательно даст более точную оценку, чем меньшая выборка, всегда может присутствовать элемент везения, но общая тенденция должна быть именно такой. Поскольку дисперсия x выражается

формулой о2/n (доказательство этого факта мы опускаем), она тем меньше, чем больше размер выборки, и, значит, тем сильнее «сжата» функция плотности вероятности для x.

Это показано на рис. A.9. Мы предполагаем, что x нормально распределена со средним 25 и стандартным отклонением 50. Если размер выборки равен 25, то стандартное отклонение величины x, равное

о/Ш , составит: 50/725 =10 . Если размер выборки равен 100, то это

стандартное отклонение равно 5. На рис. А.9 показаны соответствующие функции плотности вероятности. Вторая ( n = 100) выше первой в окрестности m, что говорит о более высокой вероятности получения с ее

помощью аккуратной оценки. За пределами этой окрестности вторая функция всюду ниже первой.

Рис. А.9.

Чем больше размер выборки, тем уже и выше будет график функции плотности вероятности для x. Если n становится действительно большим, то график функции плотности вероятности будет неотличим от вертикальной прямой, соответствующей x = f. Для

такой выборки случайная составляющая x становится действительно очень малой, и поэтому x обязательно будет очень близкой к ff. Это

вытекает из того факта, что стандартное отклонение x, равное о/\[П, становится очень малым при больших n.

В пределе, при стремлении n к бесконечности, о/ і~П стремится к нулю и x стремится в точности к f .

Состоятельность

Вообще говоря, если предел оценки по вероятности равен истинному значению характеристики генеральной совокупности, то эта оценка называется состоятельной. Иначе говоря, состоятельной называется такая оценка, которая дает точное значение для большой выборки независимо от входящих в нее конкретных наблюдений.

В большинстве конкретных случаев несмещенная оценка является и состоятельной. Для этого можно построить контрпримеры, но они, как правило, будут носить искусственный характер.

Иногда бывает, что оценка, смещенная на малых выборках, является состоятельной (иногда состоятельной может быть даже оценка, не имеющая на малых выборках конечного математического ожидания). На рис. A.10 показано, как при различных размерах выборки может выглядеть распределение вероятностей. Тот факт, что при увеличении размера выборки распределение становится симметричным вокруг истинного значения, указывает на асимптотическую несмещенность. То, что в конечном счете оно превращается в единственную точку истинного значения, говорит о состоятельности оценки.

Оценки, типа показанных на рис. A. 10, весьма важны в регрессионном анализе. Иногда невозможно найти оценку, несмещенную

на малых выборках. Если при этом вы можете найти хотя бы состоятельную оценку, это может быть лучше, чем не иметь никакой

оценки, особенно если вы можете предположить направление смещения

на малых выборках.

Нужно, однако, иметь в виду, что состоятельная оценка в принципе может на малых выборках работать хуже, чем несостоятельная (например, иметь большую среднеквадратичную ошибку), и поэтому требуется осторожность. Подобно тому, как вы можете предпочесть смещенную оценку несмещенной, если ее дисперсия меньше, вы можете предпочесть состоятельную, но смещенную оценку несмещенной или несостоятельную оценку им обеим (также в случае меньшей дисперсии).