13.20. предельные теоремы теории вероятностей

13.20. предельные теоремы теории вероятностей

13.20.1. Асимптотические предельные теоремы. Закон больших чисел

Вводимые в теории вероятностей понятия случайного события и случайной величины характеризуются неопределенностью факта возникновения случайного явления и неточностью его измерения.

363

Тем не менее объективные законы, которые выражаются этими случайностями, гарантируют устойчивость статистических показателей, закладываемых в функции распределения и параметры вероятностных законов.

Первые исследования по установлению предельного сближения средних величин и их математических ожиданий для простейших классов последовательностей были сделаны Я. Бернулли и С. Пуассоном.

В частности, Бернулли рассмотрел модель случайного события А, связанного с установлением в ходе испытаний математического условия

> є, є > О,

где Wn — частота наступления события в первых я испытаниях, р — постоянная вероятность.

Им было установлено предельное соотношение

при любом є > 0 и я -> оо. Это так называемая предельная теорема о вероятностной асимптотической сходимости. Здесь Р(...) означает вероятность рассматриваемого события А

Пуассон сформулировал закон асимптотического сближения для

последовательности независимых испытаний, в которой величина вероятности появления события А может зависеть от номера испытания.

Если вероятность появления события А в k-м испытании равна рк, то удобно ввести среднее значение вероятности

Р = -1РкП

В этом случае по теореме Пуассона должно выполняться предельное соотношение

При ЛЮбоМ Є > О И И —> оо.

364

13.20.2. Обоснование закона больших чисел. Теорема Чебышева

Полное решение проблемы предельного асимптотического сближения было дано П.Л. Чебышевым в форме теоремы обобщенного вида. В теореме рассматривается сумма независимых случайных величин

(=1

В частности, если величиныХ{задаются в виде: Х{=1 при появлении события А в 1-м испытании и Xi = 0 при противоположном

исходе, то ^Xt =Wn, где WH — частота события А

і=і

Теорема Чебышева. Пусть дана любая последовательность независимых случайных величин {X.} = {Хр Х2,XJ с математическими ожиданиями М[Ху], М[Х2], М[АГи] и дисперсиями DIX,], D[X2],

ЩХп], ограниченными одной и той же постоянной величиной. Тогда выполняется следующее соотношение:

тоО

(13.4)

> Є

г=1 г=1

л и

При ЛЮбоМ Є > О U « ТО оо.

Доказательство теоремы Чебышева основывается на так называемом неравенстве Чебышева, которое по существу образует достаточное условие асимптотического сближения средних значений независимых случайных величин и средних значений их математических ожиданий. Это неравенство имеет вид

Р(ХМ[Х] >e)<D [Х]/е2,

1=1

1=1

D[X] = y£[Xi-M[X]fpi.

і=і

Теорема Чебышева формулирует основные положения асимптотического предельного стремления средней арифметической величин Хр Х2, Хп к среднему арифметическому их математических ожиданий МХу, М[Х2],М[Хп].

365

Сущность данной теоремы заключается в том, что взаимодействие независимых случайных величин при достаточно большом их числе приводит к результату, слабо зависящему от случая. Это означает, что при самых общих предположениях средние оценки случайных величин и их математических ожиданий становятся предельно близкими.

Теорему Чебышева можно рассматривать как необходимое и достаточное условие предельного сближения средних значений независимых случайных величин и средних значений их математических ожиданий.

Теорема позволяет утверждать, что если отдельные случайные величины могут значительно отличаться от своих математических ожиданий в разных испытаниях, то последовательности, составленные из этих величин, в случае их независимости при достаточно большом п ведут себя почти определенно, так как их средние значения пренебрежимо мало отклоняются от средних математических ожиданий.

Таким образом, на вероятностные величины распространяется следующий принцип детерминированности: отдельная случайная величина, уподобленная «мелкой букашке», может совершать хаотические блуждания, но если число этих величин будет достаточно большим, движение совокупности «букашек» станет почти определенным и образует средние показатели поведения толпы.

13.20.3. Центральные предельные теоремы. Теорема и неравенство Ляпунова

Установленные в п. 13.20.2 связи между последовательностями случайных величин и их математическими ожиданиями в первую очередь относятся кдискретным ансамблям. Предельные зависимости, представимые дискретными ансамблями, имеют характер асимптотических приближений. Если рассмотреть случайные величины с непрерывными законами распределения, то последовательности независимых случайных величин при определенных условиях также обнаруживают тенденцию к образованию предельных зависимостей.

В классическом варианте рассматривают последовательность Xv Х2,Хп непрерывных независимых случайных величин с ограниченными математическими ожиданиями М[ZJ, М[Х2],М[Хп] и дисперсиями DI^Tj], D[X2],D[X^. Для этих величин составляют нормированные переменные

366 1=1 1=1

с функцией распределения ^и(х) = P{Zn < х).

Очевидно, переменные Zn имеют нулевые математические ожидания и единичные дисперсии.

Функции распределения Fn(x) сравнивают со стандартной функцией нормального распределения Фх(х) случайной величины X.

у х

фі(х) -є= J е 2

имеющей нулевое математическое ожидание и единичную дисперсию.

Существует центральная предельная теорема, утверждающая, что при некоторых условиях для любого Xобеспечивается сходимость по вероятности функции FJx) к функции Ф^х):

F„(x) —> Фх(х) при и —>

Это утверждение равносильно требованию: для любых (ос, Р)

Р(ос < Z„ < р) = Р(Л + < Sn < Л + р^) -> Фх(р) Ф^сс)

ПРИ « —> оо.

Здесь

д, = Ім[х,], дя = хад л-„ = І^.

1=1 1=1 1=1

Формулировка центральной предельной теоремы основывается на неравенствах А. М. Ляпунова. Предельная непрерывная зависимость имеет более сложный характер, чем последовательность дискретных величин, поэтому требуется совершить переход от схемы последовательности величин к схеме подпоследовательностей величин, именуемых сериями. Указанные серии задаются следующим образом:

хп,\>хп,г> ->хп,п>

І",

X _Xk~M[Xk k_. 2

Лп,к ~ Г£- ' К-I,П.

367

Тогда случайные величины внутри каждой серии независимы и

Ln = ^2^M\Xk-M[Xkf

гп=хпл+хпа + -+хп,п-Условие предельной сходимости по Ляпунову задается в форме

< є (13.5)

к=

для любого Є > О И П -> оо.

Это означает, что приведенный момент третьего порядка должен быть пренебрежимо малым при достаточно больших п.

Из данного условия вытекает неравенство Ляпунова, которое имеет вид

* ^ ЛЫ >є) \% ян* Ахк щх^\> еЛ) ке(1,2 и) 41 1 ' ке(1,2,...,и) 4 '

max , М

Xk-M[Xkf

< I„ -> О (13.6)

ПРИ ЛЮбОМ Є > О И П —> оо.

Стремление к нулю величины

^/W>eMW>e)

ks(l,2 и)

означает асимптотическую пренебрежимость образующих серии случайных величин.

Теорема Ляпунова. Пусть дана произвольная схема серий XnVXn2, Хп к,Хп п асимптотически пренебрегаемых и независимых внутри каждой серии величин. Тогда, если предельное распределение для сумм Хп j + Хп 2 + ... + Хп п = Zn существует и не является вырожденным (ранг матрицы ковариаций равен п), оно будет нормальным тогда и только тогда, когда

max Р(х„к\>є) = p(xnk І > є)-> О

*є(1,2 л) v "Л| / І "'"«І /

длялюбого є > О и п -> °о.

При отказе от условий асимптотической пренебрежимости величин в приведенной схеме серий положение с предельным приближением законов существенно усложняется.

Экспертный анализ совокупностей множественных серий обнаруживает, что значительная часть составляющих этих серий пре368 небрежимо мала по сравнению со всей суммой, представленной в серии. В случае если в каждой серии максимальное слагаемое становится пренебрежимо малым по сравнению со всей суммой, всю совокупность серий можно представить нормальным законом.

Существование нормального закона основывается на экстремальных свойствах серийных представлений, в силу чего большая совокупность случайных величин, сохраняющих независимость в разных сериях, обладает предрасположенностью к формированию нормальных распределений.

Итак, нормальный закон распределения является предельным приближением для больших совокупностей случайных непрерывных величин, обладающих независимыми сериями и наделенных свойством пренебрежимой малости каждой составляющей по отношению ко всей сумме величин, представленных в серии.

Механизм центрального (нормального) предельного приближения существенно дополняет механизм предельного асимптотического дискретного приближения и в некотором смысле является его противоположностью.

13.20.4. Общее сравнение предельных законов дискретных и непрерывных величин. Усиленный закон больших чисел

Предельные асимптотические теоремы раскрывают механизм неуклонного приближения совокупностей случайных величин к почти определенным закономерностям.

Асимптотические стремления дискретных и непрерывных величин принципиально различаются по своему характеру. Это обусловлено тем обстоятельством, что последовательность случайных дискретных величин задает закон их распределения, в то время как каждая отдельная случайная непрерывная величина сама порождает свой закон распределения. Поэтому последовательность непрерывных величин есть по существу последовательность законов распределения.

Таким образом, в пространстве дискретных случайных величин устанавливается предельный закон, выражающий асимптотическое сближение двух средних — последовательности независимых случайных величин и подпоследовательности их математических ожиданий.

369

В пространстве непрерывных случайных величин возникает обратный процесс: создается асимптотическое сближение предельных нормированных законов, представленных средними значениями подмножественных серий независимых величин и нормального закона. Отклонения от нормального закона должны быть пренебрежимо малы по сравнению со всей совокупностью оценок, так как максимальные отклонения обладают достаточной малостью.

Данные асимптотические оценки распространяются не на все члены предельной совокупности, так как предельная сходимость является сходимостью по вероятности.

Для того чтобы усилить контроль за предельным стремлением элементов последовательности случайных величин, был сформулирован усиленный закон больших чисел, задающий более жесткие требования вероятностной сходимости.

Усиленный закон больших чисел (Б.ч.у.з.): Пусть дана последовательность случайных величин Xv Х2, Хп и Sn = Хх + Х2 + ... +Хп =

п

= X,. Говорят, что последовательность {Хп} удовлетворяет Б. ч.у.з., если существует последовательность постоянных {Ап} такая, что

При ЛЮбоМ Є > О U П -» оо

< є,

'и+1

И + 1

:+1

-А

< Є,...

->1.

(13.7)

Таким образом, в Б.ч.у.з. контролируется поведение всей последовательности сумм в целом, начиная с некоторого номера, в то время как в обычном законе больших чисел речь идет об отдельных суммах.

Вполне очевидно, что если некоторая последовательность {Хп} удовлетворяет Б.ч.у.з., то она удовлетворяет и обычному закону больших чисел с теми же самыми постоянными А. т.е.

ПРИ ЛЮбоМ Є > О И И -> оо.

Обратное утверждение может оказаться неверным.

370

Например, если случайные величины независимы и принимают значения

л | и

и |1п(1п(1пи)) 1п(1п(1пи))

с вероятностью 0,5 каждое, то для них выполняется закон больших чисел с Ап = 0, но не выполняется Б.ч.у.з. при любом выборе Ап.

Сходимость элементов последовательности в Б.ч.у.з. именуется сходимостью с вероятностью 1, в то время как обычная сходимость случайных величин относится к сходимости по вероятности. Сходимость по вероятности, как следует из приведенного примера, является более слабой, чем сходимость с вероятностью 1. Тем не менее для последовательностей из независимых случайных величин оба вида сходимости равносильны. Б.ч.у.з. был впервые сформулирован и доказан Ф.Э. Борелем для схемы Бернулли.

Частный случай схемы Бернулли возникает при разложении взятого наудачу действительного числа We (0; 1) в бесконечную сумму с двоичным основанием (схема испытаний Бернулли):

л=1 Z

Последовательные знаки Xn(W) принимают значения 0 и 1 с вероятностью 0,5 и являются независимыми величинами. Сумма

л

Sn(W) = ^Xk(W) равна числу единиц в данном разложении,

к=1

a Sn(W)/n — их доле (частоте). Борель показал, что доля единиц SJn стремится к 0,5 почти для всех Wva промежутка (0; 1), если