13.19. марковские случайные процессы. марковская цепь

13.19. марковские случайные процессы. марковская цепь

Частным видом случайных функций являются марковские случайные процессы.

Случайный процесс, протекающий в системе S, называется марковским процессом (процессом без последействий), если он обладает следующим свойством: для каждого момента времени tQ вероятность любого состояния системы в будущем (при t>t0) зависит только от ее состояния в настоящем 5(/0) и не зависит от того, когда и каким образом система перешла в это состояние.

Состояния системы могут изменяться либо дискретно, либо непрерывно.

Случайный марковский процесс называется процессом с дискретными состояниями, если возможные состояния системы Slt S2,.... Sn можно пронумеровать, а сам процесс состоит в том, что время от времени система S скачком (мгновенно) переходит из одного состояния в другое. Примером такого процесса является процесс, протекающий в техническом устройстве. Можно, например, представить два состояния такой системы: S1 — система работает, Sz — система вышла из строя.

Случайный марковский процесс называется процессом с непрерывными состояниями, если эти состояния меняются непрерывно, постепенно. Примером такого процесса является процесс движения самолета, автомашины.

В системе с дискретными состояниями переход от состояния в состояние может происходить в определенные, фиксированные моменты времени либо в случайные моменты.

Случайный марковский процесс называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени tL, t2,.... В промежутки времени между этими моментами система S сохраняет свое состояние.

Случайный марковский процесс называется процессом с непрерывным временем, если переход системы из состояния в состояние возможен в любой заранее не известный случайный момент времени.

Так как для марковского процесса с дискретными состояниями и дискретным временем времена /х, t2,.... tk, ... фиксированы, то процесс можно рассматривать как функцию целочисленного аргумента к (к= 1, 2,...) — номера шага. В этом случае переходы системы из состояния в состояние представляют собой последовательность (цепочку) событий или состояний S[,], 5 f!, 533), S^, S2^, .... Число в скобках означает номер шага, нижний индекс — номер состояния.

Случайная последовательность событий с фиксированным шагом называется дискретной марковской цепью, если для каждого шага вероятность перехода из любого состояния S, в любое другое состояние Sj не зависит от того, когда и как система перешла в состояние St.

Если переход системы из состояния в состояние происходит в случайные моменты времени, то соответствующая цепочка состояний называется непрерывной цепью Маркова.

При анализе случайных процессов с дискретными состояниями используют графы состояний. Граф состояний геометрически изображает возможные состояния системы и ее возможные

переходы из состояния в состояние.

Рис. 13.2

Важное место в исследовании экономических систем занимает процесс гибели и размножения.

Марковская непрерывная цепь называется процессом гибели и размножения, если ее граф состояний представляет собой цепочку, в которой каждое из промежуточных состояний связано прямой и обратной связью с каждым соседним состоянием (рис.

13.2).