13.19. марковские случайные процессы. марковская цепь

13.19. марковские случайные процессы. марковская цепь

Частным видом случайных функций являются марковские случайные процессы.

Случайный процесс, протекающий в системе S, называется марковским процессом (процессом без последействий), если он обладает следующим свойством: для каждого момента времени t0 вероятность любого состояния системы в будущем (при t > t0) зависит только от ее состояния в настоящем S(t0) и не зависит от того, когда и каким образом система перешла в это состояние.

Состояния системы могут изменяться либо дискретно, либо непрерывно.

Случайный марковский процесс называется процессом с дискретными состояниями, если возможные состояния системы Sv S2, —,Sn можно пронумеровать, а сам процесс состоит в том, что время от времени система S скачком (мгновенно) переходит из одного состояния в другое. Таким процессом описывается работа любого устройства, которое может находиться в двух состояниях: Б, — система работает, S2 — система вышла из строя.

Случайный марковский процесс называется процессом с непрерывными состояниями, если эти состояния меняются непрерывно, постепенно. Примером такого процесса является движение самолета, автомашины.

В системе с дискретными состояниями переход из состояния в состояние может происходить в определенные, фиксированные либо случайные моменты времени.

Случайный марковский процесс называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени tv t2,.... В промежутках между этими моментами система S сохраняет свое состояние.

Случайный марковский процесс называется процессом с непрерывным временем, если переход системы из состояния в состояние

362

возможен в любой заранее не известный случайный момент времени.

Так как для марковского процесса с дискретными состояниями и дискретным временем моменты времени tv t2,tk,... фиксированы, то процесс можно рассматривать как функцию целочисленного аргумента к (к = 1, 2,...) — нбмера шага. В этом случае переходы системы из состояния в состояние представляют собой последовательность (цепочку) событий или состояний S^l S[2 s!f S^5 ... . (Число в скобках означает номер шага, нижний индекс — номер состояния.)

Случайная последовательность событий в фиксированные моменты времени называется дискретной марковской цепью.

Если переход системы из состояния в состояние происходит в случайные моменты времени, то соответствующая цепочка состояний называется непрерывной цепью Маркова.

При анализе случайных процессов с дискретными состояниями используют графы состояний. Граф состояний геометрически изображает возможные состояния системы и ее возможные переходы из состояния в состояние.

Важное место в исследовании экономических систем занимает процесс гибели и размножения.