马尔可夫过程_srtp论文(3)

数学建模,马尔科夫链,论文

以预测下一时刻的状态。显然有以下性质：

Pij(k) 0, i,j E

P(k) 1, i E

ijj E

2.3 齐次马尔可夫链的遍历性和平稳分布

设齐次马尔可夫链 X n ,n 1 的状态空间为E=(a1,a2, ,aN)，若对所有的i,j 属于E，存在不依赖i的常数 j,为其转移概率Pij在ｎ趋于 的极限，即

n

n

limPij

n

j i,j E

p12p22..p....

........

p1. 1 2

p2.. 2 n 1 ..

p.. 1 2

其相应的转移矩阵有

p11

p 21 .. p..

p n

.

. .

则称齐次马尔可夫链具有遍历性，并称 j为状态ｊ的稳态概率。

齐次马尔可夫链的平稳分布的严格数学定义：设 X n ,n 1 是一个齐次马尔可

夫链。，若存在实数集合 rj,j E ，满足

①rj 0,j E ② rj 1

j E

③rj

rP,j E

iiji E

则称 X n ,n 1 为平稳齐次马尔可夫链， rj,j E 是该过程的一个平稳分布。

2.4 C K方程

设 X n ,n 0,1.... 为马尔可夫链，状态空间Ｅ＝（a1,a2, ,aN），则ｎ步转移概率满足下述等式：

Pij(r)＝ Pik

k E

n m

n m r pkj r m ,i,j E,i m n

这个等式就叫C K方程

对应的n步转移矩阵为

p n r p m r p n m r m