版权归原作者所有,如有侵权,请联系我们

[科普中国]-转移概率

科学百科
原创
科学百科为用户提供权威科普内容,打造知识科普阵地
收藏

定义

给定马氏链于某时刻处于一状态,再经若干时间将到达另一状态的条件概率。设{Xn,n≥0}为离散时间马尔可夫链。对任何m≥0,n≥1,i,j∈E,令

(m,m+n)=P {Xm+n=j|Xm=i}

称pij(m,m+n) 为链于m时在i,再经n步转移到j的转移概率,简称n步转移概率。特别,一步转移概率为pij(m,m+1)。如果以pij(m,m+n) 作为矩阵P (m,m+n)的第i行第j列元素,则P (m,m+n)称为马氏链的n步转移阵。当E的有限集时,它是一个普遍方阵; 当E为可列无穷集时,它是一个有可列无穷多个行及列的矩阵。

转移概率有如下基本性质:

对一切m,n,i,j有pij(m,m+n) ≥0;

2. 对一切m,n, i有 pij(m, m+n)=11。

一步转移概率对于马氏链,描述其概率性质的最重要的概念是它在时刻m的一步转移概率2.

1)定义 称条件概率P{X(m+1)=j∣X(m)=i}(i,j∈I,I为状态空间)为马氏链{X(n),n≥o}在时刻m从状态i到状态j的一步转移概率,记为

Pij(m),即有

2)转移概率矩阵和随机矩阵

定义 若I={0,1,2,......},称矩阵

为转移概率矩阵。

一步转移概率Pij(m)表示在时刻m及X(m)取值i的条件下,在下一时刻

m+l,X(m+1)取值转移到j的概率.

显然,Pij(m)满足以下两个性质:

①o≤Pij(m)≤l,i∈I.

Pij(m)≤l,i∈I.

转移概率矩阵P(m)是一个具有非负元素的方阵,并且其各行元素之和都等

于1.凡是满足上述两个条件的矩阵,统称为随机矩阵或马尔可夫矩阵.

k步转移概率一般地,还可以定义时刻m的k步转移概率2.

定义:条件概率

称为马氏链{X(n)}在时刻m的k步转移概率。称矩阵

为k步转移概率矩阵。

k步转移概率 (m)表示在时刻m及X(m)处于状态i的条件下,经过k(k≥1)步到达状态j的转移概率.显然 (m)也是一个随机矩阵.

当k=1时,有 (m)= (m), (m)=P(m).

通常规定

应用举例例1 在只传输数字0和1的串联系统中(一般称0-1传输系统),设每一级的传真率(输出与输人数字相同的概率称为系统的传真率,相反情况称为误码率)为p,误码率为q=1一p,并设一个单位传输一级: 是第一级的输入, 是第n级的输出(n≥1),那么{ ,n=0,1.2,…)是一个随机过程,状态空间I={0,1},且当 =i(i∈I为已知时, 所处状态的概率分布只与 =i有关,而与时刻n以前所处的状态无关,所以它是一个马氏链,它的一步转移概率和一步转移概率矩阵分别为2

例2 带一维不可越壁的随机游动和带吸收壁的随机游动,设线段[1,5]上有一个质点,假定它只能停留在1,2,3,4,5点,并且只能在t₁,t₂,…时刻发生随机移动.移动规则是:移动前若在2,3,4点,则均以1/3的概率向左或向右移动一格或停留原处;若移动前在l点上,则以概率1移到2点;若移动前在5点上,则以概率1移到4点.以X(n)=i(i=1,2,3,4,5)表示质点在时刻 位于i点,则质点位置{X(n)}是一个马氏链,状态空间I={1,2,3,4,5).其转移概率如图所示2.

转移概率矩阵为

注意:状态空间有多大,其转移概率矩阵的阶数就有多大.在本例游动问题中,质点不能越过1和5点,称为带一维不可越壁的随机游动.改变游动的概率法则(即转移概率),就有不同类型的随机游动过程.

例如,在上述的随机游动中,质点一旦到达1或5就不动了,而其余的游动规则不变,则称为带吸收壁的随机游动.它也是一个马氏链,其转移概率矩阵为

其第1行是(1,0,0,0,0),第5行是(0,0,0,0,1),这是吸收壁的特征.对于具有吸收壁的随机游动,当质点处于吸收壁时,称过程处于吸收状态,而称其余状态过程处于非吸收状态.

注意:i为吸收状态,当且仅当对于任意n,有Pij(n)=1.

例3 (排队模型)设服务系统由一个服务员和只可以容纳2个人的等待室组成,服务规则是先到先服务(FCFS),后来者需在等待室依次排队,假定一个需要服务的顾客到达系统时发现系统内已有3个顾客(一个正在接受服务,二个在等候室排队),则该顾客即离去(损失制).设时间间隔Δt有一个顾客进入系统的概率为q,一个原来被服务的顾客离开系统(即服务完毕)的概率为p,又设当Δt充分小时,在这段时间间隔内多于一个顾客进入或离开系统实际上是不可能的,再设有无顾客来到与服务是否完毕是相互独立的,现用马氏链来描述这个服务系统.

=X(nΔt)表示时刻nΔtt时系统内的顾客数即系统的状态,{ ,n=0,1,2,…)是一随机过程,状态空间I={0,1,2,3},仿前分析,它是一个马氏链.现计算此马氏链的一步转移概率2.

为在系统内没有顾客的条件下,经△t后仍没有顾客的概率(此处是条件概率,以下同), =1一q.

为系统内没有顾客的条件下,经△t以后进入一个顾客的概率, =q.

为系统内恰有一个顾客正在接受服务的条件下,经△t后系统内无人的概率,它等于在△t间隔内顾客因服务完毕而离去,且无人进入系统的概率, =p(1一q).

为系统内恰有一个顾客的条件下,在△t间隔内因服务完毕而离去,而另一个顾客进入系统;或者正在接受服务的顾客继续要求服务,且无人进入系统的概率, =pq+(1-p)(1-q).

为正在接受服务的顾客继续要求服务,且△t间隔内另一个顾客进入系统的概率, =(1一p)q.

为正在接受服务的顾客继续要求服务,且在△t间隔内有2个顾客进入系统的概率,由假设可知,后者实际上是不可能发生的,故有 =0.

类似地,有

= =p(1一q),

=pq+(1一p)(1一q),

=q(1一p), =0(|i﹣j∣≥2).

为一个顾客因服务完毕离去且另一个顾客进入系统,或者无人离开系统的概率, =pq+(1一p).

于是该马氏链的一步转移概率矩阵为2