马尔科夫过程:用分布函数来表示马尔科夫性,设随机过程 的状态空间为 [5]。如果对时间 的任意 个数值 , , ,在条件 下, 的条件分布函数恰等于在条件 下 的条件分布函数,[5]即
 
于是称此过程 具有马尔科夫性或无后效性,此过程为马尔科夫过程[5]。
2.2 马尔科夫链
   设随机过程 的状态空间为: ,若对任意的 ,及  有
 
则称 为离散时间、离散状态的马尔科夫过程,简称马尔科夫链[6]。
2.3 转移概率和转移概率矩阵
现在记链的状态空间 。用条件分布律来表示马尔科夫性,即对任意的正整数 , 和 ,有
 
即有条件概率
 
为马尔科夫链在时刻 处于状态 条件下,在时刻 转移到状态 的转移概率。
由于链在时刻 从任何一个状态 出发,到另一时刻 ,必然转移到 状态中的某一个,所以
 ,其中 =1,2, …。
当转移概率 只与 及时间间距 有关时,我们称转移概率具有平稳性。在此情况下转移概率
上一篇:利用不动点定理证明欧拉方程组局部经典解的存在性
下一篇:插值在求解结构动力响应中的应用

不确定环境下供应链的生...

齐次马尔科夫过程在金融保险方面的应用

隐马尔可夫链的应用研究

马尔科夫链在经济生活中的应用

连续时间马尔可夫链的性质及应用

股票大盘指数马尔可夫预测法

马尔科夫链Markov链的理论及应用

压疮高危人群的标准化中...

STC89C52单片机NRF24L01的无线病房呼叫系统设计

从政策角度谈黑龙江對俄...

浅论职工思想政治工作茬...

上海居民的社会参与研究

AES算法GPU协处理下分组加...

基于Joomla平台的计算机学院网站设计与开发

酵母菌发酵生产天然香料...

浅谈高校行政管理人员的...

提高教育质量,构建大學生...