常返狀態
常返狀態
在馬爾可夫鏈的每一步，系統根據概率分佈，可以從一個狀態變到另一個狀態，也可以保持當前狀態。根據狀態轉移的不同特性，可以把馬爾科夫鏈的狀態分為常返狀態和非常返狀態。馬爾可夫鏈的具有無窮多次返回特性的狀態就稱為常返狀態。
對於狀態，如果，則稱狀態為常返狀態（返回狀態）；如果，則稱狀態為非常返態（滑過態）。
註：“常返”一詞，有時又稱“返回”、“常駐”或“持久”；
“非常返”也稱“滑過”或“瞬時”。
常返狀態分為正常返狀態和零常返狀態。
令條件數學期望：
是從狀態出發，首次到達狀態的平均轉移步數（時間）。
註：若，則 是從狀態出發，首次返回狀態的平均轉移步數，成為狀態的平均返回時間；對應的稱為狀態的返回概率；稱為從狀態出發經過n步轉移首次返回狀態的概率。
正常返態和零常返態的定義：對於常返態，若，則稱狀態 是正常返的；否則，若，則稱狀態是零常返的。
定理：是常返態的充要條件是。狀態是非常返（ ）的。
（1）若 ，則系統以概率1無窮次返回狀態；若 ，則系統以概率1隻有有窮次返回狀態。
（2）設是常返態，則
① 是零常返態的充要條件是；
② 是正常返態的充要條件是。
（3）一個狀態有限的馬爾科夫鏈，不可能所有狀態都為非常返態。
