简述什么是马尔科链

马尔科链

一个系统有N个状态，随着时间的推移，系统从某一状态转移到另一个状态，设为时间t的状态，系统在时间t处于状态的概率取决于其在时间1，2，…，t-1的状态，概率为：

如果系统在时间tt时刻的状态只与其在t−1

t−1时刻的状态有关，则该系统构成一个离散的一阶马尔科夫链（马尔科夫过程）：

如果只考虑独立于时间t的随机过程：。