视频字幕
今天我们来对比三种重要的随机过程：离散时间马尔可夫链、泊松过程和连续时间马尔可夫链。这三种过程都具有马尔可夫性质，即未来状态只依赖于当前状态，与过去无关。图中红色表示离散时间马尔可夫链，在离散时间点发生状态跳跃；蓝色表示泊松过程，事件在连续时间轴上随机发生；绿色表示连续时间马尔可夫链，状态在连续时间上保持一段时间后跳跃。
离散时间马尔可夫链是在离散时间点上演化的随机过程。它的特点是状态转移只在特定的时间点发生，比如t等于0、1、2等整数时刻。状态空间通常是离散的有限集合。转移过程由转移概率矩阵P决定，矩阵中的每个元素表示从一个状态转移到另一个状态的概率。最重要的是马尔可夫性质：下一时刻的状态只依赖于当前状态，与历史状态无关。
泊松过程是描述随机事件在连续时间内发生次数的计数过程。它的状态空间是非负整数集合，表示到时刻t为止事件发生的总次数。泊松过程有几个重要特性：事件发生的时间间隔服从指数分布，具有独立增量性和平稳增量性。强度参数λ表示单位时间内事件发生的平均次数。图中显示了一个典型的泊松过程轨道，红点表示事件发生时刻，蓝色阶梯函数表示累计事件数随时间的变化。
连续时间马尔可夫链是在连续时间轴上演化的随机过程，状态空间通常是离散的。与离散时间马尔可夫链不同，CTMC的关键特征是在每个状态的驻留时间服从指数分布。过程由转移速率矩阵Q描述，其中对角元素为负值，表示离开当前状态的总速率。图中显示了一个两状态的CTMC，过程在状态A和状态B之间跳跃，每次驻留时间都是随机的指数分布。这种模型广泛应用于排队论、可靠性分析等领域。
总结三种随机过程的联系与对比。它们的共同点是都具有马尔可夫性质，即未来状态只依赖于当前状态。主要区别在于：时间维度上，DTMC是离散的，而泊松过程和CTMC都是连续的；状态转移机制上，DTMC使用转移概率矩阵，CTMC使用转移速率矩阵。重要的联系是：泊松过程实际上是CTMC的一个特例，只能从状态n跳转到n+1；而CTMC的嵌入马尔可夫链，即只考虑跳转时刻的状态序列，构成一个DTMC。这三种过程在概率论、统计学和应用数学中都有重要地位。