第1章：马尔科夫过程基础理论

学习目标：

1. 理解马尔科夫过程的基本概念和数学定义
2. 掌握马尔科夫性质的数学表达
3. 理解状态空间和转移概率的概念
4. 掌握马尔科夫链的分类

简要说明：介绍马尔科夫过程的基本概念，包括无记忆性、状态转移和概率分布等核心理论基础。

第2章：离散时间马尔科夫链

学习目标：

1. 掌握离散时间马尔科夫链的数学模型
2. 理解转移矩阵的性质和计算
3. 学会计算n步转移概率
4. 理解初始分布和平稳分布