Lecture 11 Deep Reinforcement Learning 学习笔记

Lecture 11 Deep Reinforcement Learning 学习笔记

0. 本章核心目标与“进化树”

本章要解决的核心问题是：

给定一个 agent，它不能直接获得标准监督学习中的标签 ((x_i, y_i))，而是必须通过与环境交互获得经验 ((s,a,r,s’))，如何学习一个策略 ，使长期累计奖励最大？

整章的技术演进可以概括为：

监督学习/无监督学习
 ↓
强化学习问题：数据由 agent 自己交互产生
 ↓
MDP：如果知道环境模型 P(s'|s,a), r(s,a)，可做 planning
 ↓
Value Iteration：用 Bellman optimality equation 求 V* 或 Q*
 ↓
Model-free RL：不知道 P 和 r，只能用样本 (s,a,r,s')
 ↓
Tabular Q-learning / SARSA
 ↓
状态空间太大：不能用表格
 ↓
DQN：用神经网络近似 Q(s,a;θ)
 ↓
DQN 不稳定：moving target + correlated samples + overestimation
 ↓
Target Network + Experience Replay + Double DQN + PER
 ↓
Value-based 间接学策略仍有局限
 ↓
Policy Gradient：直接优化 πθ(a|s)
 ↓
REINFORCE 高方差
 ↓
Baseline / Causality / Actor-Critic
 ↓
A3C / PPO / SAC
 ↓
现代趋势：结合 value-based 与 policy-based 的优点

—

1. Reinforcement Learning 的基本思想

1.1 与监督/无监督学习的区别【必考】

监督学习的数据形式是：

模型学习从输入 (x_i) 到标签 (y_i) 的映射。

无监督学习的数据形式是：

目标是理解、生成或操作无标签数据。

强化学习的数据形式是：

其中：

关键区别是：监督/无监督学习的数据通常是预先收集好的，而 RL 的数据由 agent 自己与环境交互产生。因此 RL 是一种 active learning。

—

1.2 Cat-Mouse-Cheese 例子【重要】

课件用猫、老鼠、奶酪的迷宫说明 RL：

老鼠的动作空间：

奖励规则：

目标不是让老鼠预测标签，而是让它学会在每个状态下采取正确动作。

策略定义为：

其中：

这个例子强调：RL 学的是行为策略，而不是输入到标签的静态映射。

—

2. Markov Decision Process, MDP

2.1 MDP 的定义【必考】

MDP 是 agent 与环境交互的数学模型。一个 MDP 包含：

其中：

表示在当前状态 (s) 执行动作 (a) 后，下一个状态为 (s’) 的概率。

表示从 (s) 执行动作 (a) 转移到 (s’) 时获得的 reward。

如果只关心在 (s) 执行 (a) 后的期望即时奖励，可以定义：

这里：

逻辑直觉：如果环境转移是随机的，那么同一个动作可能导致不同 (s’)，所以 reward 也可能不同。(r(s,a)) 就是“平均意义上采取动作 (a) 的即时收益”。

—

2.2 Markov 性质【必考】

MDP 的核心假设是 Markov property：

也就是说，未来只依赖当前状态和当前动作，不依赖更早的历史。

这个假设非常关键，因为它允许我们用 (V(s))、(Q(s,a)) 这种局部函数描述长期收益，而不必记录整个历史轨迹。

—

2.3 Trajectory 与 Discounted Return【必考】

在策略 下，agent 与环境交互产生轨迹：

如果初始状态是 (s_0)，策略为 ，则 discounted total reward 为：

也可写为：

其中：

物理/逻辑意义：

控制 agent 对未来奖励的重视程度。

当 接近 0 时，agent 近视，只关心眼前 reward。

当 接近 1 时，agent 更重视长期规划。

—

3. Value Function 与 Optimal Policy

3.1 Policy Value Function【必考】

由于环境可能随机，同一个策略从同一个状态开始可能产生不同 return。因此定义期望 return：

其中：

直觉： 衡量“状态 (s) 在策略 下有多好”。

—

3.2 Optimal Policy 与 Optimal Value Function【必考】

最优策略 满足：

最优状态价值函数定义为：

其中：

—

4. Planning vs Reinforcement Learning

4.1 Planning【必考】

如果知道环境模型：

则可以直接求：

这叫 planning。

4.2 Reinforcement Learning【必考】

如果不知道环境模型，只能收集经验：

这叫 reinforcement learning。

对比：

| 方法 | 已知信息 | 学习对象 | 典型方法 | 局限 | | | ——– | ————— | —————————- | ——————— | ————— | ——– | | Planning | (P(s’ | s,a), r(s,a)) | (), (), () | Value Iteration | 需要完整环境模型 | | RL | 样本 ((s,a,r,s’)) | (), (), () | Q-learning, DQN, PG | 样本效率、稳定性、探索问题 | |

—

5. Value Iteration

5.1 从 MDP 到最优策略【必考】

Planning 分两步：

核心是 Bellman optimality backup。

—

5.2 Value Iteration 公式【必考】

初始化：

重复更新：

直到：

其中：

逻辑直觉：

当前状态 (s) 的价值等于：立刻获得的 reward，加上下一个状态的 discounted value，并选择最好的动作。

—

5.3 Bellman Operator 的收缩性【必考】

Value Iteration 能收敛，因为 Bellman operator 是 contraction：

由于：

误差会逐步缩小，因此无论 () 如何初始化，最终都收敛到 ()。

—

5.4 Bellman Optimality Equation【必考】

当 () 时，Value Iteration 一步后不再改变：

这就是 Bellman optimality equation。

—

5.5 Optimal Q-function【必考】

定义最优动作价值函数：

其中：

由 () 得到最优策略：

并且：

—

5.6 直接对 Q 做 Value Iteration【重要】

可以直接迭代 (Q)：

收敛到：

贪心策略：

课件强调： 会在有限步内稳定到 。

—

6. Q-learning：从 Planning 到 Model-free RL

6.1 为什么需要 Q-learning【必考】

Value Iteration 需要知道：

但现实中常常不知道环境模型，只能采样经验：

Q-learning 的目标是：

然后：

—

6.2 从 Bellman Update 到 TD Target【必考】

Value Iteration 的 Q 更新是：

如果可以采样多个下一状态：

则近似为：

如果只有一个样本：

则：

右侧称为 TD target：

TD target 是 Bellman update 的无偏估计，但方差较高。

—

6.3 Q-learning 更新公式【必考】

因为单样本 TD target 方差高，所以不直接替换 (Q(s,a))，而是做 soft update：

等价于：

其中：

定义 TD error：

则更新为：

直觉：如果 TD target 比当前 (Q(s,a)) 大，就提高估计；如果更小，就降低估计。

—

6.4 Q-learning 算法【必考】

Initialize Q(s,a) arbitrarily

For each episode:
 Pick in itial state s
 Repeat:
 Choose action a using ε-greed y policy
 Take action a, observe r and s'
 Q(s,a) ← Q(s,a) + α[r + γ max_a' Q(s',a') - Q(s,a)]
 s ← s'
 until s is ter minal

收敛条件：

如果每个 ((s,a)) pair 被更新无限多次，则 Q-learning 收敛到 ()。

—

7. Exploration vs Exploitation

7.1 探索与利用的矛盾【必考】

Exploration：

尝试新的状态/动作，以获得更多经验。

缺点：短期 reward 可能不高。

Exploitation：

利用已有 (Q) 估计，选择当前看起来最好的动作。

缺点：可能错过更优策略。

—

7.2 (epsilon)-greed y policy【必考】

其中：

直觉：大部分时候利用当前知识，小部分时候随机探索，确保足够多的 ((s,a)) 被访问。

—

8. Ter minal State 与 Episode

8.1 Ter minal/Absorbing State【重要】

Ter minal state 是进入后无法离开的状态，例如 Game Over。

Episode 是从初始状态到 ter minal state 的完整过程。

在 episodic RL 中，训练通常是一局一局进行的。

—

9. On-policy vs Off-policy

9.1 定义【必考】

On-policy：

学习的是当前正在执行的策略的 value。

Off-policy：

执行策略和学习目标策略可以不同。

—

9.2 Q-learning 是 off-policy【必考】

Q-learning 更新使用：

这个 表示假设下一步采用 greed y action：

但实际执行动作可能来自 -greed y，不一定是 greed y action。

所以 Q-learning 学的是 greed y policy 的 value，但行为策略是 -greed y，因此是 off-policy。

—

9.3 SARSA 是 on-policy【必考】

SARSA 更新：

其中 (a’) 是 agent 在 (s’) 下按照当前策略实际选择的动作。

因此 SARSA 学的是当前行为策略本身的 value，是 on-policy。

对比：

| 算法 | 更新目标 | 是否 on-policy | 核心区别 | | ———- | ————————— | ———— | —————— | | Q-learning | () | Off-policy | 用 greed y action 更新 | | SARSA | (r+gamma Q(s’,a’)) | On-policy | 用实际采样的下一动作更新 |

—

10. Deep Q-Network, DQN

10.1 为什么需要 DQN【必考】

Tabular Q-learning 需要维护表：

但当状态空间巨大时不可行。

例如 Atari 图像状态：

每个 pixel 有 128 种可能颜色，则状态数极其巨大。

因此不能枚举所有状态，也不能为未访问状态直接查表。

DQN 用神经网络近似：

其中：

神经网络将状态 (s) 映射到每个动作的 Q-value。

—

10.2 DQN 的学习目标【必考】

目标是让：

接近 TD target：

损失函数：

代入 TD target：

梯度下降更新：

问题：target 本身也依赖 ，所以 一更新，target 也变。这叫 moving target。

—

11. Target Network

11.1 Moving Target 问题【必考】

DQN 的 TD target 是：

但 (Q) 的参数也是 ，所以目标随着模型参数变化而变化。

这会导致训练不稳定：模型一边追目标，目标一边移动。

—

11.2 Target Network 解决方案【必考】

引入目标网络参数：

TD target 改为：

更新主网络：

每隔 (C) 步同步一次：

直觉：用较慢更新的 target network 提供更稳定的 TD target。

—

12. Experience Replay

12.1 为什么需要 Experience Replay【必考】

如果 DQN 每次只用最新 transition 更新，则存在三个问题：

第一，样本利用率低。每个样本只用一次。

第二，相邻 transition 高度相关，导致梯度方差大。

第三，每次更新只来自一个局部状态，收敛慢。

—

12.2 Replay Buffer【必考】

维护经验池：

每次交互后存入 transition：

训练时随机采样 minibatch：