强化学习

## 笔记思路 ```mermaid graph TD; A[直观认识] -->|Q-Learning、PPO| B[数学推导]; B --> C{符合工程}; C -->|是| D[直接接受]; C -->|否| E[长期思考]; E --> F[迭代笔记]; ``` ## 什么是强化学习所谓强化学习(Reinforcement Learning，简称RL)，是指基于智能体在复杂、不确定的环境中最大化它能获得的奖励，从而达到自主决策的目的。经典的强化学习模型可以总结为下图的形式（你可以理解为任何强化学习都包含这几个基本部分：智能体、行为、环境、状态、奖励）： ![picture 2](https://aizero.oss-cn-shanghai.aliyuncs.com/images/202504/779747c0250bfb602eef589794739c0fb0f66a3164456407c3732bbac3c1267e.png) #### **关键要素** 1. **Agent**：一般译为智能体，就是我们要训练的模型，类似玩超级玛丽的时候操纵马里奥做出相应的动作，而这个马里奥就是Agent 2. **action**：(简记为$a$)，玩超级玛丽的时候你会控制马里奥做三个动作，即向左走、向右走和向上跳，而马里奥做的这三个动作就是action 3. **Environment**：即环境，它是提供reward的某个对象，它可以是AlphaGo中的人类棋手，也可以是自动驾驶中的人类驾驶员，甚至可以是某些游戏AI里的游戏规则 4. **reward**：(简记为$r$)，这个奖赏可以类比为在明确目标的情况下，接近目标意味着做得好则奖，远离目标意味着做的不好则惩，最终达到收益/奖励最大化，且这个奖励是强化学习的核心 5. **State**：(简介为$s$)，可以理解成环境的状态，简称状态总的而言，Agent依据策略决策从而执行动作action，然后通过感知环境Environment从而获取环境的状态state，进而，最后得到奖励reward(以便下次再到相同状态时能采取更优的动作)，然后再继续按此流程“依据策略执行动作-感知状态--得到奖励”循环进行。

贝尔曼方程

贝尔曼方程（Bellman Equation）是动态规划和强化学习中的核心数学工具，由美国数学家理查德·贝尔曼（Richard Bellman）于1950年代提出，主要用于解决多阶段决策问题的最优性。以下是其出处和含义的详细解释： ### **1. 出处** • **提出者**：理查德·贝尔曼在其1957年的著作《Dynamic Programming》中首次系统阐述了贝尔曼方程。 • **背景**：为解决复杂序列决策问题（如资源分配、路径规划等），贝尔曼提出了动态规划方法，其核心思想是**将复杂问题分解为更小的子问题**，并通过递归关系找到最优解。贝尔曼方程正是这一思想的数学表达。 ### **2. 含义** 贝尔曼方程描述了一个基本思想：**最优策略的价值（或成本）可以通过当前决策的即时收益（或成本）与未来状态的预期价值联合表示**。它体现了“分治”和“递归”的数学思想。 #### **核心公式** 在强化学习中，贝尔曼方程通常用于计算**状态值函数** \( V(s) \) 或**动作值函数** \( Q(s, a) \)，例如： \[ V(s) = \mathbb{E}\left[ r + \gamma V(s') \mid s \right] \] 或更具体的马尔可夫决策过程（MDP）形式： \[ V(s) = \max_a \left( R(s, a) + \gamma \sum_{s'} P(s' \mid s, a) V(s') \right) \] • **符号解释**： • \( V(s) \)：状态 \( s \) 的长期价值。 • \( R(s, a) \)：在状态 \( s \) 采取动作 \( a \) 的即时奖励。 • \( P(s' \mid s, a) \)：从状态 \( s \) 采取动作 \( a \) 转移到状态 \( s' \) 的概率。 • \( \gamma \)：折扣因子（0 ≤ γ ≤ 1），权衡当前与未来奖励的重要性。 #### **核心思想** • **最优子结构**：一个最优策略的子策略也是最优的。例如，从状态 \( s \) 到终点的最优路径，必然包含从中间状态 \( s' \) 到终点的最优路径。 • **递归分解**：将长期价值分解为**即时奖励**和**未来状态的折现价值**，通过迭代或动态规划求解。 ### **3. 应用场景** • **强化学习**：用于计算值函数（如Q-learning、策略迭代）。 • **经济学**：最优消费、投资决策的跨期选择问题。 • **控制理论**：机器人路径规划、资源调度等序列决策问题。 ### **4. 意义** 贝尔曼方程提供了一种**数学框架**，将复杂的全局优化问题转化为局部递归计算，使得动态规划和强化学习算法（如值迭代、策略梯度）能够高效求解。其核心贡献在于揭示了**时间维度上的最优性原理**，成为现代人工智能和运筹学的重要基石。 ---

## 主流的强化学习算法（截至2023年） | 算法名称 | 提出年份 | 目标函数 | 目标函数梯度 | 训练更新方式 | 改进基础 | 算法思路简要描述 | | ------- | -------- | ----------- | ----- | ----------| ------------- | --------- | | **Q-Learning** | 1989 | 贝尔曼最优方程：
$Q(s,a) = \mathbb{E}\left[r + \gamma \max_{a'} Q(s',a')\right]$ | 无显式梯度（基于值迭代） | 时序差分更新：
$Q(s,a) \leftarrow Q(s,a) + \alpha \left[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\right]$ | 动态规划 | 离策略（off-policy）值迭代，最大化下一状态Q值 | | **SARSA** | 1994 | 贝尔曼方程：
$Q(s,a) = \mathbb{E}\left[r + \gamma Q(s',a')\right]$ | 无显式梯度 | 时序差分更新：
$Q(s,a) \leftarrow Q(s,a) + \alpha \left[r + \gamma Q(s',a') - Q(s,a)\right]$ | Q-Learning | 同策略（on-policy）更新，使用当前策略的下一动作 | | **DQN** | 2013 | 最小化TD误差：
$L(\theta) = \mathbb{E}\left[\left(r + \gamma \max_{a'} Q_{\text{target}}(s',a') - Q(s,a;\theta)\right)^2\right]$ | $\nabla_\theta L = \mathbb{E}\left[\left(r + \gamma \max_{a'} Q_{\text{target}} - Q\right) \nabla_\theta Q(s,a;\theta)\right]$ | 经验回放 + 固定目标网络 + 梯度下降 | Q-Learning | 深度网络拟合Q值，解决高维状态空间 | | **Double DQN** | 2015 | 改进的TD误差：
$L(\theta) = \mathbb{E}\left[\left(r + \gamma Q_{\text{target}}(s', \arg\max_{a'} Q(s',a';\theta)) - Q(s,a;\theta)\right)^2\right]$ | 同DQN | 分离动作选择（主网络）与值评估（目标网络） | DQN | 缓解DQN的过估计问题 | | **DDPG** | 2016 | Actor目标：$\max_\phi \mathbb{E}[Q(s,\mu(s;\phi))]$；
Critic目标：同DQN | Actor梯度：
$\nabla_\phi J = \mathbb{E}\left[\nabla_a Q(s,a) \nabla_\phi \mu(s)\right]$ | 确定性策略梯度更新Actor，TD误差更新Critic + 软更新目标网络 | DQN + DPGC | 确定性策略梯度（DPG）扩展至连续动作空间 | | **REINFORCE** | 1992 | 策略梯度：
$\nabla_\theta J = \mathbb{E}\left[\sum_{t=0}^T \nabla_\theta \log \pi(a_t\|s_t) G_t\right]$ | 蒙特卡洛梯度估计 | 整条轨迹采样 + 梯度上升更新 | 无 | 无偏但高方差，需基线（Baseline）降低方差 | | **TRPO** | 2015 | 约束优化：
$\max_\theta \mathbb{E}\left[\frac{\pi_\theta(a\|s)}{\pi_{\text{old}}(a\|s)} A_t\right]$，
约束KL散度 $\leq \delta$ | 自然梯度：$\theta \leftarrow \theta + \alpha \mathbf{F}^{-1} \nabla_\theta J$ | 共轭梯度法 + 线性搜索满足KL约束 | 无 | 通过KL散度约束保证策略单调改进 | | **A3C** ?? **A2C** | 2016 | 策略梯度：
$\nabla_\theta J = \mathbb{E}\left[\nabla_\theta \log \pi(a\|s) A(s,a)\right]$ | 显式计算策略梯度 | 异步多线程采样 + 全局参数同步 | REINFORCE | 并行化策略梯度，加速训练 | | **PPO** | 2017 | 裁剪目标函数：
$L^{\text{CLIP}} = \mathbb{E}_t\left[\min\left(\rho_t A_t, \text{clip}(\rho_t,1-\epsilon,1+\epsilon) A_t\right)\right]$ | 梯度上升：$\nabla_\theta L^{\text{CLIP}}$ | 重要性采样 + 策略比例裁剪 + 多步优化 | TRPO | 通过约束策略更新幅度提升稳定性 | | **SAC** | 2018 | 最大熵目标：
$J(\pi) = \mathbb{E}\left[\sum_t \gamma^t (r_t + \alpha \mathcal{H}(\pi(\cdot\|s_t)))\right]$ | 策略梯度：$\nabla_\phi J = \mathbb{E}\left[\nabla_\phi \alpha \log \pi + \nabla_a Q \nabla_\phi \pi\right]$ | 双Q网络 + 自动熵调整 + 延迟策略更新 | DDPG + Soft Q | 最大化熵鼓励探索，适用于连续控制 | | **TD3** | 2018 | Critic目标：
$L = \mathbb{E}\left[\left(r + \gamma \min_{i=1,2} Q_{\text{target},i}(s',\mu_{\text{target}}(s')) - Q(s,a)\right)^2\right]$ | 同DDPG | 双Critic网络 + 延迟策略更新 + 目标策略平滑 | DDPG | 缓解DDPG的过估计与高方差问题 | | **IMPALA** | 2018 | 重要性加权策略梯度：
$L = \mathbb{E}\left[\rho_t \nabla_\theta \log \pi(a\|s) A(s,a)\right]$ | 梯度含重要性权重 $\rho_t = \frac{\pi(a\|s)}{\mu(a\|s)}$ | 分布式Actor + 中央Learner异步更新 + V-trace修正离线策略偏差 | A3C | 大规模分布式训练，支持离线策略 | | **Rainbow** | 2017 | 综合DQN改进目标（双Q、多步TD、优先级采样等） | 梯度下降（集成改进项） | 集成6种技术：双Q学习、多步学习、优先级经验回放等 | DQN | DQN的全面优化，显著提升性能 | | **Soft Q-Learning** | 2017 | 最大熵Q函数：
$Q(s,a) = r(s,a) + \gamma \mathbb{E}\left[\mathcal{H}(\pi(\cdot\|s')) + V(s')\right]$ | 基于能量的策略梯度：
$\nabla_\theta J = \mathbb{E}\left[\nabla_\theta \log \pi(a\|s) (Q(s,a) - V(s))\right]$ | 随机策略优化 + Q函数与策略交替更新 | SQL | 将Q学习扩展至最大熵框架，支持随机策略 | | **MuZero** | 2019 | 模型预测损失：
$L = \sum_{k=0}^K \left(\hat{v}_k - v_t^k\right)^2 + \left(\hat{r}_k - r_t^k\right)^2 + \text{policy loss}$ | 梯度下降联合优化模型、策略与价值 | 基于模型的规划（MCTS） + 隐空间模型学习 | AlphaZero | 在未知环境中结合模型预测与强化学习 | | **DreamerV3** | 2023 | 世界模型损失：
$L = \mathbb{E}\left[\text{重建损失} + \text{KL散度} + \gamma \text{价值预测损失}\right]$ | 梯度下降优化世界模型与策略 | 潜在空间预测模型 + 基于想象的策略优化 | Dreamer | 基于模型的通用算法，无需超参数调整 | | **MPO** | 2018 | 分两步优化：
1. 拟合Q函数；
2. 约束策略更新：$\max_q \mathbb{E}_q[Q(s,a)] - \eta \text{KL}(q\|\pi_{\text{old}})$ | 期望最大化（EM）算法 | E-step：优化非参数策略分布；M-step：拟合参数化策略 | TRPO | 通过EM算法解耦策略改进与约束 | | **R2D2** | 2019 | 结合Rainbow与LSTM：
多步TD误差 + 优先级采样 + 循环网络 | 梯度下降优化LSTM与Q函数 | 分布式经验回放 + 循环神经网络 | Rainbow + A3C | 长时序依赖任务（如Atari）的稳定训练 | 新增最新算法说明： 1. **MuZero (2019)**: • **核心思想**: 在AlphaZero基础上，通过隐空间模型（学习环境动力学）实现无环境模型的规划。 • **创新点**: 联合优化模型预测（价值、奖励、策略）与真实轨迹的匹配。 2. **DreamerV3 (2023)**: • **核心思想**: 基于世界模型的强化学习，在潜在空间中预测未来状态并优化策略。 • **特点**: 通用性强，适用于连续和离散动作空间，且无需超参数调整。 3. **MPO (Maximum a Posteriori Policy Optimization, 2018)**: • **核心思想**: 将策略优化分解为两步：1) 拟合Q函数；2) 在KL散度约束下最大化Q值的期望。 • **优势**: 比TRPO更灵活，支持非参数化策略更新。 4. **R2D2 (Recurrent Replay Distributed DQN, 2019)**: • **核心思想**: 将Rainbow的改进（多步TD、优先级采样）与循环神经网络（LSTM）结合，解决部分可观测问题。公式修正与补充： • **SAC策略梯度**： $\nabla_\phi J = \mathbb{E}\left[\nabla_\phi \alpha \log \pi_\phi(a|s) + \nabla_a Q(s,a;\psi) \nabla_\phi f_\phi(s)\right]$ 其中 $f_\phi(s)$ 是策略网络的输出（如高斯分布的均值）。 • **MuZero模型损失**： $L = \sum_{k=0}^K \left(\hat{v}_k - v_t^k\right)^2 + \left(\hat{r}_k - r_t^k\right)^2 + \text{交叉熵}(\hat{\pi}_k, \pi_t^k)$ 其中 $\hat{v}_k, \hat{r}_k, \hat{\pi}_k$ 是模型预测的价值、奖励和策略，$v_t^k, r_t^k, \pi_t^k$ 是实际轨迹。 • **DreamerV3世界模型损失**： $L = \mathbb{E}\left[\|x_t - \text{Decoder}(h_t)\|^2 + \text{KL}(q(h_t|h_{t-1},a_{t-1},x_t) \| p(h_t|h_{t-1},a_{t-1})) + \gamma (V(h_t) - V_{\text{target}})^2\right]$