第 2 章 · 强化学习过程的基本定义

本章导读

核心内容

• 理解探索和利用问题，并掌握 MDP 五元组、折扣累积回报、价值函数、贝尔曼方程这套统一语言。
• 理解 DP、MC、TD 如何从不同假设出发估计价值函数。
• 区分 $Q(s,a)$ 路线与 $J(\theta )$ 路线，并理解奖励函数如何决定优化目标。

核心公式

$$\mathcal{M}=⟨\mathcal{S},\mathcal{A},P,R,\gamma ⟩\text{（MDP 五元组：定义环境规则）}$$

$$G_t=\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k}\text{（折扣累积回报：定义长期总目标）}$$

$$V^{\pi }(s)={\mathbb{E}}_{\pi }[G_t\mid s_t=s],Q^{\pi }(s,a)={\mathbb{E}}_{\pi }[G_t\mid s_t=s,a_t=a]\text{（状态价值与动作价值：评估局面和动作）}$$

$$J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[\sum _{t=0}^{\infty }{\gamma }^t{r}_t\right]\text{（策略优化目标：衡量策略平均回报）}$$

本章公式的作用

第 2 章通过一组基础问题和基础公式建立强化学习的统一表述。探索和利用问题说明智能体为什么不能只选择当前看起来最好的动作；MDP 五元组用于刻画智能体所处的序列决策环境；折扣累积回报 $G_t$ 用于定义长期优化目标；状态价值函数与动作价值函数用于评估状态和动作的长期回报；策略目标 $J(\theta )$ 则用于表述参数化策略的优化问题。后续 DQN、策略梯度、Actor-Critic 和 PPO 都建立在这些基本对象之上。

第 1 章我们在 CartPole 倒立摆上训练了一个平衡杆的智能体。这是经典控制任务的典型场景，状态和动作都是低维向量，奖励由物理规则直接给出。跑通代码之后，接下来要把这个过程拆开：智能体怎样选择动作，奖励怎样定义目标，状态为什么会影响下一步决策，以及长期回报怎样把一串动作连接起来。

第一个问题从最小场景开始。即使没有状态转移，智能体也必须面对一个选择：继续使用当前看起来最好的动作，还是尝试那些仍然不确定的动作。多臂老虎机把这个问题单独拿出来，帮助我们先看清探索和利用的张力。

回到最根本的问题：强化学习研究的是什么？ 答案是序列决策——智能体在每一步选择动作，环境给出反馈并转移到下一个状态，如此往复。关键在于，智能体追求的不是某一步的即时奖励，而是整个过程中的累积回报。贪心地拿眼前最大的奖励，往往不是最优策略。

当动作会改变下一步局面时，就需要一个统一的形式化框架——马尔可夫决策过程（Markov Decision Process, MDP）。MDP 把状态、动作、转移概率、奖励函数和折扣因子打包成一个五元组 $⟨\mathcal{S},\mathcal{A},P,R,\gamma ⟩$。有了它，价值函数、贝尔曼方程、Q-Learning、策略梯度、PPO 这些算法才有了共同的语言。

定义好问题之后，下一步是定义 "好坏"的度量。折扣累积回报 $G_t$ 描述一条轨迹从某一时刻起能获得的总收益，而价值函数则把这种收益的期望分配到具体的状态或动作上。在此基础上，贝尔曼方程揭示了一个关键的递归结构：一个状态的价值等于"当前一步的奖励"加上"下一状态价值的折扣"。这个看似简单的等式，是动态规划、蒙特卡洛方法和时序差分方法的共同起点。

沿着价值函数继续往下，自然分出两条算法路线：

• Value-based 路线：学习 $Q(s,a)$，给每个动作打分，再选择分数最高的动作——通向 Q-Learning 和深度 Q 网络。
• Policy-based 路线：直接定义策略目标 $J(\theta )$，通过梯度方法优化策略参数——通向策略梯度、Actor-Critic 和 PPO。

本章的作用相当于全书的理论地基。第 5 章的深度 Q 网络会依赖 $Q(s,a)$，第 6 章的策略梯度会依赖 $J(\theta )$，第 7 章的 Actor-Critic 和第 8 章的 PPO 会同时使用价值估计与策略优化思想。理解本章之后，后续算法中的许多公式就不再是孤立的技巧，而是从同一套决策建模框架中自然推出的结果。

章节安排

小节	核心内容
探索和利用问题	从多臂老虎机理解动作估计、探索、利用与期望回报
马尔可夫决策过程	定义 MDP 五元组、折扣回报与策略
价值函数与贝尔曼方程	引入状态价值函数，并推导价值的递归结构
DP、MC 与 TD	比较三类价值估计方法的假设、数据需求和更新方式
从 Q 到 Q-Learning	用 GridWorld 说明动作价值、TD 目标、探索和表格边界
策略、价值与回报	定义策略、状态价值、动作价值与回报
数据从哪里来	讨论 On-policy 与 Off-policy，Online 与 Offline 区别
奖励函数设计	讨论奖励如何表达任务目标，以及错误奖励可能带来的问题
本章总结	汇总本章核心公式、算法路线与后续章节衔接

学习目标

读完本章后，你应该能够：

• 解释探索和利用为什么会出现在试错学习中，并说明 ε-贪心怎样保留探索机会；
• 用 MDP 五元组 $⟨\mathcal{S},\mathcal{A},P,R,\gamma ⟩$ 形式化地描述一个强化学习问题；
• 理解贝尔曼方程如何将长期回报写成递归结构，并掌握动态规划、蒙特卡洛、时序差分三类价值估计方法的核心差异；
• 说清两条算法路线的分野——$Q(s,a)$ 路线给动作打分、选最优动作，$J(\theta )$ 路线直接优化策略参数，两者分别通向深度 Q 网络和 PPO。

建议先完成多臂老虎机实验，再进入 MDP 的形式化定义。这样可以先在一个足够简单的环境中看到探索和利用的矛盾，再把直觉提升为一般的数学语言。下一节从最小的强化学习问题开始：探索和利用问题。