2.4 折扣、轨迹与 POMDP

内容概述

本章围绕强化学习中的序列决策建模、回报定义、价值函数、贝尔曼方程、价值估计、Q-Learning、策略优化和奖励设计展开。作为章末总结，本节汇总第 3.1 到 3.8 节的核心公式，并给出它们在本章理论结构中的位置。

本章的主要结论可以概括为八点：

1. 强化学习问题可以用 MDP 五元组形式化描述。
2. 智能体优化的是折扣累积回报，而不是单步即时奖励。
3. 状态价值函数和动作价值函数分别评估状态与动作的长期回报。
4. 贝尔曼方程给出了价值函数的递归结构。
5. DP、MC、TD 是三类基本的价值估计方法。
6. 参数化策略可以通过策略目标函数直接优化。
7. 算法根据数据来源分为 On-policy/Off-policy 和 Online/Offline。
8. 奖励函数决定学习问题本身，奖励设计会影响算法最终行为。

这些内容构成后续深度 Q 网络、策略梯度、Actor-Critic、PPO 以及大模型强化学习方法的共同理论基础。

核心公式索引

下面集中列出第 3.1 到 3.8 节的核心公式。每条公式都标注名称、作用和对应讲解位置。

3.1 两台老虎机

$$\mathbb{E}[R_a]=p_a\cdot (+1)+(1-p_a)\cdot (-1)=2p_a-1\text{（单臂期望奖励；作用：比较单个动作的平均收益；详见 3.1）}$$

$$\mathbb{E}[R_T]=\mathbb{E}[R_{a_1}]+\mathbb{E}[R_{a_2}]+\cdots +\mathbb{E}[R_{a_T}]=\sum _{t=1}^T\mathbb{E}[R_{a_t}]\text{（T 轮期望总回报；作用：衡量一整套策略的累计表现；详见 3.1）}$$

$$\mathrm{Regret}(T)=T{\mu }^{\ast }-\sum _{t=1}^T{\mu }_{a_t},{\mu }^{\ast }=\underset{a}{\max }{\mu }_a\text{（Regret；作用：衡量探索相对最优策略损失了多少；详见 3.1）}$$

3.2 MDP

$$\mathcal{M}=⟨\mathcal{S},\mathcal{A},P,R,\gamma ⟩\text{（MDP 五元组；作用：描述序列决策问题的完整规则；详见 3.2）}$$

$$P(s^{\prime }\mid s,a),R(s,a),\gamma \in [0,1]\text{（转移、奖励与折扣；作用：描述状态转移、即时奖励与未来奖励权重；详见 3.2）}$$

$$G_t=\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k}=r_t+\gamma G_{t+1}\text{（折扣累积回报；作用：定义从时刻 t 开始的长期优化目标；详见 3.2）}$$

$$a=\pi (s),\pi (a\mid s)=P(a\mid s)\text{（确定性策略与随机性策略；作用：描述智能体如何选动作；详见 3.2）}$$

3.3 V(s) 与贝尔曼方程

$$V^{\pi }(s)={\mathbb{E}}_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k}\mid s_t=s\right]\text{（状态价值函数；作用：评估一个状态的长期平均回报；详见 3.3）}$$

$$V^{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a\mid s)\left[R(s,a)+\gamma \sum _{s^{\prime }\in \mathcal{S}}P(s^{\prime }\mid s,a)V^{\pi }(s^{\prime })\right]\text{（贝尔曼期望方程；作用：在固定策略下递归计算价值；详见 3.3）}$$

$$V^{\ast }(s)=\underset{a}{\max }\left[R(s,a)+\gamma \sum _{s^{\prime }\in \mathcal{S}}P(s^{\prime }\mid s,a)V^{\ast }(s^{\prime })\right]\text{（贝尔曼最优方程；作用：定义最优状态价值；详见 3.3）}$$

$$\text{Target}=r+\gamma V(s^{\prime }),\delta =\text{Target}-V(s)\text{（Bellman Target 与 TD Error 雏形；作用：将贝尔曼递推转化为采样学习信号；详见 3.3）}$$

3.4 DP、MC、TD

$$V(s)\leftarrow \sum _a\pi (a\mid s)\left[R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)V(s^{\prime })\right]\text{（DP 策略评估更新；作用：已知模型时迭代价值；详见 3.4）}$$

$${\pi }^{\prime }(s)=\arg \underset{a}{\max }\left[R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)V^{\pi }(s^{\prime })\right]\text{（策略改进；作用：用当前价值构造更好的贪心策略；详见 3.4）}$$

$$V(s)\leftarrow V(s)+\alpha \left[G_t-V(s)\right]\text{（MC 价值更新；作用：用完整回报修正价值估计；详见 3.4）}$$

$$V(s)\leftarrow V(s)+\alpha \left[r+\gamma V(s^{\prime })-V(s)\right]\text{（TD(0) 价值更新；作用：走一步就用自举目标更新价值；详见 3.4）}$$

$$\delta =r+\gamma V(s^{\prime })-V(s)\text{（TD Error；作用：衡量当前价值估计违反贝尔曼关系的程度；详见 3.4）}$$

3.5 Q(s,a)

$$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }\left[G_t\mid s_t=s,a_t=a\right]\text{（动作价值函数；作用：评估在状态 s 先做动作 a 的长期回报；详见 3.5）}$$

$$V^{\pi }(s)=\sum _a\pi (a\mid s)Q^{\pi }(s,a)\text{（V-Q 关系式；作用：用动作价值的策略加权平均得到状态价值；详见 3.5）}$$

$$Q^{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in \mathcal{S}}P(s^{\prime }\mid s,a)\sum _{a^{\prime }\in \mathcal{A}}\pi (a^{\prime }\mid s^{\prime })Q^{\pi }(s^{\prime },a^{\prime })\text{（Q 的贝尔曼期望方程；作用：固定策略下递归计算动作价值；详见 3.5）}$$

$$Q^{\ast }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in \mathcal{S}}P(s^{\prime }\mid s,a)\underset{a^{\prime }}{\max }{Q}^{\ast }(s^{\prime },a^{\prime })\text{（Q 的贝尔曼最优方程；作用：递归定义最优动作价值；详见 3.5）}$$

$${\pi }^{\ast }(s)=\arg \underset{a}{\max }{Q}^{\ast }(s,a)\text{（贪心最优策略；作用：由最优动作价值诱导最优策略；详见 3.5）}$$

3.5 Q-Learning

$$\text{TD Target}=r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })\text{（Q-Learning TD 目标；作用：用一步经验构造当前动作价值的学习目标；详见 3.5）}$$

$$\delta =r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })-Q(s,a)\text{（Q-Learning TD Error；作用：衡量当前动作价值估计和 TD 目标的差距；详见 3.5）}$$

$$Q(s,a)\leftarrow Q(s,a)+\alpha \left[r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })-Q(s,a)\right]\text{（Q-Learning 更新；作用：在线修正状态-动作价值表；详见 3.5）}$$

$$a_t=\{\begin{array}{ll}\text{随机动作}& \text{概率 }\epsilon \\ \arg {\max }_{a}Q(s_t,a)& \text{概率 }1-\epsilon \end{array}\text{（}\epsilon \text{-贪婪策略；作用：在探索和利用之间折中；详见 3.5）}$$

3.6 策略目标

$${\pi }_{\theta }(a\mid s)=P_{\theta }(a\mid s)\text{（参数化随机策略；作用：用参数 theta 表示动作分布；详见 3.6）}$$

$$J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[G_t\right]={\mathbb{E}}_{{\pi }_{\theta }}\left[\sum _{t=0}^{\infty }{\gamma }^t{r}_t\right]\text{（策略目标函数；作用：衡量参数化策略的平均长期回报；详见 3.6）}$$

$${\theta }^{\ast }=\arg \underset{\theta }{\max }J(\theta )\text{（最优策略参数；作用：将策略学习表述为最大化问题；详见 3.6）}$$

$${\nabla }_{\theta }J(\theta )\propto {\mathbb{E}}_{{\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a\mid s)\cdot G_t\right]\text{（策略梯度估计式；作用：提高高回报动作的概率；详见 3.6）}$$

3.8 奖励设计

$$R(s,a)=\{\begin{array}{ll}+1& \text{达到目标}\\ 0& \text{其他}\\ -1& \text{失败}\end{array}\text{（稀疏奖励函数；作用：只在成败时给学习信号；详见 3.8）}$$

$$R_{\text{shaping}}(s,a,s^{\prime })=-\left(\text{dist}(s^{\prime },\text{goal})-\text{dist}(s,\text{goal})\right)\text{（距离奖励塑形；作用：根据到目标距离的变化提供中间奖励；详见 3.8）}$$

$$F(s,a,s^{\prime })=\gamma \Phi (s^{\prime })-\Phi (s)\text{（势函数奖励塑形；作用：增强中间信号且不改变最优策略；详见 3.8）}$$

$$r_t^{\text{intrinsic}}={\Vert f(s_t,a_t)-s_{t+1}\Vert }^2\text{（预测误差内在奖励；作用：鼓励探索模型还预测不准的状态；详见 3.8）}$$

$$r_t^{\text{RND}}={\Vert \hat{\varphi }(s_t)-\varphi (s_t)\Vert }^2\text{（RND 内在奖励；作用：用随机网络蒸馏衡量状态新颖性；详见 3.8）}$$

$$r_t^{\text{total}}=r_t^{\text{extrinsic}}+\beta r_t^{\text{intrinsic}}\text{（总奖励组合式；作用：合并任务奖励和探索奖励；详见 3.8）}$$

标量与矩阵形式

本章公式均采用逐状态（标量）形式。将所有状态排成向量、转移关系写成矩阵后，$n$ 个标量方程可压缩为一行矩阵方程。

符号约定

为避免维度表达过长，下面用 $n=|\mathcal{S}|$ 表示状态数量，用 $n_A=|\mathcal{A}|$ 表示动作数量。

符号	维度	含义
${\mathbf{v}}_{\pi }$	$n\times 1$	所有状态的价值
${\mathbf{r}}_{\pi }$	$n\times 1$	每个状态的期望即时奖励
$P_{\pi }$	$n\times n$	策略诱导的转移矩阵，$P_{\pi }[i,j]={\sum }_a\pi (a\mid s_i)p(s_j\mid s_i,a)$
${\mathbf{q}}_{\pi }$	$n{n}_A\times 1$	所有 $(s,a)$ 对的 Q 值
$P$	$n{n}_A\times n$	转移矩阵，$P[(s,a),s^{\prime }]=P(s^{\prime }\mid s,a)$
${\Pi }_{\pi }$	$n\times n{n}_A$	策略矩阵，${\Pi }_{\pi }[s,(s,a)]=\pi (a\mid s)$

对照总表

贝尔曼期望方程

逐状态形式：

$$V^{\pi }(s)=\sum _a\pi (a\mid s)\left[R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)V^{\pi }(s^{\prime })\right]$$

矩阵形式：

$${\mathbf{v}}_{\pi }={\mathbf{r}}_{\pi }+\gamma P_{\pi }{\mathbf{v}}_{\pi }$$

贝尔曼最优方程

逐状态形式：

$$V^{\ast }(s)=\underset{a}{\max }\left[R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)V^{\ast }(s^{\prime })\right]$$

矩阵形式：

$${\mathbf{v}}_{\ast }={\mathbf{r}}_{\ast }+\gamma P_{\ast }{\mathbf{v}}_{\ast }\text{（逐行取 max）}$$

闭式解

矩阵形式：

$$\mathbf{v}=(I-\gamma P{)}^{-1}\mathbf{r}$$

V-Q 关系

逐状态形式：

$$V^{\pi }(s)=\sum _a\pi (a\mid s)Q^{\pi }(s,a)$$

矩阵形式：

$${\mathbf{v}}_{\pi }={\Pi }_{\pi }{\mathbf{q}}_{\pi }$$

Q 贝尔曼期望方程

逐状态形式：

$$Q^{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)\sum _{a^{\prime }}\pi (a^{\prime }\mid s^{\prime })Q^{\pi }(s^{\prime },a^{\prime })$$

矩阵形式：

$${\mathbf{q}}_{\pi }=\mathbf{r}+\gamma P{\Pi }_{\pi }{\mathbf{q}}_{\pi }$$

Q 贝尔曼最优方程

逐状态形式：

$$Q^{\ast }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)\underset{a^{\prime }}{\max }{Q}^{\ast }(s^{\prime },a^{\prime })$$

矩阵形式：

$${\mathbf{q}}_{\ast }=\mathbf{r}+\gamma P\cdot \mathrm{rowmax}({\mathbf{q}}_{\ast })$$

DP 策略评估

逐状态形式：

$$V(s)\leftarrow \sum _a\pi (a\mid s)\left[R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)V(s^{\prime })\right]$$

矩阵形式：

$${\mathbf{v}}_{k+1}={\mathbf{r}}_{\pi }+\gamma P_{\pi }{\mathbf{v}}_k$$

MC 和 TD 基于采样更新单个状态，没有对应的矩阵形式。

从 Q 到 V

将 ${\mathbf{v}}_{\pi }={\Pi }_{\pi }{\mathbf{q}}_{\pi }$ 代入 ${\mathbf{q}}_{\pi }=\mathbf{r}+\gamma P{\mathbf{v}}_{\pi }$，两边左乘 ${\Pi }_{\pi }$：

$${\Pi }_{\pi }{\mathbf{q}}_{\pi }={\Pi }_{\pi }\mathbf{r}+\gamma {\Pi }_{\pi }P{\mathbf{v}}_{\pi }⟹{\mathbf{v}}_{\pi }=\underset{{\mathbf{r}}_{\pi }}{\underbrace{{\Pi }_{\pi }\mathbf{r}}}+\gamma \underset{P_{\pi }}{\underbrace{{\Pi }_{\pi }P}}{\mathbf{v}}_{\pi }$$

Q 的矩阵形式保留了动作维度（策略平均由 ${\Pi }_{\pi }$ 单独完成），V 的矩阵形式已把策略平均融进了 ${\mathbf{r}}_{\pi }$ 和 $P_{\pi }$——这正是"$Q$ 比 $V$ 携带更细粒度信息"的矩阵语言表达。

公式依赖关系

本章各公式并非相互独立，而是构成一组逐层递进的定义和推论。

层级	核心问题	关键对象
问题建模	环境、动作、反馈和未来权重是什么？	$\mathcal{M}=⟨\mathcal{S},\mathcal{A},P,R,\gamma ⟩$
优化目标	如何度量一条轨迹从某时刻开始的长期回报？	$G_t={\sum }_{k=0}^{\infty }{\gamma }^k{r}_{t+k}$
行为规则	智能体在状态中如何选择动作？	$\pi (s)$、$\pi (a\mid s)$、${\pi }_{\theta }(a\mid s)$
状态评估	当前状态在长期意义下值多少？	$V^{\pi }(s)={\mathbb{E}}_{\pi }[G_t\mid s_t=s]$
递归结构	长期回报如何拆成一步奖励和未来价值？	贝尔曼期望方程、贝尔曼最优方程
数据学习	在环境模型未知或难以完全枚举时如何估计价值？	DP、MC、TD、$\delta$
动作评估	固定第一步动作后如何评估长期回报？	$Q^{\pi }(s,a)$、$Q^{\ast }(s,a)$
表格控制	如何用采样经验学习动作价值并导出策略？	Q-Learning、TD Target、$\epsilon$-greedy
策略优化	如何直接优化一个参数化策略？	$J(\theta )$、${\nabla }_{\theta }J(\theta )$
目标设计	算法所最大化的奖励信号是什么？	$R(s,a)$、$F(s,a,s^{\prime })$、$r_t^{\text{total}}$

上述层级体现了本章的逻辑顺序：环境定义先于回报定义，回报定义先于价值定义；价值递推是 DP、MC、TD 的基础；状态价值和动作价值为策略改进提供依据；奖励信号则决定所有优化目标的具体含义。

本章主线

从回报到贝尔曼递推

第 3 章最重要的数学结构是递归性。折扣回报可写为无限求和：

$$G_t=\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k}$$

该表达式也可等价写成一步递推形式：

$$G_t=r_t+\gamma G_{t+1}$$

该递推形式将长期回报分解为当前即时奖励与下一时刻回报。贝尔曼方程正是将这一轨迹层面的递推关系推广到期望价值 $V^{\pi }(s)$。

从状态价值到采样学习

若环境模型 $P$ 和 $R$ 已知，可以直接使用贝尔曼期望方程进行 DP 更新。若模型未知，则需要基于采样轨迹进行价值估计：

• MC 使用完整回报 $G_t$ 作为目标，估计无偏但方差高。
• TD 使用 $r+\gamma V(s^{\prime })$ 作为自举目标，方差低且可以在线更新。
• TD Error $\delta =r+\gamma V(s^{\prime })-V(s)$ 衡量当前价值估计与一步贝尔曼目标之间的差距。

这一思想构成后续 Critic、DQN target、GAE 等技术的基础。

从状态价值到动作价值

$V^{\pi }(s)$ 评估状态价值，但不直接给出状态 $s$ 下各动作的相对优劣。为刻画动作层面的长期回报，第 3.5 节引入动作价值：

$$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }[G_t\mid s_t=s,a_t=a]$$

该定义固定第一步动作，并评估随后按照策略 $\pi$ 行动所得的长期回报。因此，$Q$ 函数比 $V$ 函数包含更直接的动作选择信息。当最优动作价值 $Q^{\ast }(s,a)$ 已知时，最优策略可由 $\arg {\max }_a{Q}^{\ast }(s,a)$ 诱导得到。

从动作价值到 Q-Learning

第 3.5 节将 TD 思想应用到动作价值表上。每一步经验 $(s,a,r,s^{\prime })$ 都可以构造 TD 目标：

$$r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })$$

并用它修正当前的 $Q(s,a)$。这使智能体不需要完整环境模型，也不必等一条轨迹结束，就能逐步学习一张可用于决策的 Q 表。表格 Q-Learning 适合小规模离散状态空间；一旦状态空间巨大或连续，就需要第 4 章讨论的函数近似方法。

从策略表示到策略优化

第 3.6 节给出另一种策略学习表述：不必先显式学习每个动作的价值，也可以将策略表示为带参数的分布 ${\pi }_{\theta }(a\mid s)$，并最大化：

$$J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[G_t]$$

策略梯度公式表明，参数更新方向由两部分组成：${\nabla }_{\theta }\log {\pi }_{\theta }(a\mid s)$ 描述提高当前动作概率的参数方向，$G_t$ 则为该方向提供回报权重。第 5 章将对这一结果作进一步推导。

奖励函数决定优化目标

所有价值函数、策略目标和更新规则最终都依赖于奖励的累积和。奖励过于稀疏会导致学习信号不足；奖励设计不当则可能使智能体优化偏离任务意图。第 3.8 节讨论的奖励塑形与内在奖励，均用于在增强学习信号的同时尽量保持任务目标不变。

本章复习问题

完成本章学习后，应能够回答以下问题：

1. 给定一个任务，如何写出它的 MDP 五元组？

参考答案

将任务表示为 $\mathcal{M}=⟨\mathcal{S},\mathcal{A},P,R,\gamma ⟩$。其中，$\mathcal{S}$ 描述智能体可能处于的状态集合，$\mathcal{A}$ 描述可选动作集合，$P(s^{\prime }\mid s,a)$ 描述执行动作后的状态转移规律，$R(s,a)$ 或 $R(s,a,s^{\prime })$ 描述即时奖励，$\gamma$ 描述未来奖励的折扣权重。写 MDP 时，应说明每个要素在具体任务中的含义，而不仅是列出符号。

2. 为什么 RL 优化的是折扣累积回报，而不只是即时奖励？

参考答案

强化学习研究的是序列决策。某一步动作不仅影响当前奖励，也会改变后续状态，从而影响未来可获得的奖励。因此，优化即时奖励可能导致短视策略。折扣累积回报

$$G_t=\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k}$$

将当前及未来奖励统一为一个长期目标，并通过 $\gamma$ 控制未来奖励的重要程度。在无限期任务中，$\gamma <1$ 还可保证回报有限。

3. $G_t$、$V^{\pi }(s)$、$Q^{\pi }(s,a)$、$J(\theta )$ 分别在评估什么？

参考答案

$G_t$ 是从时刻 $t$ 开始沿某一条具体轨迹得到的折扣累积回报。$V^{\pi }(s)$ 是从状态 $s$ 出发并按照策略 $\pi$ 行动时，$G_t$ 的期望，用于评估状态价值。$Q^{\pi }(s,a)$ 是在状态 $s$ 先执行动作 $a$，之后按照策略 $\pi$ 行动时，$G_t$ 的期望，用于评估动作价值。$J(\theta )$ 是参数化策略 ${\pi }_{\theta }$ 的总体期望回报，用于衡量并优化整个策略。

4. 贝尔曼期望方程和贝尔曼最优方程有什么区别？

参考答案

贝尔曼期望方程用于评估给定策略 $\pi$，其动作选择由 $\pi (a\mid s)$ 加权平均：

$$V^{\pi }(s)=\sum _a\pi (a\mid s)\left[R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)V^{\pi }(s^{\prime })\right].$$

贝尔曼最优方程用于定义最优价值，它不再固定某个策略，而是在所有动作中取最大值：

$$V^{\ast }(s)=\underset{a}{\max }\left[R(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)V^{\ast }(s^{\prime })\right].$$

前者回答“按照该策略行动时价值是多少”，后者回答“在最优行动下价值最高是多少”。

5. DP、MC、TD 分别需要什么信息，什么时候更新，误差来源是什么？

参考答案

DP 需要已知环境模型 $P$ 和 $R$，通过对所有可能动作和下一状态求期望进行更新，误差主要来自迭代尚未收敛或函数近似误差。MC 不需要环境模型，但需要等一条 episode 结束后用完整回报 $G_t$ 更新；它以真实回报为目标，估计无偏，但方差较高。TD 不需要环境模型，也不必等 episode 结束，走一步即可用 $r+\gamma V(s^{\prime })$ 更新；它方差较低，但由于使用估计值 $V(s^{\prime })$ 自举，会引入偏差。

6. TD Error 为什么会成为后续 Critic、深度 Q 网络和 GAE 的共同学习信号？

参考答案

TD Error

$$\delta =r+\gamma V(s^{\prime })-V(s)$$

衡量当前价值估计与一步贝尔曼目标之间的差距。Critic 可以用它更新状态价值函数；深度 Q 网络使用同样的自举思想构造 Q 函数的训练目标；GAE 则将多个时间步的 TD Error 加权累积，用于估计优势函数。因此，TD Error 是将贝尔曼递推转化为可采样训练信号的基本形式。

7. 为什么 $Q(s,a)$ 能直接诱导动作选择？

参考答案

$Q(s,a)$ 表示在状态 $s$ 选择动作 $a$ 后的长期期望回报。若已知各动作的动作价值，则可直接比较同一状态下不同动作的 $Q$ 值。最优动作价值 $Q^{\ast }(s,a)$ 已知时，最优策略可写为

$${\pi }^{\ast }(s)=\arg \underset{a}{\max }{Q}^{\ast }(s,a).$$

因此，$Q$ 函数不仅评估动作，还可通过最大化动作价值直接给出动作选择规则。

8. 为什么参数化策略需要目标函数 $J(\theta )$？

参考答案

参数化策略 ${\pi }_{\theta }(a\mid s)$ 的学习对象是参数 $\theta$。为了优化这些参数，需要定义一个以 $\theta$ 为自变量的目标函数：

$$J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[G_t].$$

$J(\theta )$ 衡量当前策略的期望长期回报。策略梯度方法通过估计 ${\nabla }_{\theta }J(\theta )$ 来调整参数，使高回报轨迹中的动作概率增大，从而改进策略。

9. 奖励塑形为什么可能加速学习，又为什么可能带来目标偏移？

参考答案

奖励塑形通过增加中间奖励，使智能体在尚未到达最终目标前也能获得学习信号，因此可缓解稀疏奖励导致的学习困难。例如，距离目标更近时给予额外奖励，可以引导探索方向。但若塑形奖励设计不当，智能体可能优化塑形信号而非原始任务目标，产生目标偏移。势函数塑形

$$F(s,a,s^{\prime })=\gamma \Phi (s^{\prime })-\Phi (s)$$

在理论上可保持最优策略不变，因此是一类较安全的奖励塑形形式。

上述问题强调公式背后的概念角色。掌握本章内容的关键，不仅在于记忆公式形式，还在于理解每个对象在强化学习问题中的功能。

后续章节如何使用

后续章节	主要使用的本章对象	用法
第 4 章深度 Q 网络	$Q(s,a)$、$Q^{\ast }(s,a)$、$\arg {\max }_{a}Q(s,a)$、TD Target	用神经网络近似动作价值，用自举目标更新 Q 函数
第 5 章策略梯度	${\pi }_{\theta }(a\mid s)$、$J(\theta )$、${\nabla }_{\theta }J(\theta )$、$G_t$	直接优化参数化策略，提高高回报动作概率
第 6 章 Actor-Critic	$V(s)$、TD Error、$J(\theta )$	用价值函数作为 Critic，为策略更新提供低方差信号
第 5 章 PPO	$V(s)$、优势函数、TD Error、策略目标	用 Critic 估计优势，并约束策略更新幅度
第 6 章以后大模型 RL	策略、奖励、回报、目标函数	把 token 生成看作序列决策，把偏好或验证信号转成优化目标

因此，第 3 章中的公式不仅用于本章练习，也将在后续算法中反复出现。随着模型从表格表示过渡到函数近似，这些对象将以神经网络、损失函数、训练目标、优势函数和 KL 约束等形式重新出现。

小结

第 3 章建立了强化学习理论基础的基本结构：

1. 用 MDP 五元组定义序列决策问题。
2. 用折扣累积回报 $G_t$ 定义长期优化目标。
3. 用 $V^{\pi }(s)$ 和 $Q^{\pi }(s,a)$ 评估状态与动作。
4. 用贝尔曼方程揭示价值的递归结构。
5. 用 DP、MC、TD 说明价值可以如何被计算或估计。
6. 用 $J(\theta )$ 将参数化策略学习表述为优化问题。
7. 掌握从数据获取维度区分算法（On/Off-policy, Online/Offline）。
8. 用奖励设计说明优化目标从何而来，以及为什么目标定义本身会影响学习结果。

下一章将从 $Q(s,a)$ 出发，进入第一个完整算法族：第 4 章：深度 Q 网络。