D.1.1 线性代数基础 与 向量与矩阵

前置知识：本篇不需要线性代数基础，但建议先读完附录导读中的"两状态贯穿例子"。

---

标量、集合与函数

标量是一个单独的数。奖励 $r=2$ 是标量，折扣因子 $\gamma =0.9$ 也是标量。在 RL 中，以下这些值都是标量：

符号	含义	典型值
r	即时奖励	2、−1、0.5
γ	折扣因子	0.9、0.99、0.5
α	学习率	0.001、3×10⁻⁴
ε	探索率或裁剪范围	0.1、0.2

标量给出了奖励的数值。环境的另一个基本要素是状态——所有可能状态的全体构成一个集合。

集合将所有可能的元素列举在大括号中。例如一个小环境有三个状态、两个动作：

$$\mathcal{S}=\{s_1,s_2,s_3\},\mathcal{A}=\{\text{left},\text{right}\}.$$

花体字母 $\mathcal{S}$ 和 $\mathcal{A}$ 是约定俗成，写成 $S$ 和 $A$ 也不影响含义。当讨论"状态 $s$ 下的价值"时，$s$ 必须取自某个集合 $\mathcal{S}$。

集合定义了可用状态，进一步需要为每个状态指定一个值，这引入了函数。

价值函数接受一个状态，返回一个数：

$$v:\mathcal{S}\to \mathbb{R},s\mapsto v(s).$$

符号含义：

• $v:\mathcal{S}\to \mathbb{R}$ 表示"$v$ 是从 $\mathcal{S}$ 到 $\mathbb{R}$ 的函数"——冒号表示类型声明，箭头表示从定义域到值域。$\mathbb{R}$ 代表实数集。
• $s\mapsto v(s)$ 表示输入 $s$ 映射到输出 $v(s)$。

整体含义：给定一个状态 $s$，返回一个数 $v(s)$。例如 $v(s_1)=3$ 表示状态 $s_1$ 的价值是 $3$。

策略函数类似，输入是状态和动作的组合，输出是概率：

$$\pi :\mathcal{S}\times \mathcal{A}\to [0,1],(s,a)\mapsto \pi (a\mid s).$$

其中：

• $\mathcal{S}\times \mathcal{A}$ 中的 $\times$ 表示笛卡尔积——所有状态-动作对的集合。
• $[0,1]$ 表示值域是 $0$ 到 $1$ 之间的实数，因为概率取值在此区间。
• $(s,a)\mapsto \pi (a\mid s)$ 表示输入状态-动作对，输出在状态 $s$ 下选择动作 $a$ 的概率。

函数要求同一个输入只能对应一个输出。$v(s)$ 对每个状态只给出一个值，满足这一要求。状态转移 $p(s^{\prime }\mid s,a)$ 也是函数——输入"当前状态、动作、下一状态"，返回转移概率。

标量、集合、函数处理的都是"一对一"的关系：一个状态对应一个价值，一个状态-动作对对应一个概率。但强化学习常需要同时处理大量状态——当环境有上千个状态时，逐个写出 $v(s_i)$ 的值将十分繁琐。将所有状态的价值排成一列，作为一个整体来操作，这就是向量。

---

向量

一个环境有三个状态，当前价值估计如下：

状态	价值
s₁	3
s₂	5
s₃	2

将所有数排成一列，作为一个整体来操作：

$$\mathbf{v}=\left[\begin{array}{c}3\\ 5\\ 2\end{array}\right].$$

方括号中的三个数是向量的分量。$\mathbf{v}$ 用粗体表示它是一个向量，区别于单个标量。引入向量后，可以对"所有状态的价值"同时做运算。

加法。 假设每个状态获得额外奖励 $1$，等价于给每个分量加上 $1$：

$${\mathbf{v}}_{new}=\left[\begin{array}{c}3\\ 5\\ 2\end{array}\right]+\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]=\left[\begin{array}{c}4\\ 6\\ 3\end{array}\right].$$

向量加法是逐分量相加。这要求两个向量的长度相同——长度不同的向量不能相加。

数乘。 将向量的每个分量同时乘以一个标量。例如应用折扣因子 $\gamma =0.5$：

$$\gamma \mathbf{v}=0.5\times \left[\begin{array}{c}3\\ 5\\ 2\end{array}\right]=\left[\begin{array}{c}1.5\\ 2.5\\ 1.0\end{array}\right].$$

这对应"未来价值打折扣"。在贝尔曼方程 $v=r+\gamma Pv$ 中，$\gamma v$ 就是这一步——将未来价值按折扣因子缩放后加到即时奖励上。

向量能表示"所有状态的价值"，但无法表示"状态之间如何转移"。从 $s_1$ 出发可能到 $s_2$ 也可能到 $s_3$，这种"从哪个状态到哪个状态、概率多少"的关系，需要矩阵来描述。

---

矩阵

考虑两个状态 $s_1,s_2$ 的情形：

• 从 $s_1$ 出发，下一步一定到 $s_2$。
• 从 $s_2$ 出发，下一步一定到 $s_1$。

这个转移关系写成矩阵：

$$P=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right].$$

矩阵的行对应"从哪个状态出发"，列对应"下一步到哪个状态"。第一行 $[0,1]$ 表示：从 $s_1$ 出发，到 $s_1$ 的概率是 $0$，到 $s_2$ 的概率是 $1$。第二行 $[1,0]$ 同理。

若当前两个状态的价值为：

$$\mathbf{v}=\left[\begin{array}{c}3.33\\ 2.67\end{array}\right],$$

$\mathbf{v}$ 的第一个分量是 $s_1$ 的价值，第二个分量是 $s_2$ 的价值。转移矩阵的每一行是"下一步到各个状态的概率分布"。一行乘以 $\mathbf{v}$，就是把可能到达的下一状态价值按概率加权求和：

$$\text{从 }{s}_1\text{ 出发的下一状态价值}=0\times v(s_1)+1\times v(s_2)=2.67,$$

$$\text{从 }{s}_2\text{ 出发的下一状态价值}=1\times v(s_1)+0\times v(s_2)=\mathrm{3.33.}$$

将两行的结果放回向量，得到 $P\mathbf{v}$——"从每个当前状态出发，下一状态价值的期望"：

$$P\mathbf{v}=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}3.33\\ 2.67\end{array}\right]=\left[\begin{array}{c}2.67\\ 3.33\end{array}\right].$$

结果符合预期：从 $s_1$ 下一步到 $s_2$，未来价值是 $2.67$；从 $s_2$ 下一步到 $s_1$，未来价值是 $3.33$。

一般情形

推广到三个状态，转移关系如下：

当前状态	→ s₁	→ s₂	→ s₃
s₁	0.1	0.7	0.2
s₂	0.0	0.3	0.7
s₃	0.5	0.5	0.0

写成矩阵：

$$P=\left[\begin{array}{ccc}0.1& 0.7& 0.2\\ 0.0& 0.3& 0.7\\ 0.5& 0.5& 0.0\end{array}\right].$$

矩阵的行数和列数都等于状态数 $n$。从 2 个状态到 3 个状态，矩阵从 $2\times 2$ 变成 $3\times 3$，结构不变：第 $i$ 行始终表示"从 $s_i$ 出发，去各个状态的概率"。这一结构对任意数量的状态都成立。

---

矩阵乘法与概率加权

前文将状态价值排成向量，将状态转移排成矩阵。本节分析矩阵乘法的具体运算，并解释它为何恰好对应"概率加权求和"。

设

$$A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right],x=\left[\begin{array}{c}10\\ 20\end{array}\right].$$

则

$$Ax=\left[\begin{array}{c}1\times 10+2\times 20\\ 3\times 10+4\times 20\end{array}\right]=\left[\begin{array}{c}50\\ 110\end{array}\right].$$

矩阵的每一行与向量做一次点积——矩阵乘向量就是多组加权求和。

概率加权的特例

在强化学习中，转移矩阵 $P$ 乘价值向量 $v$ 时，第 $i$ 行表示：从状态 $s_i$ 出发，各下一状态的价值按转移概率加权平均。

具体例子：

$$P=\left[\begin{array}{cc}0.7& 0.3\\ 0.2& 0.8\end{array}\right],v=\left[\begin{array}{c}10\\ 5\end{array}\right].$$

则

$$Pv=\left[\begin{array}{c}0.7\times 10+0.3\times 5\\ 0.2\times 10+0.8\times 5\end{array}\right]=\left[\begin{array}{c}8.5\\ 6\end{array}\right].$$

第一行 $0.7\times 10+0.3\times 5=8.5$ 的含义：从 $s_1$ 出发，有 $70\%$ 概率到达价值为 $10$ 的状态、$30\%$ 概率到达价值为 $5$ 的状态，未来期望价值是 $8.5$。

这里的关键性质是：矩阵的每一行是一组概率（行和为 $1$），因此矩阵乘法恰好实现"概率 × 价值"的加权平均。贝尔曼方程 $v=r+\gamma Pv$ 本质上就是"即时奖励 + 折扣后的概率加权未来价值"。

矩阵乘法并不限于概率矩阵。在神经网络中，权重矩阵的行和通常不是 $1$，但矩阵乘法本质上仍是加权求和。概率加权只是矩阵乘法的一个特例。

---

维度检查

判断线性代数公式是否正确，最简单的方式是检查维度。

有 $n$ 个状态时，价值向量：

$$v\in {\mathbb{R}}^n.$$

状态转移矩阵：

$$P\in {\mathbb{R}}^{n\times n}.$$

因此 $Pv$ 的形状：

$$(n\times n)(n\times 1)=n\times 1.$$

结果仍是一个价值向量。于是

$$v=r+\gamma Pv$$

左右两边形状一致，公式才有意义。

神经网络中的形状检查

如果线性 Q 函数写作

$$Q(s,a)=w^{\top }\varphi (s,a),$$

则 $w$ 和 $\varphi (s,a)$ 必须长度相同。若 $w\in {\mathbb{R}}^d$，则 $\varphi (s,a)\in {\mathbb{R}}^d$，点积结果才是标量。

在神经网络中形状检查同样重要。考虑一个简单的两层网络：

输入（状态特征）128 维 → 隐藏层 64 维 → 输出（动作概率）2 维

权重矩阵的形状：

层	权重矩阵	形状
第 1 层	W₁	128 × 64
第 2 层	W₂	64 × 2

前向传播：

$$h=\sigma (W_1^{\top }x),z=W_2^{\top }h.$$

$W_1$ 是 $128\times 64$，输入 $x$ 是 $128\times 1$，$W_1^{\top }x$ 是 $64\times 1$，中间隐藏层 $h$ 也是 $64\times 1$。$W_2$ 是 $64\times 2$，$W_2^{\top }h$ 是 $2\times 1$，正好是两个动作的 logit。

维度检查是阅读论文和写代码时的一种有效验证手段——许多公式看似复杂，但检查输入输出维度就能判断其合理性。

常见误区

矩阵乘法中，$(A\times B)(B\times C)=A\times C$，中间维度必须一致。如果代码中遇到 RuntimeError: mat1 and mat2 shapes cannot be multiplied，通常是某个张量的维度搞错了。

---

小结

本篇建立了线性代数的五个基本对象：

对象	RL 角色	例子
标量	单个奖励、超参数	r=2，γ=0.9
集合	可能的状态、可能的动作	$S=\{s_1,s_2\}$
函数	价值函数、策略函数	v(s)，π(a|s)
向量	所有状态的价值放在一起	v=[3, 5, 2]ᵀ
矩阵	所有状态之间的转移关系	P ∈ ℝⁿˣⁿ

这些对象之间的关系：标量组成向量，向量构成矩阵，矩阵乘向量实现概率加权。下一篇将这些对象组合成完整的方程组——贝尔曼方程的矩阵形式 $v=r+\gamma Pv$。

下一篇：E.1.2 贝尔曼方程的矩阵形式 —— 将向量、矩阵和矩阵乘法组合起来，写出贝尔曼方程的矩阵形式。