第 7 讲 · 数学期望 E[X]、示性函数线性分解大法与方差的 L² 最优逼近几何意义

1.1 为什么要引入数学期望？——用精度换简便的“划算生意”

在第 7 讲开篇（▶ P36 00:00–02:44），张颢老师回顾道：无论离散随机变量的概率分布列 $\{p_k\}$，还是连续随机变量的分布函数 $F(x)$ 与概率密度 $f(x)$，它们虽然能极其精确地刻画随机变量的全部统计规律，但有一个共同的致命弱点——太复杂了（一长串数或一个复杂函数，记忆、理解与应用都很困难，▶ P36 01:35）！

因此，在实际工程与科学决策中，我们急需一种“退而求其次”的简化方法：只用一两个确定性的数，就对随机变量的宏观脾气产生基本认识（▶ P36 02:08）。虽然用一两个数代替整个分布函数必然损失细节精度，但“在付出精度代价的同时获取了极大的简便，这笔生意非常划算”——这一两个核心数字特征，就是数学期望（均值）与方差。

1.2 数学期望的离散/连续统一定义与三重物理特征（▶ P36 02:44–05:37）

张颢老师在黑板上并列写下了离散型与连续型随机变量的期望定义（▶ P36 02:44）： $$\mathbb{E}[X] = \begin{cases} \displaystyle\sum_{k} x_k \,\mathbb{P}(X = x_k), & \text{（离散型随机变量）} \\[10pt] \displaystyle\int_{-\infty}^{\infty} x \,f_X(x)\,\mathrm{d}x, & \text{（连续型随机变量）} \end{cases}$$ 把上下两个式子结合起来看，张颢老师提炼出期望定义的三条核心规律（▶ P36 03:10–05:14）：

1. 本质是加权求和（积累）：微积分中的积分本质上就是连续化的求和（▶ P36 03:10）；
2. 权重是取值的可能性大小：对随机变量 $X$ 所有可能取到的值 $x$ 进行求和，但每个值赋予的权重不同——取值出现的可能性（概率 $p_k$ 或密度微元 $f_X(x)\,\mathrm{d}x$）越大，在求和中占的权重就越大（物理上完全对应于质量分布的重心 / 质心 Center of Mass）；
3. 期望是一个毫无随机性的确定性常数（▶ P36 03:47–04:41）：随机变量 $X(\omega)$ 是样本空间上的函数，带有不确定性；但一旦求完期望，$\mathbb{E}[X]$ 就是一个没有任何随机性的确定性实数！

---

1.3 绝对收敛铁律：为什么级数/积分必须满足 $\mathbb{E}[|X|] < \infty$？（St. Petersburg 悖论）

在无穷级数 $\sum_{k=1}^\infty x_k p_k$ 或反常积分 $\int_{-\infty}^\infty x f_X(x)\,\mathrm{d}x$ 中，数学期望存在（有限）的严格充要条件是绝对收敛（Absolute Convergence）： $$\sum_{k=1}^{\infty} |x_k|\,\mathbb{P}(X=x_k) < \infty \qquad \text{或} \qquad \int_{-\infty}^{\infty} |x|\,f_X(x)\,\mathrm{d}x < \infty$$

• 经典案例 ①：圣彼得堡悖论（St. Petersburg Paradox） 考虑赌场抛均匀硬币游戏：若第 $k$ 次才首次抛出正面（概率为 $2^{-k}$，$k=1,2,\dots$），赌场赔付给玩家 $X = 2^k$ 元。问玩家入场费定为多少才公平（即求期望收益 $\mathbb{E}[X]$）？ 按期望定义求和： $$\mathbb{E}[X] = \sum_{k=1}^{\infty} 2^k \cdot \frac{1}{2^k} = 1 + 1 + 1 + \cdots = +\infty$$ 尽管理论期望收益是无穷大（似乎花 1 亿元买一张门票都划算），但现实中没人愿意花哪怕 50 元入场——因为赢取巨额奖金的概率按 $2^{-k}$ 指数衰减，级数不收敛，有限次试验的样本均值根本无法稳定收敛！
• 经典案例 ②：为什么条件收敛级数或对称 Cauchy 分布没有期望？ 若离散变量取 $x_k = (-1)^k \frac{2^k}{k}$、概率 $p_k = 2^{-k}$，则 $\sum x_k p_k = \sum \frac{(-1)^k}{k}$ 条件收敛但 $\sum |x_k|p_k = \sum \frac{1}{k} = \infty$。由于样本空间中的离散结果并没有天生的编号先后次序，根据数学分析中的黎曼级数重排定理（Riemann Rearrangement Theorem），打乱求和次序可以让条件收敛级数收敛到任意实数！同理，连续型的 Cauchy 分布 $f_X(x) = \frac{1}{\pi(1+x^2)}$ 虽然关于原点偶对称，但因 $\int_0^\infty \frac{x}{\pi(1+x^2)}\,\mathrm{d}x = +\infty$，其数学期望不存在（绝不等于 0）。

---

1.4 从定义出发算期望：两点分布与二项分布的組合恒等式技巧（▶ P36 05:37–14:40）

为了检验对定义的理解，张颢老师在黑板上先演练了两个基础分布的期望计算：

1. 两点分布（Bernoulli 分布，▶ P36 05:37–07:31）： $X$ 只取 $0$ 和 $1$ 两个值，$\mathbb{P}(X=0)=1-p$，$\mathbb{P}(X=1)=p$。按定义加权求和： $$\mathbb{E}[X] = 0 \cdot (1-p) + 1 \cdot p = p$$ 即 0-1 示性随机变量的数学期望，恰好等于它取 $1$ 的概率！
2. 二项分布 $\operatorname{Bin}(n,p)$ 的定义法硬算（▶ P36 07:31–11:49）： 射击模型一共打 $n$ 枪，各枪独立，单枪命中率为 $p$，命中枪数 $X$ 的分布为 $\mathbb{P}(X=k)=\binom{n}{k}p^k(1-p)^{n-k}$。按定义求期望（▶ P36 08:59）： $$\mathbb{E}[X] = \sum_{k=0}^{n} k \binom{n}{k} p^k (1-p)^{n-k} = \sum_{k=1}^{n} k \cdot \frac{n!}{k!(n-k)!} p^k (1-p)^{n-k}$$ 利用阶乘消元技巧 $k \cdot \frac{n!}{k!(n-k)!} = n \cdot \frac{(n-1)!}{(k-1)!(n-k)!} = n\binom{n-1}{k-1}$，提出公因子 $np$（▶ P36 10:24）： $$\mathbb{E}[X] = np \sum_{k=1}^{n} \binom{n-1}{k-1} p^{k-1}(1-p)^{(n-1)-(k-1)} = np\bigl(p + (1-p)\bigr)^{n-1} = np$$
3. 张颢老师的辛辣点评（▶ P36 11:49–14:40）： 虽然上面用定义算出了 $\mathbb{E}[X]=np$，但张颢老师一针见血地指出：这种先知道完整概率分布 $\mathbb{P}(X=k)$ 再套定义算期望的路数，在真实应用中其实是“逻辑混乱”甚至有点“脱了裤子放屁”（▶ P36 13:37）！

   “我们为什么要退而求其次算期望？恰恰是因为在现实难题中，随机对象的统计规律太复杂，我们根本算不出（或记不住）它的概率分布 $\mathbb{P}(X=k)$！如果连分布列都已经算得一清二楚了（好比高三都已经毕业了），谁还在乎小学二年级的期望？” 那么，在不清楚概率分布列 $\mathbb{P}(X=k)$ 的前提下，如何直接求出复杂随机变量的期望？ 这就引出了全讲最耀眼的武器——期望的万有线性性与示性函数分解大法！

2.1 期望的万有线性性（Universal Linearity）：为什么完全不需要独立性？（▶ P36 17:26 – ▶ P37 02:22）

在 ▶ P36 17:49 与 ▶ P37 00:00–02:22，张颢老师写下了数学期望最核心的灵魂性质——线性性质（Linearity）： $$\mathbb{E}\!\left[\sum_{k=1}^{n} X_k\right] = \sum_{k=1}^{n} \mathbb{E}[X_k], \qquad \mathbb{E}[c X] = c\,\mathbb{E}[X]$$ 紧接着，张颢老师用极其生动的语言反复强调了整门课最容易被初学者忽略的一点（▶ P37 00:15–01:30，▶ P38 05:40）：

“最关键的问题是：这个线性性质没有对参与求和的这些随机变量 $X_1, \dots, X_n$ 相互之间的关联关系进行任何假定！它们爱咋地咋地，爱怎么关联怎么关联，它们之间的关联不管有多么复杂、多么蹊跷、多么难以处理，我都可以完全不管它——期望的线性性质是 Universal（万有通用的），无条件永远成立！”

• 为什么相关性在线性求和中会彻底消失？（交换求和号直觉） 从底层样本空间 $\Omega$ 来看，$X_k(\omega)$ 只是样本点 $\omega$ 的函数。两个随机变量之和的期望： $$\mathbb{E}[X_1 + X_2] = \sum_{\omega \in \Omega} \bigl(X_1(\omega) + X_2(\omega)\bigr)\mathbb{P}(\{\omega\}) = \sum_{\omega \in \Omega} X_1(\omega)\mathbb{P}(\{\omega\}) + \sum_{\omega \in \Omega} X_2(\omega)\mathbb{P}(\{\omega\}) = \mathbb{E}[X_1] + \mathbb{E}[X_2]$$ 或者从联合分布列 $\mathbb{P}(X_1=x_1, X_2=x_2)$ 来看，对联合概率关于另一个变量求和，直接就退化成了各自的边缘分布（Marginal Distribution）！因此求 $\mathbb{E}[\sum X_k]$ 时，根本不需要知道联合分布，只需要知道每个 $X_k$ 自己的边缘概率！

2.2 示性函数分解大法：计算期望的“正确姿势”（▶ P37 01:30–15:56）

有了万有线性性，张颢老师给出了攻克一切复杂计数随机变量期望的标准套路（▶ P37 01:30–03:37）：

• Step ① 示性函数分解：把复杂的全局计数变量 $X$ 分解为若干个最简单的 0-1 两点分布（示性函数 Indicator） 的叠加： $$X = X_1 + X_2 + \cdots + X_n, \qquad X_k = \mathbf{1}_{A_k} = \begin{cases} 1, & \text{若第 } k \text{ 个局部基本事件 } A_k \text{ 发生（对 } X \text{ 贡献 } 1\text{）} \\ 0, & \text{否则（对 } X \text{ 贡献 } 0\text{）} \end{cases}$$
• Step ② 割裂相关性，单算边缘概率：在算单个 $\mathbb{E}[X_k] = \mathbb{P}(X_k=1) = \mathbb{P}(A_k)$ 时，把其余所有变量彻底忘掉，只看第 $k$ 个局部事件自己的对称概率！
• Step ③ 线性求和：$\mathbb{E}[X] = \sum_{k=1}^n \mathbb{E}[X_k] = \sum_{k=1}^n \mathbb{P}(A_k)$。

热身名题 A：$n$ 个人随机拿帽子，平均有几个人戴对自己的帽子？（▶ P36 15:07 – ▶ P37 08:31）

• 在第 2 讲中我们用容斥原理算过“恰有 $k$ 人戴对”的分布列 $\mathbb{P}(X=k) = \frac{1}{k!}\sum_{j=0}^{n-k}\frac{(-1)^j}{j!}$，式子极其繁琐（张颢老师笑称黄明涛助教当年曾从这个分布列硬算过期望 ▶ P37 15:26）。
• 现在用示性函数分解（▶ P37 02:47–07:04）： 令 $X_k = 1$ 表示第 $k$ 个人戴对了帽子，$X_k = 0$ 表示没戴对，则总戴对人数 $X = \sum_{k=1}^n X_k$。虽然 $X_1, \dots, X_n$ 高度相关（比如第 1 人若拿走了第 2 人的帽子，第 2 人就绝不可能戴对；且不可能恰有 $n-1$ 人戴对），但线性性质完全不 care 这种关联！单独看第 $k$ 个人，在完全不管别人的情况下，从 $n$ 顶帽子中拿到自己那顶的概率显然是 $\mathbb{E}[X_k] = \mathbb{P}(X_k=1) = \frac{1}{n}$，故： $$\mathbb{E}[X] = \sum_{k=1}^{n} \mathbb{E}[X_k] = n \times \frac{1}{n} = 1$$ 无论 $n=3$ 还是 $n=10^8$，平均永远只有 $1$ 个人戴对帽子！同理，二项分布 $X=\sum_{k=1}^n X_k$（$X_k\in\{0,1\}$ 表示第 $k$ 枪是否命中，▶ P37 12:01–14:49）一行即得 $\mathbb{E}[X] = \sum_{k=1}^n p = np$！

---

2.3 课堂高难组合题 ①：0-1 序列的游程数（Runs）期望（▶ P37 15:56 – ▶ P38 06:11）

问题（▶ P37 16:32）：给定一串长度为 $n$ 的随机二进制 0-1 码流，每一位独立地以概率 $p$ 取 1、以概率 $1-p$ 取 0。连续相同的符号段称为一个游程（Run）（例如 1100010 共有 11、000、1、0 四个游程）。求游程数目（或相邻变化次数）的数学期望。

• 张颢老师的黑板破题妙招：不要盯着“码”，要盯着码与码之间的“间隔（跳变）”！（▶ P38 00:34–03:36） 如果把分解的着眼点放在第 $k$ 位比特本身是 0 还是 1 上，你会发现它对总游程数的贡献根本说不清楚（取决于它前后的比特跟它一不一样）。 什么才真正产生新的游程？是相邻两位比特之间的“变化（跳变）”！ 每当相邻两位发生跳变（前 1 后 0，或前 0 后 1），游程数就增加 $1$！
• 示性函数构造与一行求解（▶ P38 02:27–06:11）： 长为 $n$ 的序列一共有 $n-1$ 个相邻间隔。对第 $k$ 个间隔（$k=1,2,\dots,n-1$），定义示性随机变量： $$X_k = \begin{cases} 1, & \text{若第 } k \text{ 个间隔前后两位码不同（发生跳变 10 或 01）} \\ 0, & \text{若第 } k \text{ 个间隔前后两位码相同（无变化 00 或 11）} \end{cases}$$
  • 注意相关性（▶ P38 05:07）：相邻的两个间隔 $X_k$ 与 $X_{k+1}$ 共用中间同一个比特，显然不是独立的！但正如张颢老师所言：“期望的线性性质非常豪横，爱谁谁，线性总是成立！”
  • 单个间隔跳变的边缘概率（▶ P38 04:06）：第 $k$ 个间隔发生跳变只有“前 1 后 0”（概率 $p(1-p)$）或“前 0 后 1”（概率 $(1-p)p$）两种互斥情况，故： $$\mathbb{E}[X_k] = \mathbb{P}(X_k = 1) = 2p(1-p)$$
  • 线性求和得最终期望：$(n-1)$ 个间隔的总跳变次数期望为 $\sum_{k=1}^{n-1}\mathbb{E}[X_k] = 2(n-1)p(1-p)$；由于第 1 位本身开启第 1 个游程，之后每次跳变新增 1 个游程，故总游程数 $R = 1 + \sum_{k=1}^{n-1} X_k$ 的数学期望为： $$\mathbb{E}[R] = 1 + 2(n-1)p(1-p)$$

---

2.4 课堂高难组合题 ②：$N$ 对夫妻随机留存与随机入座相邻配对数期望（▶ P38 06:11–14:15）

在 ▶ P38 06:11，张颢老师引述了 300 年前伯努利家族杰出成员 Daniel Bernoulli（丹尼尔·伯努利） 提出的经典夫妻配对问题：

1. 课堂黑板原题：$n$ 对夫妻开 Party 被抽走 $m$ 人后剩余完整夫妻对数（▶ P38 06:37–14:15）

   • 问题：房间里有 $n$ 对夫妻（共 $2n$ 个人）开 Party，主人随机从这 $2n$ 个人中叫走 $m$ 个人去帮忙准备甜点（不按夫妻成对叫，完全随机抽人）。求房间里剩下的完整夫妻对数 $X$ 的数学期望 $\mathbb{E}[X]$。
   • 示性函数分解：共有 $n$ 对夫妻，只有当第 $k$ 对夫妻（丈夫和妻子两人）全部留下来时，才对剩余完整夫妻对数 $X$ 贡献 $1$。故令： $$X = \sum_{k=1}^{n} X_k, \qquad X_k = \begin{cases} 1, & \text{第 } k \text{ 对夫妻两人全部留在房间里} \\ 0, & \text{第 } k \text{ 对夫妻至少有一人被叫走} \end{cases}$$
   • 单算第 $k$ 对夫妻留下的概率（▶ P38 12:14–13:03）： 完全不用管其他夫妻！总抽人方式有 $\binom{2n}{m}$ 种；要让第 $k$ 对夫妻两人都留下来，说明被叫走的 $m$ 个人必须全部从其余 $2n - 2$ 个人中选出，共有 $\binom{2n-2}{m}$ 种选法。因此： $$\mathbb{E}[X_k] = \mathbb{P}(X_k = 1) = \frac{\binom{2n-2}{m}}{\binom{2n}{m}} = \frac{(2n-m)(2n-m-1)}{2n(2n-1)}$$
   • 线性求和（▶ P38 13:40）： $$\mathbb{E}[X] = \sum_{k=1}^{n} \mathbb{E}[X_k] = n \cdot \frac{\binom{2n-2}{m}}{\binom{2n}{m}} = \frac{(2n-m)(2n-m-1)}{2(2n-1)}$$

2. 经典同构变体：$n$ 对夫妻圆桌随机入座，平均有几对夫妻恰好相邻而坐？

   • $n$ 对夫妻（$2n$ 个人）在圆桌的 $2n$ 个座位上完全随机入座。令 $I_k = \mathbf{1}_{\{\text{第 } k \text{ 对夫妻相邻而坐}\}}$（$k=1,\dots,n$）。
   • 单独看第 $k$ 对夫妻：妻子先坐定某个座位后，圆桌上还剩 $2n-1$ 个空位，其中与妻子左右相邻的座位恰有 $2$ 个！因此丈夫恰好坐在妻子旁边的概率为 $\mathbb{E}[I_k] = \frac{2}{2n-1}$。
   • 由万有线性性，相邻夫妻对数 $Y = \sum_{k=1}^n I_k$ 的期望为： $$\mathbb{E}[Y] = n \times \frac{2}{2n-1} = \frac{2n}{2n-1} \xrightarrow{n\to\infty} 1$$ （若排成一列长排坐 $2n$ 个位置，则每对夫妻相邻概率为 $\frac{2n-1}{\binom{2n}{2}} = \frac{1}{n}$，期望恒为 $n \times \frac{1}{n} = 1$ 对！）

---

2.5 课堂高难组合题 ③：分球入盒空盒数期望与 Daniel Bernoulli 双罐墨水扩散模型（▶ P38 14:42 – ▶ P39 10:28）

1. 分球入盒空盒数期望（Occupancy Problem）

   • 将 $n$ 个球独立随机地放入 $m$ 个盒子中（每个球落入各盒概率均为 $1/m$），求最终空盒子个数 $X$ 的数学期望。
   • 若先求“恰有 $k$ 个空盒”的分布列 $\mathbb{P}(X=k)$，需要动用极其繁琐的容斥原理（Stirling 第二类数）。
   • 用示性函数一步秒杀：盯着盒子看！令 $X_k = \mathbf{1}_{\{\text{第 } k \text{ 个盒子为空}\}}$（$k=1,\dots,m$），则 $X = \sum_{k=1}^m X_k$。单个盒子为空当且仅当全部 $n$ 个球都避开了它，概率为 $\mathbb{E}[X_k] = \bigl(1 - \frac{1}{m}\bigr)^n$。故： $$\mathbb{E}[X] = \sum_{k=1}^{m} \mathbb{E}[X_k] = m\left(1 - \frac{1}{m}\right)^n$$

2. 课堂板书压轴：Daniel Bernoulli 双罐摸球扩散模型（▶ P38 14:42–19:09, ▶ P39 00:00–10:28）

   • 物理背景（▶ P38 14:42–18:44）：设有 1 号（左）、2 号（右）两个罐子。初始时刻，1 号罐装满 $n$ 个黑球（好比一罐纯墨水），2 号罐装满 $n$ 个红球（好比一罐纯水）。每次交换操作定义为：从左罐随机摸出 1 个球放进右罐，同时从右罐随机摸出 1 个球放进左罐。如此重复进行 $N$ 次交换后，问 1 号罐中还剩多少个黑球 $X$？ 求 $\mathbb{E}[X]$。
   • Step ① 示性函数分解（▶ P39 00:00–02:32）： 共有 $n$ 个黑球，令 $X = \sum_{k=1}^n X_k$，其中： $$X_k = \begin{cases} 1, & \text{经过 } N \text{ 次交换后，第 } k \text{ 个黑球仍然留在 1 号（左）罐} \\ 0, & \text{经过 } N \text{ 次交换后，第 } k \text{ 个黑球跑到了 2 号（右）罐} \end{cases}$$
   • Step ② 偶数次折返条件与虚拟空抽技巧（▶ P39 03:03–05:01, 18:29–19:09）： 第 $k$ 个黑球一开始在左罐。每次交换包含“左 $\to$ 右”和“右 $\to$ 左”两次跨罐抽取，$N$ 次交换一共经历了 $2N$ 次抽取步骤。无论第 $k$ 个黑球当前在哪个罐子，该罐在对应半步中被抽到它的概率恒为 $x = \frac{1}{n}$，未被抽到的概率恒为 $1 - x = 1 - \frac{1}{n}$（若某半步是在另一个罐子抽球，利用对称性可等效视为在含 $n$ 球的当前罐作独立 Bernoulli($1/n$) 判定，详见张颢老师课间答疑 ▶ P39 18:29）。 要使第 $k$ 个黑球在 $2N$ 步之后最终回到（或留在）左罐，当且仅当它在这 $2N$ 次抽取中被选中的总次数 $i$ 是偶数（“摸过去又摸回来，摸过去又摸回来”，0 次、2 次、4 次……，▶ P39 03:56）！
   • Step ③ 二项式奇偶抵消求偶次项之和（▶ P39 05:01–10:05）： 记 $x = \frac{1}{n}$，我们需要计算二项分布偶次项概率之和 $\mathbb{P}(X_k=1) = \sum_{i\text{ 为偶数}} \binom{2N}{i} x^i (1-x)^{2N-i}$。张颢老师在黑板上写出上下两个二项式展开（▶ P39 06:04–09:04）： $$\begin{aligned} \bigl((1-x) + x\bigr)^{2N} &= \sum_{i=0}^{2N} \binom{2N}{i} x^i (1-x)^{2N-i} = 1 \\ \bigl((1-x) - x\bigr)^{2N} &= \sum_{i=0}^{2N} \binom{2N}{i} (-x)^i (1-x)^{2N-i} = \left(1 - \frac{2}{n}\right)^{2N} \end{aligned}$$ 将两式相加，所有奇数次项（$i$ 为奇数时一正一负）瞬间抵消，恰好剩下 $2$ 倍的偶数次项之和！因此除以 $2$ 立得： $$\mathbb{E}[X_k] = \mathbb{P}(X_k = 1) = \frac{1}{2}\left[1 + \left(1 - \frac{2}{n}\right)^{2N}\right]$$
   • Step ④ 线性求和与热力学扩散平衡极限（▶ P39 09:30–10:28）： 乘以黑球总数 $n$，即得 $N$ 次交换后 1 号罐内黑球数的精确数学期望： $$\mathbb{E}[X] = \sum_{k=1}^{n} \mathbb{E}[X_k] = \frac{n}{2}\left[1 + \left(1 - \frac{2}{n}\right)^{2N}\right]$$ 当交换次数 $N \to \infty$ 时，$\bigl(1 - \frac{2}{n}\bigr)^{2N} \to 0$，$\mathbb{E}[X] \to \frac{n}{2}$——纯墨水与纯水经过充分扩散后，左右两罐浓度彻底达到 $50\%$ 热力学平衡！

3.1 方差的定义与平方展开公式（▶ P40 00:00–04:21）

在 ▶ P40 00:23–01:44，张颢老师正式引入了与均值相伴相生的第二个核心数字特征——方差（Variance），并给出了课堂最常用的展开计算式： $$\operatorname{Var}(X) \triangleq \mathbb{E}\!\left[\bigl(X - \mathbb{E}[X]\bigr)^2\right] = \mathbb{E}\!\left[X^2 - 2X\,\mathbb{E}[X] + (\mathbb{E}[X])^2\right] = \mathbb{E}[X^2] - \bigl(\mathbb{E}[X]\bigr)^2$$ （因为 $\mathbb{E}[X]$ 是确定性常数，可以从内层期望中直接提出来：$\mathbb{E}[2X\,\mathbb{E}X] = 2(\mathbb{E}X)\cdot\mathbb{E}[X] = 2(\mathbb{E}X)^2$，一正两负合并即得“平方的均值减去均值的平方”，▶ P40 01:16）。

随后，张颢老师围绕方差展开了三点极其深刻的注解（▶ P40 01:44 – ▶ P41 02:14）：

---

3.2 注解一：方差刻画散布程度（Dispersion）与均值认识的“精度”（▶ P40 01:44–04:21）

• 均值 $\mathbb{E}[X]$ 描述的是随机变量在数轴上取值的平均位置（重心）；
• 方差 $\operatorname{Var}(X)$ 描述的则是 Dispersion（散布程度）——即随机变量的取值在平均意义上围绕均值“散得有多开”（▶ P40 02:52）。
• 注意区分（▶ P40 03:14）：方差绝不是“最大可能取值减去最小可能取值（极差）”，因为像正态分布或泊松分布这样的随机变量取值范围是无穷大的，但它们的方差依然是有限常数！
• 工程认识论意义（▶ P40 03:43）：如果把期望 $\mathbb{E}[X]$ 看作我们对随机变量 $X$ 的单点近似认识，那么方差 $\operatorname{Var}(X)$ 刻画的就是这一认识的精度（Precision）——方差越小，把 $X$ 当成常数 $\mathbb{E}[X]$ 的误差就越小。

---

3.3 注解二：非线性函数不可交换与凸函数 Jensen 不等式（▶ P40 04:21–17:13）

由方差的非负性 $\operatorname{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}X)^2 \ge 0$，立得 $\mathbb{E}[X^2] \ge (\mathbb{E}X)^2$（▶ P40 04:57）。张颢老师由此引出一个普遍问题（▶ P40 05:29–07:53）：

• 当 $g(x)$ 是线性函数时，函数作用与求期望算子可以自由交换：$\mathbb{E}[g(X)] = g(\mathbb{E}[X])$；
• 当 $g(x)$ 是非线性函数时，等号通常不再成立！那么什么时候能有明确的不等号关系？

凸函数（Convex Function）与支撑直线法证明 Jensen 不等式（▶ P40 08:17–16:08）

1. 凸函数的定义（▶ P40 08:17–10:13）：若函数 $g(x)$ 满足对任意 $x, y$ 及 $\alpha \in [0,1]$，恒有： $$g\bigl(\alpha x + (1-\alpha)y\bigr) \le \alpha g(x) + (1-\alpha) g(y)$$ （即任意两点凸组合处的函数值低于函数值的凸组合，图像呈“向上弯曲的碗形”，在光滑条件下等价于二阶导数 $g''(x) \ge 0$；张颢老师特别提醒不要陷入中文“凹凸”字面争论，数学界统一将碗形 $g''\ge 0$ 称为 Convex 凸函数，▶ P40 09:10）。
2. 支撑直线性质（Support Line Property，▶ P40 10:46–12:54）： 凸函数最核心的几何性质是：在定义域内任意固定一点 $a$ 处，总能找到一条支撑直线（Supporting Line，光滑时即为切线）从下方托住整个函数图像！即存在依赖于 $a$ 的斜率常数 $l$，使得对一切实数 $x$ 恒有： $$g(x) \ge g(a) + l\cdot (x - a)$$
3. 三行证毕 Jensen 不等式（▶ P40 12:54–15:40）：
   • 第一步（代入随机变量）：既然上式对一切实数 $x$ 成立，将随机变量 $X$ 代入得 $g(X) \ge g(a) + l\cdot(X - a)$；
   • 第二步（两边同时取期望）：利用期望的保序性与线性性（注意 $g(a)$ 与 $l$ 均为确定性常数）： $$\mathbb{E}[g(X)] \ge g(a) + l\cdot\bigl(\mathbb{E}[X] - a\bigr)$$
   • 第三步（神来之笔：取支撑点 $a = \mathbb{E}[X]$，▶ P40 14:14）：既然上式对任意固定点 $a$ 都成立，我们专门挑选 $a = \mathbb{E}[X]$！此时右侧第二项 $l\cdot(\mathbb{E}[X] - \mathbb{E}[X]) = 0$ 瞬间消失，立即得到著名的 Jensen 不等式（琴生/杨森不等式）： $$\mathbb{E}\bigl[g(X)\bigr] \ge g\bigl(\mathbb{E}[X]\bigr) \qquad (\text{对任意凸函数 } g)$$
   • 推论（▶ P40 16:08）：取 $g(x) = x^2$，由于 $g''(x) = 2 > 0$ 是严格凸函数，由 Jensen 不等式直接推出 $\mathbb{E}[X^2] \ge (\mathbb{E}[X])^2$，即 $\operatorname{Var}(X) \ge 0$！

---

3.4 注解三：期望与方差的 $L^2$ 最优常数逼近几何意义（▶ P40 17:13 – ▶ P41 02:14）

在 ▶ P40 17:13，张颢老师提出了一个将期望与方差彻底融为一体的最优化问题：

问题：随机变量 $X$ 是一个复杂的函数，如果我们想找一个确定性常数 $a \in \mathbb{R}$ 去逼近随机变量 $X$，使得它们之间的均方距离（$L^2$ 误差） $\mathbb{E}\bigl[(X - a)^2\bigr]$ 最小： $$\min_{a \in \mathbb{R}} \; \mathbb{E}\bigl[(X - a)^2\bigr]$$ 最优的常数 $a^*$ 应该取什么？最小的距离平方又是多少？

• 微积分求导求解（▶ P40 18:53 – ▶ P41 00:25）： 对目标函数关于参数 $a$ 求导并令导数为 $0$（将求导与期望次序交换）： $$\frac{\mathrm{d}}{\mathrm{d}a}\mathbb{E}\bigl[(X - a)^2\bigr] = \mathbb{E}\!\left[\frac{\mathrm{d}}{\mathrm{d}a}(X - a)^2\right] = -2\,\mathbb{E}[X - a] = -2\bigl(\mathbb{E}[X] - a\bigr) = 0 \quad\Longrightarrow\quad \mathbf{a^* = \mathbb{E}[X]}$$ 或者用正交配方法展开：$\mathbb{E}[(X-a)^2] = \mathbb{E}[(X-\mathbb{E}X + \mathbb{E}X - a)^2] = \operatorname{Var}(X) + (a - \mathbb{E}[X])^2$，这是一个关于 $a$ 的开口向上的抛物线，顶点唯一落在 $a^* = \mathbb{E}[X]$ 处！
• 张颢老师的金句总结（▶ P41 00:25–02:14）：
  1. 什么叫数学期望 $\mathbb{E}[X]$？ 期望就是距离随机变量 $X$ 最近的那个确定性常数！（▶ P41 00:52）
  2. 什么叫方差 $\operatorname{Var}(X)$？ 把最优解 $a^* = \mathbb{E}[X]$ 代回目标函数，得到的最小均方距离 $\min_a \mathbb{E}[(X-a)^2] = \mathbb{E}[(X-\mathbb{E}X)^2]$ 恰恰就是方差！也就是说，方差就是那个最近距离的平方（最优常数逼近下不可消除的残差能量）！（▶ P41 01:20）
  3. 孪生关系：期望是取到最小值的自变量 $\arg\min$，方差是对应的最小值 $\min$——两者相生相伴，说的完全是同一件事（用常数逼近随机变量）！

---

3.5 样本均值 $\bar{X}$ 与样本方差 $S^2$：为什么分母必须是 $n-1$？（▶ P39 11:12–14:00, ▶ P41 02:14–19:09）

在实验科学中，我们对总体重复独立观测 $n$ 次，得到独立同分布（i.i.d.）的样本 $X_1, X_2, \dots, X_n$（设总体均值为 $\mathbb{E}[X_1]$，总体方差为 $\operatorname{Var}(X_1)$）。

1. 样本均值 $\bar{X} = \frac{1}{n}\sum_{k=1}^n X_k$ 的双重身份（▶ P41 02:14–05:46）：

   • 如果把观测值 $x_1, \dots, x_n$ 看成一串固定的数，寻找一个数 $x$ 使欧氏距离平方和 $\sum_{k=1}^n (x_k - x)^2$ 最小，求导立得最优解正是算术平均 $\bar{x} = \frac{1}{n}\sum_{k=1}^n x_k$（▶ P41 03:04）；
   • 如果把 $X_1, \dots, X_n$ 看成 i.i.d. 随机变量，则样本均值 $\bar{X}$ 本身也是随机变量，且由期望线性性知它是总体均值的无偏估计：$\mathbb{E}[\bar{X}] = \frac{1}{n}\sum_{k=1}^n \mathbb{E}[X_k] = \mathbb{E}[X_1]$（▶ P41 05:11）。

2. 为什么样本方差定义为 $S^2 = \frac{1}{n-1}\sum_{k=1}^n (X_k - \bar{X})^2$，分母是 $n-1$ 而不是 $n$？（▶ P41 05:46–19:09） 张颢老师指出（▶ P41 07:13）：如果我们知道真实的确定性均值 $\mu = \mathbb{E}[X_1]$，那么 $\frac{1}{n}\sum_{k=1}^n (X_k - \mu)^2$ 的期望确实等于 $\operatorname{Var}(X_1)$；但现实中我们不知道真实均值 $\mu$，只能拿样本均值 $\bar{X}$ 去顶替它！下面用 5 分钟黑板硬核推导算清 $\mathbb{E}\bigl[\sum_{k=1}^n (X_k - \bar{X})^2\bigr]$（▶ P41 08:47–17:44）：

   • Step ① 展开平方和并合并同类项（▶ P41 09:16–12:06）： $$\begin{aligned} \mathbb{E}\!\left[\sum_{k=1}^{n} (X_k - \bar{X})^2\right] &= \mathbb{E}\!\left[\sum_{k=1}^{n} X_k^2 - 2\bar{X}\sum_{k=1}^{n} X_k + \sum_{k=1}^{n} \bar{X}^2\right] \\ &= \sum_{k=1}^{n} \mathbb{E}[X_k^2] - 2\mathbb{E}\bigl[\bar{X}\cdot (n\bar{X})\bigr] + n\mathbb{E}[\bar{X}^2] = n\,\mathbb{E}[X_1^2] - n\,\mathbb{E}[\bar{X}^2] \end{aligned}$$
   • Step ② 单独攻克样本均值平方的期望 $\mathbb{E}[\bar{X}^2]$（▶ P41 12:06–15:46）： 将 $\bar{X} = \frac{1}{n}\sum_{k=1}^n X_k$ 的平方完全展开为 $n$ 个平方项 与 $n(n-1)$ 个交叉乘积项： $$\mathbb{E}[\bar{X}^2] = \frac{1}{n^2}\,\mathbb{E}\!\left[\left(\sum_{k=1}^{n} X_k\right)^2\right] = \frac{1}{n^2}\,\mathbb{E}\!\left[\sum_{k=1}^{n} X_k^2 + \sum_{i \neq j} X_i X_j\right]$$ 关键节点（▶ P41 13:24）：因为样本 $X_i$ 与 $X_j$（$i \neq j$）相互独立，乘积的期望等于各自期望的乘积 $\mathbb{E}[X_i X_j] = \mathbb{E}[X_i]\mathbb{E}[X_j] = (\mathbb{E}[X_1])^2$！而这样的交叉项一共有 $n(n-1)$ 个，因此： $$\mathbb{E}[\bar{X}^2] = \frac{1}{n^2}\Bigl[n\,\mathbb{E}[X_1^2] + n(n-1)\bigl(\mathbb{E}[X_1]\bigr)^2\Bigr] = \frac{1}{n}\mathbb{E}[X_1^2] + \frac{n-1}{n}\bigl(\mathbb{E}[X_1]\bigr)^2$$
   • Step ③ 代回原式，见证 $(n-1)$ 的诞生（▶ P41 15:46–18:40）： 将 $n\,\mathbb{E}[\bar{X}^2] = \mathbb{E}[X_1^2] + (n-1)(\mathbb{E}[X_1])^2$ 代回 Step ①： $$\begin{aligned} \mathbb{E}\!\left[\sum_{k=1}^{n} (X_k - \bar{X})^2\right] &= n\,\mathbb{E}[X_1^2] - \Bigl(\mathbb{E}[X_1^2] + (n-1)\bigl(\mathbb{E}[X_1]\bigr)^2\Bigr) \\ &= (n-1)\Bigl(\mathbb{E}[X_1^2] - \bigl(\mathbb{E}[X_1]\bigr)^2\Bigr) = (n-1)\operatorname{Var}(X_1) \end{aligned}$$ “事实胜于雄辩，算出来的才是最精准的！”（▶ P41 17:17） 为了让样本方差 $S^2$ 在期望意义下恰好等于真实方差 $\operatorname{Var}(X_1)$，必须把分母写成 $n-1$！