第 13 讲 · 多维雅可比变换、次序统计量与极限定理：Markov/Chebyshev、大数定律与中心极限定理

1.1 为什么多元对多元变换不用分布函数法？（▶ P67 05:44–09:31）

在课程开篇（▶ P67 03:40–05:44），张颢老师回顾了多元分布及特征函数将独立和的“密度卷积”化为“频域相乘”的威力。随后提出本讲第一个核心问题（▶ P67 05:44）：设 $n$ 维连续随机矢量 $\mathbf{X}$ 具有已知联合概率密度 $f_{\mathbf{X}}(\mathbf{x})$，若 $\mathbf{Y} = \mathbf{g}(\mathbf{X})$ 是从 $\mathbb{R}^n$ 到 $\mathbb{R}^n$ 的一对一（双射）且充分光滑的映射，如何求 $\mathbf{Y}$ 的联合概率密度 $f_{\mathbf{Y}}(\mathbf{y})$？

在一维情形或多元到一维情形中，我们习惯先算分布函数 $\mathbb{P}(Y_1\le y_1,\dots,Y_n\le y_n)$ 再求偏导；但在 $n$ 维对 $n$ 维的非线性映射下，半无穷矩形区域 $\prod (-\infty, y_i]$ 经逆映射 $\mathbf{g}^{-1}$ 变形后边界极其扭曲，直接套分布函数定义十分困难（▶ P67 08:24）。

1.2 黑板推导：任意区域 $A$ 上的积分换元三步法（▶ P67 09:31–P68 02:18）

张颢老师指出：这个问题本质上只是一个多元微积分换元！我们不局限于半无穷矩形，而是在 $\mathbb{R}^n$ 中任取一个可测集合 $A$，考察事件 $\{\mathbf{Y}\in A\}$ 的概率（▶ P67 09:31–16:08）：

1. 一方面（按 $\mathbf{Y}$ 的密度定义）： $$\mathbb{P}(\mathbf{Y}\in A) = \int_A f_{\mathbf{Y}}(\mathbf{y})\,\mathrm{d}\mathbf{y}$$
2. 另一方面（转化为 $\mathbf{X}$ 的事件并作多元积分换元，▶ P67 16:08–18:34）： 由于 $\mathbf{Y}=\mathbf{g}(\mathbf{X})$ 一对一，当 $\mathbf{Y}\in A$ 时等价于 $\mathbf{X}\in \mathbf{g}^{-1}(A)$，故： $$\mathbb{P}(\mathbf{Y}\in A) = \mathbb{P}\bigl(\mathbf{X}\in \mathbf{g}^{-1}(A)\bigr) = \int_{\mathbf{g}^{-1}(A)} f_{\mathbf{X}}(\mathbf{x})\,\mathrm{d}\mathbf{x}$$ 现在对右端积分执行微积分积分换元三件事（▶ P67 17:20）：
   • 第一件事（旧元换新元）：将被积函数中的旧变量 $\mathbf{x}$ 全部替换为 $\mathbf{g}^{-1}(\mathbf{y})$；
   • 第二件事（乘雅可比行列式绝对值）：将体积微元 $\mathrm{d}\mathbf{x} = \mathrm{d}x_1\cdots\mathrm{d}x_n$ 换为新微元 $\left|\det\frac{\partial\mathbf{x}}{\partial\mathbf{y}}\right|\mathrm{d}\mathbf{y}$；
   • 第三件事（对齐积分区域）：当 $\mathbf{x}$ 跑遍 $\mathbf{g}^{-1}(A)$ 时，新变量 $\mathbf{y}$ 恰好跑遍集合 $A$！ 于是右端化为： $$\int_A f_{\mathbf{X}}\bigl(\mathbf{g}^{-1}(\mathbf{y})\bigr)\left|\det\frac{\partial\mathbf{x}}{\partial\mathbf{y}}\right|\,\mathrm{d}\mathbf{y}$$
3. 任意区域匹配得密度公式（▶ P68 00:00–01:56）： 由于集合 $A$ 是任意选取的，在相同积分区域 $A$ 上两个积分恒相等，其被积函数必然几乎处处相等！由此立得多维随机向量可逆变换公式： $$f_{\mathbf{Y}}(\mathbf{y}) = f_{\mathbf{X}}\bigl(\mathbf{g}^{-1}(\mathbf{y})\bigr)\left|\det\frac{\partial\mathbf{x}}{\partial\mathbf{y}}\right| = f_{\mathbf{X}}\bigl(\mathbf{g}^{-1}(\mathbf{y})\bigr)\left|\det\frac{\partial\mathbf{y}}{\partial\mathbf{x}}\right|^{-1}$$

---

1.3 经典黑板例题：极坐标变换、通信信道 Rayleigh 衰落与 Box–Muller 算法（▶ P68 02:18–18:34）

• 正演：两个独立零均值高斯的幅度与相位（▶ P68 02:18–10:22） 设 $X_1, X_2 \overset{\text{i.i.d.}}{\sim} \mathcal{N}(0, \sigma^2)$，联合密度为 $f_{X_1,X_2}(x_1,x_2) = \frac{1}{2\pi\sigma^2}\exp\bigl(-\frac{x_1^2+x_2^2}{2\sigma^2}\bigr)$。令极径（幅度/包络）$R = \sqrt{X_1^2+X_2^2}$、极角（相位）$\Theta = \arctan(X_2/X_1)\in[0,2\pi)$。在极坐标换元 $x_1=r\cos\theta,\,x_2=r\sin\theta$ 下，微元关系 $\mathrm{d}x_1\mathrm{d}x_2 = r\,\mathrm{d}r\,\mathrm{d}\theta$ 直接给出雅可比行列式 $\left|\det\frac{\partial(x_1,x_2)}{\partial(r,\theta)}\right| = r$（▶ P68 05:31）。代入公式立得： $$f_{R,\Theta}(r,\theta) = \frac{r}{2\pi\sigma^2}e^{-r^2/(2\sigma^2)}\,\mathbf{1}_{\{r>0,\,\theta\in[0,2\pi)\}} = \underbrace{\frac{r}{\sigma^2}e^{-r^2/(2\sigma^2)}\mathbf{1}_{\{r>0\}}}_{f_R(r)\text{（Rayleigh 分布）}} \cdot \underbrace{\frac{1}{2\pi}\mathbf{1}_{[0,2\pi)}(\theta)}_{f_\Theta(\theta)\text{（均匀分布）}}$$ 张颢老师特别强调了两个惊人结论（▶ P68 08:23–10:22）：① 两个独立零均值高斯的包络 $R$ 服从 Rayleigh（瑞利）分布，这是无线通信理解多径信道起伏衰落的物理基石；② 联合密度完美拆成 $f_R(r)f_\Theta(\theta)$，说明直角坐标独立的正交高斯分量变换到极坐标后，幅度 $R$ 与相位 $\Theta$ 依然相互独立！
• 反演：Box–Muller 高斯伪随机数生成算法（▶ P68 10:22–18:34） 计算机只能先通过同余法产生 $(0,1)$ 均匀伪随机数 $U$。对一般分布可用逆变换 $F^{-1}(U)$ 采样，但高斯分布函数 $\Phi(x)$ 积不出初等解析式，无法直接求逆（▶ P68 10:59）。张颢老师展示了绝妙的反向思维（极坐标法 / Box–Muller 变换，▶ P68 11:27–18:34）：
  1. 先取两个独立的均匀随机数 $U_1, U_2 \overset{\text{i.i.d.}}{\sim} \operatorname{Unif}(0,1)$；
  2. 令 $\Theta = 2\pi U_2 \sim \operatorname{Unif}(0,2\pi)$；同时由前几讲知识，$-\ln U_1 \sim \operatorname{Exp}(1)$，乘 $2$ 再开方得 $R = \sqrt{-2\ln U_1}$，恰好服从 $\sigma=1$ 的 Rayleigh 分布，且 $R$ 与 $\Theta$ 独立（▶ P68 15:02–16:35）！
  3. 将 $(R,\Theta)$ 投回直角坐标： $$X_1 = \sqrt{-2\ln U_1}\cos(2\pi U_2), \qquad X_2 = \sqrt{-2\ln U_1}\sin(2\pi U_2)$$ 则 $(X_1,X_2)$ 必然是两个相互独立的标准正态随机变量 $\mathcal{N}(0,1)$！输入两个均匀数，输出两个独立高斯数，效率极高——这正是早期科学计算软件中 randn 函数的核心策略（▶ P68 18:16）。

2.1 为什么 $(\min, \max)$ 不能直接套用光滑双射雅可比公式？（▶ P69 00:32–02:53）

设 $X_1, X_2 \overset{\text{i.i.d.}}{\sim} \operatorname{Exp}(\lambda)$，其各自密度为 $f(x) = \lambda e^{-\lambda x}\mathbf{1}_{\{x>0\}}$，分布函数为 $F(x) = (1 - e^{-\lambda x})\mathbf{1}_{\{x>0\}}$。现定义极值（二元次序统计量）： $$Y_1 = \min(X_1, X_2), \qquad Y_2 = \max(X_1, X_2)$$ 张颢老师指出（▶ P69 01:54–02:53）：这个变换非常明确，但它不是一对一映射，并且在主对角线 $x_1=x_2$ 上不可导！因为在第一象限中，对称点 $(x_1, x_2)$ 与 $(x_2, x_1)$ 会被折叠映射到同一个次序点 $(y_1, y_2)$。因此我们不能盲目硬套全局双射雅可比公式，而应当“返璞归真”，回到联合分布函数的定义！

2.2 返璞归真：联合分布函数的矩形差分技巧（▶ P69 02:53–07:34）

当 $0 < y_1 \le y_2$ 时，我们要计算联合分布函数 $F_{Y_1,Y_2}(y_1, y_2) = \mathbb{P}(Y_1 \le y_1,\; Y_2 \le y_2)$：

• 突破口分析（▶ P69 03:23–04:56）：
  • “最大值 $Y_2 \le y_2$”非常好算，因为最大者都不超过 $y_2$ 等价于每一个都不超过 $y_2$：$\{Y_2 \le y_2\} \iff \{X_1 \le y_2,\; X_2 \le y_2\}$；
  • 但“最小值 $Y_1 \le y_1$”却不好直接拆成乘积，我们真正喜欢算的是“最小值大于 $y_1$”，因为最小者都大于 $y_1$ 等价于每一个都大于 $y_1$：$\{Y_1 > y_1\} \iff \{X_1 > y_1,\; X_2 > y_1\}$！
• 事件拆分与独立性代入（▶ P69 04:56–07:34）： 利用事件差集，将 $\{Y_1 \le y_1,\; Y_2 \le y_2\}$ 改写为全集 $\{Y_2 \le y_2\}$ 减去补事件 $\{Y_1 > y_1,\; Y_2 \le y_2\}$（注意前提是 $y_1 \le y_2$）： $$\begin{aligned} F_{Y_1,Y_2}(y_1, y_2) &= \mathbb{P}(Y_2 \le y_2) - \mathbb{P}(Y_1 > y_1,\; Y_2 \le y_2) \\ &= \mathbb{P}(X_1 \le y_2,\; X_2 \le y_2) - \mathbb{P}(y_1 < X_1 \le y_2,\; y_1 < X_2 \le y_2) \\ &= \bigl(1 - e^{-\lambda y_2}\bigr)^2 - \bigl(e^{-\lambda y_1} - e^{-\lambda y_2}\bigr)^2 \qquad (0 < y_1 \le y_2) \end{aligned}$$

2.3 边缘分布与张颢老师的黑板现场勘误：为什么求 $F_{Y_2}(y_2)$ 不能直接令 $y_1 \to \infty$？（▶ P69 07:34–18:16）

1. 最小值 $Y_1$ 的边缘分布（▶ P69 07:34–10:24）： 求 $F_{Y_1}(y_1) = \mathbb{P}(Y_1 \le y_1) = \lim_{y_2 \to +\infty} F_{Y_1,Y_2}(y_1, y_2)$。由于固定 $y_1$ 后令 $y_2 \to +\infty$ 自然满足 $y_1 \le y_2$，代入上式令 $e^{-\lambda y_2} \to 0$ 立得： $$F_{Y_1}(y_1) = 1 - \bigl(e^{-\lambda y_1}\bigr)^2 = 1 - e^{-2\lambda y_1} \quad (y_1 > 0) \quad\Longrightarrow\quad Y_1 = \min(X_1,X_2) \sim \operatorname{Exp}(2\lambda)$$ 两个独立同分布 $\operatorname{Exp}(\lambda)$ 的最小值依然服从指数分布，且失效率参数翻倍为 $2\lambda$！

2. 最大值 $Y_2$ 的边缘分布与黑板警示（▶ P69 10:24–12:16 & 16:01–18:16）： 如果照猫画虎，直接在式 $(1 - e^{-\lambda y_2})^2 - (e^{-\lambda y_1} - e^{-\lambda y_2})^2$ 中盲目令 $y_1 \to +\infty$，第二项会变成 $-e^{-2\lambda y_2}$，算出 $1 - 2e^{-\lambda y_2}$（甚至在 $y_2$ 较小时为负数！）。课间休息后（▶ P69 16:01–18:16），张颢老师专门指出了这个极具启发性的陷阱：

   “为什么直接令 $y_1 \to \infty$ 会出错？因为我们对 $(Y_1, Y_2)$ 给出了次序规定：最小值 $Y_1$ 永远小于等于最大值 $Y_2$！一旦 $y_1 > y_2$，事件 $\{Y_1 > y_1,\; Y_2 \le y_2\}$ 根本不可能发生（概率恒为 $0$）！”

   因此，完整的分段联合分布函数与联合概率密度（在 $0 < y_1 < y_2$ 内对 $y_1, y_2$ 求二阶混合偏导 $\frac{\partial^2 F_{Y_1,Y_2}}{\partial y_1\partial y_2}$，或将第一象限拆成 $x_1 < x_2$ 与 $x_1 > x_2$ 两支各具雅可比 $|J|=1$ 的双射叠加）为： $$F_{Y_1,Y_2}(y_1, y_2) = \begin{cases} (1-e^{-\lambda y_2})^2 - (e^{-\lambda y_1}-e^{-\lambda y_2})^2, & 0 < y_1 \le y_2 \\[4pt] (1-e^{-\lambda y_2})^2, & y_1 > y_2 > 0 \end{cases} \quad\Longrightarrow\quad f_{Y_1,Y_2}(y_1, y_2) = \begin{cases} 2\lambda^2 e^{-\lambda(y_1+y_2)}, & 0 < y_1 < y_2 \\[4pt] 0, & \text{其他} \end{cases}$$ 当求 $Y_2$ 的边缘密度时，必须在上三角支撑集 $0 < y_1 < y_2$ 内对 $y_1$ 从 $0$ 积分到 $y_2$（▶ P69 17:40）： $$f_{Y_2}(y_2) = \int_0^{y_2} 2\lambda^2 e^{-\lambda(y_1+y_2)}\,\mathrm{d}y_1 = 2\lambda e^{-\lambda y_2}\bigl(1 - e^{-\lambda y_2}\bigr)\,\mathbf{1}_{\{y_2 > 0\}}, \qquad F_{Y_2}(y_2) = \bigl(1 - e^{-\lambda y_2}\bigr)^2\,\mathbf{1}_{\{y_2 > 0\}}$$

3.1 极限定理的初心：多次实验取平均消除不确定性（▶ P70 00:11–10:57）

在进入极限定理模块时（▶ P70 00:35），张颢老师从人类的认知本能谈起：人们习惯于确定性的规律，而对随机起伏抱有本能的敬畏。在生产实践与统计测量中，人类找到的最有效消除不确定性的办法就是“多次独立实验取算术平均”（▶ P70 01:43）：

• 设 $X_1, X_2, \dots, X_n$ 独立同分布（代表在相同条件下互不干扰地重复测量 $n$ 次），均值为 $\mu$，方差为 $\sigma^2$。
• 考察样本均值 $\bar{X}_n = \frac{1}{n}\sum_{k=1}^n X_k$：其均值保持 $\mathbb{E}[\bar{X}_n] = \mu$ 不变，而方差却被稀释了 $n$ 倍（▶ P70 04:24）： $$\operatorname{Var}\!\left(\frac{1}{n}\sum_{k=1}^n X_k\right) = \frac{1}{n^2}\sum_{k=1}^n \operatorname{Var}(X_k) = \frac{\sigma^2}{n} \xrightarrow{n\to\infty} 0$$
• 方差趋于 $0$ 意味着随机起伏被逐渐抹平，隐藏在水面下的确定性真实均值 $\mu$ 浮出水面（▶ P70 05:53）！
• 为了将“数字特征方差趋于 $0$”升级为随机变量自身的极限，张颢老师在 ▶ P70 07:48–09:57 正式定义了依概率收敛（Convergence in Probability）：对任意 $\varepsilon > 0$，若 $\lim_{n\to\infty}\mathbb{P}(|X_n - X| \ge \varepsilon) = 0$，则记作 $X_n \xrightarrow{P} X$。弱大数定律（WLLN） 即断言：$\bar{X}_n \xrightarrow{P} \mu$。

3.2 黑板双证 Markov / Chebyshev 不等式：从积分截断到示性函数逐点控制（▶ P70 10:57–P71 06:08）

为了严格证明 $\bar{X}_n \xrightarrow{P} \mu$，我们需要一个能用矩（期望/方差）框住尾概率 $\mathbb{P}(|X|\ge\varepsilon)$ 的不等式。张颢老师在黑板上给出了两种层次迥异的证明：

1. 证法一：传统的积分截断粗放估计（▶ P70 14:07–16:57） 将二阶矩积分拆成 $|x| < \varepsilon$ 与 $|x| \ge \varepsilon$ 两段，直接舍弃前一段非负积分，并将后一段中的 $x^2$ 粗暴缩小为下限 $\varepsilon^2$： $$\mathbb{E}[X^2] = \int_{-\infty}^{+\infty} x^2 f_X(x)\,\mathrm{d}x = \underbrace{\int_{|x|<\varepsilon} x^2 f_X(x)\,\mathrm{d}x}_{\ge 0\text{（舍去）}} + \int_{|x|\ge\varepsilon} x^2 f_X(x)\,\mathrm{d}x \ge \varepsilon^2 \int_{|x|\ge\varepsilon} f_X(x)\,\mathrm{d}x = \varepsilon^2\,\mathbb{P}(|X|\ge\varepsilon)$$

2. 证法二（张颢老师力推的现代概率思维）：把概率写成示性函数期望，画图一眼秒杀！（▶ P70 16:57–P71 03:12） 张颢老师发问（▶ P70 17:22）：不等式 $\mathbb{P}(|X|\ge\varepsilon) \le \frac{\mathbb{E}[X^2]}{\varepsilon^2}$ 左边是概率，右边是期望，两个不同纲的东西怎么直接比大小？ 紧接着他在黑板上写下了贯通高等概率论的黄金桥梁（▶ P70 17:58–P71 00:54）：

   “概率和期望实际上是一回事！样本空间上任意事件集合 $A$ 的概率，就是 $A$ 的示性函数（Indicator）$\mathbf{1}_A$ 的数学期望：$\mathbb{P}(A) = \mathbb{E}[\mathbf{1}_A]$！”

   • Markov 不等式（非负变量 $X\ge 0,\; a>0$）：将左端改写为 $\mathbb{P}(X\ge a) = \mathbb{E}[\mathbf{1}_{\{X\ge a\}}]$，右端改写为 $\mathbb{E}[X/a]$。在横轴 $x\ge 0$ 上画出阶梯函数 $\mathbf{1}_{\{x\ge a\}}$ 与过点 $(0,0),(a,1)$ 的线性斜坡 $x/a$，显然对一切 $x\ge 0$ 逐点有 $\mathbf{1}_{\{x\ge a\}} \le \frac{x}{a}$！两边取期望一步得 $\mathbb{P}(X\ge a) \le \frac{\mathbb{E}[X]}{a}$。
   • Chebyshev 不等式（▶ P71 01:20–03:12）：只需比较两个确定性函数——左端被积函数 $\mathbf{1}_{\{|x|\ge\varepsilon\}}$（在 $(-\varepsilon,\varepsilon)$ 内为 $0$、两侧为 $1$ 的阶梯方波）与右端二次函数 $\frac{x^2}{\varepsilon^2}$（在 $x=\pm\varepsilon$ 处恰好等于 $1$ 的抛物线）。画图立见（▶ P71 02:13）：整条抛物线处处位于阶梯函数上方！ $$\mathbf{1}_{\{|X|\ge\varepsilon\}}(\omega) \le \frac{X(\omega)^2}{\varepsilon^2} \quad (\forall \omega\in\Omega) \quad\xrightarrow{\text{两边取期望}}\quad \mathbb{P}(|X|\ge\varepsilon) = \mathbb{E}\bigl[\mathbf{1}_{\{|X|\ge\varepsilon\}}\bigr] \le \frac{\mathbb{E}[X^2]}{\varepsilon^2}$$ 将 $X$ 替换为中心化变量 $X - \mathbb{E}[X]$，立即得到著名的 Chebyshev（切比雪夫）不等式： $$\mathbb{P}\bigl(|X - \mathbb{E}[X]| \ge \varepsilon\bigr) \le \frac{\operatorname{Var}(X)}{\varepsilon^2}$$
   • 一般单调偶函数推广（▶ P71 04:38–05:40）：只要 $g(x)$ 是在 $[0,+\infty)$ 上单调递增的非负偶函数（且 $g(\varepsilon)>0$），抛物线图解完全照搬，恒有 $\mathbf{1}_{\{|X|\ge\varepsilon\}} \le \frac{g(X)}{g(\varepsilon)} \implies \mathbb{P}(|X|\ge\varepsilon) \le \frac{\mathbb{E}[g(X)]}{g(\varepsilon)}$。

3.3 弱大数定律（WLLN）的三行证明（▶ P71 06:08–08:32）

有了 Chebyshev 不等式，弱大数定律的证明水到渠成（▶ P71 06:30）：将样本均值 $X' = \bar{X}_n = \frac{1}{n}\sum_{k=1}^n X_k$ 视为一个整体随机变量，其均值为 $\mathbb{E}[\bar{X}_n] = \mu$，方差为 $\operatorname{Var}(\bar{X}_n) = \frac{1}{n}\operatorname{Var}(X_1)$。对任意 $\varepsilon > 0$，直接套用 Chebyshev 不等式： $$\mathbb{P}\!\left(\left|\frac{1}{n}\sum_{k=1}^n X_k - \mu\right| \ge \varepsilon\right) \le \frac{\operatorname{Var}\bigl(\frac{1}{n}\sum_{k=1}^n X_k\bigr)}{\varepsilon^2} = \frac{\operatorname{Var}(X_1)}{n\varepsilon^2} \xrightarrow{n\to\infty} 0 \quad\Longrightarrow\quad \frac{1}{n}\sum_{k=1}^n X_k \xrightarrow{P} \mu$$

4.1 中心极限定理的提出与“分布只是一层马甲”（▶ P71 08:32–15:08）

在 ▶ P71 08:57，张颢老师将目光投向极限定理的另一座高峰：设 $X_1, X_2, \dots$ 独立同分布，且已作零均值、单位方差规范化（$\mathbb{E}[X_k]=0,\; \operatorname{Var}(X_k)=1$；一般情形只需令 $X_k \leftarrow \frac{X_k-\mu}{\sigma}$）。如果我们将部分和除以 $\sqrt{n}$（而非大数定律中的 $n$）： $$Z_n = \frac{1}{\sqrt{n}}\sum_{k=1}^n X_k = \frac{S_n - n\mu}{\sqrt{n}\sigma} \xrightarrow[n\to\infty]{d} \mathcal{N}(0, 1)$$ 这里出现的收敛模式称为依分布收敛（Convergence in Distribution，记作 $X_n \xrightarrow{d} X$，▶ P71 10:34–11:51），定义为：在极限分布函数 $F_X(x)$ 的一切连续点 $x$ 上，均有 $\lim_{n\to\infty} F_{X_n}(x) = F_X(x)$。

• 为什么依分布收敛比依概率收敛弱得多？——“分布只是身外之物/一层马甲”（▶ P71 12:14–14:45） 张颢老师举了一个极其传神的反例：取 $X \sim \mathcal{N}(0,1)$，由正态分布关于纵轴的对称性，$-X$ 也服从 $\mathcal{N}(0,1)$。现构造序列 $X_k = (-1)^k X$（即 $-X, X, -X, X, \dots$ 交替震荡）。
  • 在依概率收敛意义下，$X_k$ 在 $X$ 与 $-X$ 之间剧烈跳变，根本不可能收敛于 $X$；
  • 但在依分布收敛意义下，每个 $X_k$ 的分布函数恒等于 $\Phi(x)$，故平凡地有 $X_k \xrightarrow{d} X$！

    张颢金句（▶ P71 12:48）：“分布这件事儿，对随机变量而言真的是身外之物，就是一层马甲、一件外衣！$X$ 跟 $-X$ 明显是两个截然不同的随机变量，但它们穿的分布外衣却一模一样。”

---

4.2 黑板完整推演：用特征函数二阶泰勒展开证明中心极限定理（▶ P71 15:08–P72 05:12）

如何证明无论原始变量 $X_k$ 穿什么分布马甲，经 $\frac{1}{\sqrt{n}}\sum_{k=1}^n X_k$ 叠加后都会换上标准高斯 $\mathcal{N}(0,1)$ 的外衣？张颢老师动用了傅里叶分析利器——特征函数 $\varphi_X(\omega) = \mathbb{E}[e^{j\omega X}]$（利用 Lévy 连续性定理：$X_n \xrightarrow{d} X \iff \varphi_{X_n}(\omega) \to \varphi_X(\omega)$，▶ P71 16:12）：

1. 独立和化为特征函数 $n$ 次幂（▶ P71 17:23–P72 01:30）： $$\varphi_{\frac{1}{\sqrt{n}}\sum_{k=1}^n X_k}(\omega) = \mathbb{E}\!\left[\exp\!\left(j\omega\frac{1}{\sqrt{n}}\sum_{k=1}^n X_k\right)\right] = \prod_{k=1}^n \mathbb{E}\!\left[e^{j\frac{\omega}{\sqrt{n}}X_k}\right] = \prod_{k=1}^n \varphi_{X_k}\!\left(\frac{\omega}{\sqrt{n}}\right) = \left[\varphi_{X_1}\!\left(\frac{\omega}{\sqrt{n}}\right)\right]^n$$
2. 针对无穷小量 $\frac{\omega}{\sqrt{n}}$ 作二阶泰勒展开（▶ P72 02:06–04:14）： 当固定 $\omega$ 而 $n \to \infty$ 时，$\frac{\omega}{\sqrt{n}} \to 0$ 是小量。将指数函数按泰勒公式展开到二阶项（代入归一化条件 $\mathbb{E}[X_1]=0,\; \mathbb{E}[X_1^2]=1$）： $$\varphi_{X_1}\!\left(\frac{\omega}{\sqrt{n}}\right) = \mathbb{E}\!\left[1 + j\frac{\omega}{\sqrt{n}}X_1 - \frac{\omega^2}{2n}X_1^2 + o\!\left(\frac{1}{n}\right)\right] = 1 + j\frac{\omega}{\sqrt{n}}\underbrace{\mathbb{E}[X_1]}_{=0} - \frac{\omega^2}{2n}\underbrace{\mathbb{E}[X_1^2]}_{=1} + o\!\left(\frac{1}{n}\right) = 1 - \frac{\omega^2}{2n} + o\!\left(\frac{1}{n}\right)$$
3. 取 $n$ 次方重要极限（▶ P72 04:14–05:12）： $$\lim_{n\to\infty}\varphi_{\frac{1}{\sqrt{n}}\sum_{k=1}^n X_k}(\omega) = \lim_{n\to\infty}\left(1 - \frac{\omega^2}{2n} + o\!\left(\frac{1}{n}\right)\right)^n = e^{-\omega^2/2}$$ 而 $e^{-\omega^2/2}$ 恰恰是标准高斯分布 $\mathcal{N}(0,1)$ 的特征函数！证毕。

---

4.3 巅峰思想碰撞：$1/n$（大数定律）vs $1/\sqrt{n}$（半阶量与随机微积分）vs $\sqrt{n\ln\ln n}$（重对数律）（▶ P72 05:12–18:34）

在全讲最后 13 分钟，张颢老师对分母规范化尺度作了极其深刻的横向剖析：

• 为什么大数定律只展开一阶，而 CLT 必须挖到二阶？（▶ P72 05:12–09:42） 如果用特征函数考察大数定律 $\frac{1}{n}\sum_{k=1}^n X_k$，其特征函数为 $\bigl[\varphi_{X_1}(\frac{\omega}{n})\bigr]^n$。泰勒展开到第一阶就已经获得了 $\frac{1}{n}$ 量级： $$\left[\varphi_{X_1}\!\left(\frac{\omega}{n}\right)\right]^n = \left(1 + j\frac{\omega}{n}\mathbb{E}[X_1] + o\!\left(\frac{1}{n}\right)\right)^n \xrightarrow{n\to\infty} e^{j\omega\mathbb{E}[X_1]}$$ 右端 $e^{j\omega\mu}$ 正是退化常数 $\mu$ 的特征函数！反观中心极限定理，分母是 $\sqrt{n}$，一阶项里的 $\frac{1}{\sqrt{n}}$ 是一个“半阶项（Half-order term）”（▶ P72 07:38），还未达到幂极限 $(1 + c/n)^n$ 所需的 $\frac{1}{n}$ 阶，正是这个“半阶量”逼迫我们把一阶均值消掉、继续深挖到二阶项 $-\frac{\omega^2}{2n}$！张颢老师特别点明（▶ P72 08:04）：这种“半阶小量平方后变成一阶量”的思想，后来直接孕育了现代随机微积分（Itô Calculus，$\mathrm{d}B_t \sim \sqrt{\mathrm{d}t} \implies (\mathrm{d}B_t)^2 = \mathrm{d}t$）！
• “将死未死”的随机性边界——重对数律（LIL，▶ P72 10:15–18:34）
  • 用 $n$ 规范化力度太猛，把随机起伏彻底压死成确定常数（“已经躺尸了”，▶ P72 14:00）；
  • 用 $\sqrt{n}$ 规范化力度适中，不管原始分布“爱谁谁”（只要有均值和方差），最终都保留下鲜活却高度规范化的高斯随机性 $\mathcal{N}(0,1)$（张颢老师幽默地比作严格训练下培养出的学霸或工程师，▶ P72 16:41）；
  • 那么在指数 $1/2$ 到 $1$ 之间，随机性“将死未死、将灭未灭”的真正临界点究竟在哪？张颢老师在黑板上写下了 Kolmogorov 与 Khinchin 发现的惊世尺度——重对数律（Law of the Iterated Logarithm，▶ P72 14:54–16:41）： $$\sqrt{n \ln\ln n}$$ 它比 $\sqrt{n}$ 仅仅往上抬升了微乎其微的一点点（$\sqrt{\ln\ln n}$），却恰好处在“依然保有随机波动”与“坍缩为确定性界限”的刀锋边缘！