第 9 讲 · 连续随机变量与最大微分熵原理：均匀、指数（失效率与无记忆性）与高斯正态分布

1.1 为什么教科书里永远是“均匀、指数、高斯”这老三样？（▶ P47 01:06–06:26）

在第 9 讲开篇（▶ P47 01:42–04:51），张颢老师重申：随机变量是将样本空间 $\Omega$ 量化到实数轴的确定性函数，连续随机变量的核心刻画工具是分布函数 $F(x)$ 与概率密度 $f(x) = F'(x)$（满足 $\mathbb{P}(X\in A) = \int_A f(x)\,\mathrm{d}x$）。 随后，张颢老师提出了一个直击灵魂的问题（▶ P47 04:51–05:52）：

“连续随机变量的定义有极大的自由度，任何人在任何时间、任何地点都可以随便规定一个非负且积分为 1 的密度函数。那为什么不管翻开哪一本概率论教科书，讲的永远是均匀分布、指数分布、高斯分布（以及 Gamma、Weibull）这几种？除了应用广泛之外，它们在数学本质上究竟有什么特殊地位？”

答案浓缩在三个字里：“最随机”！为了定量比较两个随机变量谁的随机性更强、谁的随机性更弱，我们需要引入度量随机性与复杂度的核心工具——熵（Entropy，▶ P47 05:52）。

---

1.2 从 Boltzmann 统计物理熵到 Shannon 信息熵与连续微分熵（▶ P47 06:26–19:18）

张颢老师在黑板上梳理了“熵”从物理学走向信息论与概率论的三步演进：

1. 统计物理中的 Boltzmann 熵（波尔兹曼，▶ P47 06:26–08:42）： 对于一个包含 $\#\Omega$ 个等可能微观状态（系综）的物理系统，Boltzmann 用状态总数的对数来刻画系统的复杂度： $$H_{\text{Boltzmann}} = \log(\#\Omega)$$ 状态数 $\#\Omega$ 越多，系统越复杂（且对数函数 $\log$ 是唯一满足可加性等公理化条件的函数，▶ P47 08:14）。
2. 通信工程中的 Shannon 信息熵（香农，▶ P47 08:42–16:43）： 电子信息领域的祖师爷 Claude Shannon 研究一串长度为 $N$ 比特的二进制码流需要传递多少信息量：
   • 等概独立特例（▶ P47 09:39–12:38）：若每位独立且取 0、1 概率均为 $1/2$，则共有 $\#\Omega = 2^N$ 个状态，每个状态出现概率为 $p_k = 2^{-N}$。仿照 Boltzmann 取以 $2$ 为底的对数：$H = \log_2(2^N) = \log_2(1/p_k) = -\log_2 p_k = N$（恰好匹配 $N$ 个比特的直觉！）。
   • 一般非等概情形（▶ P47 12:38–16:12）：当各个状态出现的概率 $p_k$ 不相等时，$-\log p_k$ 的取值也各不相同。Shannon 的天才想法是：保留对概率取对数 $-\log p_k$ 的操作，然后以概率 $p_k$ 为权重求数学期望（加权求和）！ $$H(X) = \mathbb{E}\bigl[-\log p(X)\bigr] = -\sum_{k} p_k \log p_k$$ 这就是著名的 Shannon 熵（加负号是因为 $0 \le p_k \le 1 \implies \log p_k \le 0$，加负号保证熵非负，▶ P47 17:14；随机性降低时我们就获取了信息量，▶ P47 16:12）。
3. 连续随机变量的微分熵（Differential Entropy，▶ P47 16:43–19:18）： 将离散求和直接翻译为连续积分、把概率 $p_k$ 替换为概率密度 $f(x)$（对数统一取自然底数 $\ln$，仅差常数倍），就得到了连续随机变量的微分熵： $$H(f) = -\int_{-\infty}^{\infty} f(x) \ln f(x)\,\mathrm{d}x$$ 注（▶ P47 18:18）：由于概率密度 $f(x)$ 只需要积分为 $1$，其局部取值完全可能大于 $1$，因此连续微分熵 $H(f)$ 可正可负，但它同样完美刻画了连续分布的随机性（散布不确定度）大小！

---

1.3 三种支撑区间与矩约束下的“拳击分级比赛”（▶ P47 19:18 – ▶ P48 02:49）

我们要寻找“最随机（使微分熵 $H(f)$ 最大）”的典型连续分布。直觉上大家会脱口而出：“均匀分布最随机！”但张颢老师指出（▶ P47 20:29）：均匀分布只能定义在有限区间 $[a,b]$ 上；如果到了无穷区间 $(-\infty, \infty)$ 或 $[0, \infty)$ 上，常数函数根本积不成 $1$！

因此，张颢老师按支撑集将问题划分为三种经典场景，并强调：就像举重或拳击比赛必须按体重分级（100 公斤级不能和 60 公斤级直接比绝对力量，▶ P48 00:36）一样，在无界区间上比拼最大熵，必须给定相同的“矩约束（边界条件）”才公平：

• 场景 ①（双边无穷区间 $(-\infty, \infty)$，▶ P47 21:25 & ▶ P48 01:13）：固定一阶矩（均值 $\mu$）与二阶矩（等价于固定方差 $\sigma^2$）；
• 场景 ②（单边无穷区间 $[0, \infty)$，▶ P47 21:45 & ▶ P48 01:50）：自由度比全实轴少了一半，故只固定一阶矩（均值 $\mathbb{E}[X] = \mu = 1/\lambda$）；
• 场景 ③（有限区间 $[a, b]$，▶ P48 00:00 & 02:15）：区间本身已有限制，无需额外矩约束，仅要求满足概率密度的基本归一化条件 $\int_a^b f(x)\,\mathrm{d}x = 1$。

---

1.4 避开变分法的神兵利器：切线不等式 $\ln x \le x - 1$ 与 KL 不等式（▶ P48 02:49–09:52）

求解 $\max_{f} H(f) = \max_{f} \bigl\{-\int f(x)\ln f(x)\,\mathrm{d}x\bigr\}$ 的自变量是一个函数 $f(x)$，这在数学上属于高难度的泛函优化（Functional Optimization / 变分法）（▶ P48 03:36–04:40）。为了不用变分法就能严格求解，张颢老师在黑板上祭出了一条初等却威力无穷的不等式（▶ P48 05:25–07:48）：

1. 基本切线不等式：对任意 $x > 0$，函数 $y = \ln x$ 的图像永远被它在 $(1,0)$ 处的切线 $y = x - 1$ 压在下方： $$\ln x \le x - 1 \qquad (\text{当且仅当 } x = 1 \text{ 时取等号})$$
2. Kullback–Leibler 不等式推导（▶ P48 06:01–09:52）： 任取两个概率密度函数 $f(x)$ 与 $g(x)$（均满足 $\int f(x)\,\mathrm{d}x = 1,\; \int g(x)\,\mathrm{d}x = 1$）。将 $x = \frac{g(x)}{f(x)}$ 代入 $\ln x \le x - 1$，两边乘以非负密度 $f(x)$ 并积分： $$\int_{-\infty}^{\infty} f(x)\ln\frac{g(x)}{f(x)}\,\mathrm{d}x \le \int_{-\infty}^{\infty} f(x)\left(\frac{g(x)}{f(x)} - 1\right)\mathrm{d}x = \int_{-\infty}^{\infty} g(x)\,\mathrm{d}x - \int_{-\infty}^{\infty} f(x)\,\mathrm{d}x = 1 - 1 = 0$$ 把对数拆开 $\ln\frac{g}{f} = \ln g - \ln f$ 并移项，立即得到微分熵的通用上界公式（▶ P48 09:23–10:26）： $$H(f) = -\int_{-\infty}^{\infty} f(x)\ln f(x)\,\mathrm{d}x \le -\int_{-\infty}^{\infty} f(x)\ln g(x)\,\mathrm{d}x$$ （当且仅当 $f(x) \equiv g(x)$ 时取等号！）

---

1.5 构造法一网打尽三大最随机分布：高斯、指数与均匀（▶ P48 08:22 – ▶ P49 07:33）

有了 $H(f) \le -\int f(x)\ln g(x)\,\mathrm{d}x$，我们只需针对三种场景巧妙选取标尺密度 $g(x)$，让 $\ln g(x)$ 恰好只包含已知的边界矩约束，从而使右侧积分变成一个与任意候选函数 $f(x)$ 无关的常数！

① 场景一：全实轴 $(-\infty, \infty)$ 固定均值 $\mu$ 与方差 $\sigma^2$ $\implies$ 高斯分布 $\mathcal{N}(\mu, \sigma^2)$（▶ P48 08:22–16:26）

• 构造标尺密度 $g(x)$：直接取高斯密度 $g(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$。对其取自然对数（▶ P48 11:18）： $$\ln g(x) = \ln\frac{1}{\sqrt{2\pi}\sigma} - \frac{(x-\mu)^2}{2\sigma^2}$$
• 代入 KL 上界并利用 $f(x)$ 的矩约束求值（▶ P48 11:43–15:04）： 对任意满足 $\int f(x)\,\mathrm{d}x = 1$、均值 $\int x f(x)\,\mathrm{d}x = \mu$ 且方差 $\int (x-\mu)^2 f(x)\,\mathrm{d}x = \sigma^2$ 的密度函数 $f(x)$，有： $$\begin{aligned} H(f) &\le -\int_{-\infty}^{\infty} f(x)\ln g(x)\,\mathrm{d}x = -\ln\frac{1}{\sqrt{2\pi}\sigma}\underbrace{\int_{-\infty}^{\infty} f(x)\,\mathrm{d}x}_{=\,1} + \frac{1}{2\sigma^2}\underbrace{\int_{-\infty}^{\infty} (x-\mu)^2 f(x)\,\mathrm{d}x}_{=\,\sigma^2\;(\text{方差约束！})} \\ &= \ln(\sqrt{2\pi}\sigma) + \frac{1}{2} = \ln(\sqrt{2\pi}\sigma) + \ln e^{1/2} = \ln\bigl(\sqrt{2\pi e}\,\sigma\bigr) = \frac{1}{2}\ln(2\pi e \sigma^2) \end{aligned}$$
• 结论（▶ P48 15:04–16:26）：右侧上界 $\frac{1}{2}\ln(2\pi e\sigma^2)$ 是一个完全不依赖于 $f$ 的常数，且当 $f(x) = g(x)$（高斯分布）时恰好取到该最大值！这证明：在全实轴上固定一阶矩与二阶矩的前提下，高斯分布是具有最大熵（最随机）的唯一分布！

② 场景二：正半轴 $[0, \infty)$ 固定一阶矩（均值 $1/\lambda$）$\implies$ 指数分布 $\operatorname{Exp}(\lambda)$（▶ P48 16:26–20:59）

• 构造标尺密度 $g(x)$：取指数密度 $g(x) = \lambda e^{-\lambda x}\;(x \ge 0)$，其均值为 $\frac{1}{\lambda}$，对数为 $\ln g(x) = \ln\lambda - \lambda x$。
• 代入 KL 上界：对任意支撑在 $[0,\infty)$ 上且具有相同均值 $\int_0^\infty x f(x)\,\mathrm{d}x = \frac{1}{\lambda}$ 的密度 $f(x)$： $$H(f) \le -\int_0^{\infty} f(x)(\ln\lambda - \lambda x)\,\mathrm{d}x = -\ln\lambda \int_0^{\infty} f(x)\,\mathrm{d}x + \lambda \int_0^{\infty} x f(x)\,\mathrm{d}x = -\ln\lambda + \lambda\cdot\frac{1}{\lambda} = 1 - \ln\lambda = \ln\frac{e}{\lambda}$$
• 结论（▶ P48 20:30）：当且仅当 $f(x) = \lambda e^{-\lambda x}$ 时取等号——在半无界区间上固定一阶矩，指数分布是最随机（最大熵）的分布！

③ 场景三：有限区间 $[a, b]$ 无矩约束 $\implies$ 均匀分布 $\operatorname{Unif}(a,b)$（▶ P48 20:59 – ▶ P49 02:24）

• 构造标尺密度 $g(x)$：取均匀密度 $g(x) = \frac{1}{b-a}\;(x \in [a,b])$，则 $\ln g(x) = -\ln(b-a)$ 为常数。
• 代入 KL 上界：对 $[a,b]$ 上任意密度 $f(x)$： $$H(f) \le -\int_a^b f(x)\ln\frac{1}{b-a}\,\mathrm{d}x = \ln(b-a)\int_a^b f(x)\,\mathrm{d}x = \ln(b-a)$$
• 大一统总结（▶ P49 05:41–07:33）：现在我们彻底明白了为什么每一本概率论教材都把均匀分布、指数分布、高斯分布作为连续随机变量的“老三样”基石——因为它们在各自的支撑域和矩边界条件下，微分熵最大、随机性最强、最不掺杂任何人为偏见！

2.1 指数分布与“无记忆性（Memorylessness）”的物理含义（▶ P49 07:33–12:01）

指数分布的概率密度函数为 $f(x) = \lambda e^{-\lambda x}\;(x \ge 0)$（正半轴支撑，乘 $\lambda$ 保证积分为 $1$）。张颢老师指出，指数分布最核心的特征性质叫做无记忆性（Memoryless Property，▶ P49 08:10）： $$\mathbb{P}(X > x + y \mid X > x) = \mathbb{P}(X > y), \qquad \forall\, x, y \ge 0$$

• 如何直观理解上面这个条件概率式？（▶ P49 08:34–11:38） 假设随机变量 $X$ 代表某个电子元器件的寿命：
  • 条件事件 $\{X > x\}$ 表示：这个元器件已经成功工作并挺过了前 $x$ 小时（目前还活着）；
  • 目标事件 $\{X > x + y\}$ 表示：它在挺过 $x$ 小时的基础上，还能再继续正常工作至少 $y$ 小时。
  • 按常理直觉，元器件用得越久（$x$ 越大）应该越老化，继续挺过 $y$ 小时的可能性应该越小才对；但无记忆性却告诉我们：条件概率 $\mathbb{P}(X > x+y \mid X > x)$ 与它前面已经工作了多久的历史 $x$ 没有半毛钱关系，完全等于一个刚出厂的全新器件工作超过 $y$ 小时的概率 $\mathbb{P}(X > y)$！

    张颢老师金句（▶ P49 10:34–11:38）：“前面的历史全部被忘掉了！无论你前面已经挺过了多长时间，只要你还活着，你就一直完好如新！注意：无记忆绝不等于‘长生不老（神仙）’，它依然随时可能坏（毕竟是个概率），只是说它未来的寿命分布不受过去已存活历史的影响。”

---

2.2 工程现实中的“澡盆/浴盆模型（Bathtub Curve）”：为什么买新电脑前两周要使劲用？（▶ P49 12:01–14:57）

很多同学会质疑：“现实中怎么可能有不会老化的元器件？”张颢老师在黑板上画出了可靠性工程中著名的澡盆模型（浴盆曲线 Bathtub Curve，横轴为时间 $t$，纵轴为出错/故障率，▶ P49 12:01），将电子产品全寿命周期分为三个阶段：

1. 第一阶段：早期失效期（澡盆左壁陡降段，▶ P49 12:29–13:26）： 刚出厂时由于潜在焊接或工艺瑕疵，出错概率很高（所以国家规定电子产品 7 天/两周内包退包换，“一开箱点不亮就属于在这儿中招了”）。因此张颢老师给出实用建议：“买了新设备回来一定要立刻使劲用，要在刚开头这一小段时间里把所有毛病都用出来！”
2. 第二阶段：稳态偶然失效期（澡盆盆底平直段，▶ P49 13:26–14:20）： 一旦度过了早期危险期，产品进入漫长的稳态工作期——澡盆底部几乎是一条水平直线！在这段盆底期内，器件的瞬时故障率保持恒定，前面用了多久对后面几乎没有影响，完全服从无记忆原则！指数分布刻画的恰恰就是这一段“澡盆盆底”的寿命规律。
3. 第三阶段：耗损老化期（澡盆右壁陡升段，▶ P49 14:20–14:57）： 当器件接近使用寿命极限时，材料疲劳老化，故障率急剧飙升（若要刻画包含早、中、晚全部三段的全寿命周期，则需要用到后续介绍的 Weibull 威布尔分布）。

---

2.3 黑板双向证明：为什么无记忆性是指数分布的“特征性质（充要条件）”？（▶ P49 14:57–20:14）

1. 正向验证（指数分布 $\implies$ 无记忆性，▶ P49 14:57–17:36）： 先求指数分布的分布函数与尾概率（存活函数）： $$F(x) = \int_0^x \lambda e^{-\lambda t}\,\mathrm{d}t = 1 - e^{-\lambda x} \quad\Longrightarrow\quad \mathbb{P}(X > x) = 1 - F(x) = e^{-\lambda x}$$ 由条件概率定义（注意既大于 $x$ 又大于 $x+y$ 的交集就是 $\{X > x+y\}$，▶ P49 16:27）： $$\mathbb{P}(X > x + y \mid X > x) = \frac{\mathbb{P}(X > x+y,\; X > x)}{\mathbb{P}(X > x)} = \frac{\mathbb{P}(X > x+y)}{\mathbb{P}(X > x)} = \frac{e^{-\lambda(x+y)}}{e^{-\lambda x}} = e^{-\lambda y} = \mathbb{P}(X > y)$$
2. 反向唯一性（无记忆性 $\implies$ 指数分布，▶ P49 17:36–20:14）： 反过来，若连续随机变量 $X > 0$ 具有无记忆性，令尾概率函数 $G(x) \triangleq \mathbb{P}(X > x)$，则无记忆性等价于对任意 $x, y \ge 0$ 满足 Cauchy 函数方程： $$\frac{\mathbb{P}(X > x+y)}{\mathbb{P}(X > x)} = \mathbb{P}(X > y) \quad\Longleftrightarrow\quad G(x + y) = G(x)\,G(y)$$ 在数学分析中可以严格证明：满足 $G(x+y) = G(x)G(y)$ 的非平凡有界单调函数只有指数函数 $G(x) = e^{-\lambda x}$ 唯一一种！因此，在所有正半轴连续分布中，具有无记忆性的只有指数分布一家（特征性质）！

---

2.4 失效率函数（Hazard Rate）$r(t)$ 与常微分方程重构证明（▶ P49 20:39 – ▶ P50 08:26）

为了从微积分视角给无记忆性与浴盆曲线一个更深刻的解读，张颢老师在 ▶ P49 20:39 至 ▶ P50 08:26 推导了可靠性工程的核心指标——失效率函数（Hazard Rate，黑板记作 $r(t)$）：

1. 失效率 $r(t)$ 的极限定义与化简（▶ P49 21:07 – ▶ P50 03:39）： 考察一个已经存活了 $t$ 小时的元器件（前提条件 $X > t$），在接下来极小时间段 $(t,\, t+\Delta t]$ 内发生失效的条件概率，除以时间步长 $\Delta t$ 并令 $\Delta t \to 0$： $$\begin{aligned} r(t) &\triangleq \lim_{\Delta t \to 0} \frac{\mathbb{P}(t < X \le t + \Delta t \mid X > t)}{\Delta t} = \lim_{\Delta t \to 0} \frac{1}{\Delta t}\,\frac{\mathbb{P}(t < X \le t + \Delta t)}{\mathbb{P}(X > t)} \\ &= \lim_{\Delta t \to 0} \frac{F(t + \Delta t) - F(t)}{\Delta t} \cdot \frac{1}{1 - F(t)} = \frac{f(t)}{1 - F(t)} \end{aligned}$$ 物理区分：概率密度 $f(t)$ 是相对于 $t=0$ 全体初始产品的无条件故障密度，而失效率 $r(t) = \frac{f(t)}{1-F(t)}$ 是相对于 $t$ 时刻仍然幸存的产品群体的条件瞬时故障率（正是前面浴盆曲线纵轴画的那个量）！
2. 指数分布的失效率恒为常数 $\lambda$（▶ P50 03:39–05:29）： 将指数分布 $f(t) = \lambda e^{-\lambda t}$ 与 $1 - F(t) = e^{-\lambda t}$ 代入，上下指数项直接约掉： $$r(t) = \frac{\lambda e^{-\lambda t}}{e^{-\lambda t}} = \lambda \;(\text{常数！})$$ 深刻解读（▶ P50 04:31）：失效率 $r(t) \equiv \lambda$ 是一个与时间 $t$ 无关的常数，意味着元器件在每一个时刻发生失效的瞬时风险完全相同——既不随时间上升（无老化），也不随时间下降（无早期筛选），这正是“无记忆性”在微分层面的等价表述！
3. 微分方程反解：失效率为常数 $\implies$ 必为指数分布（▶ P50 05:29–08:26）： 反过来，若已知某寿命分布的失效率为常数 $r(t) = \lambda$，因为 $f(t) = \frac{\mathrm{d}F(t)}{\mathrm{d}t}$，我们立即得到关于分布函数 $F(t)$ 的一阶可分离变量常微分方程： $$\frac{f(t)}{1 - F(t)} = \lambda \quad\Longleftrightarrow\quad \frac{1}{1 - F(t)}\,\frac{\mathrm{d}F(t)}{\mathrm{d}t} = \lambda \quad\Longleftrightarrow\quad \frac{\mathrm{d}F}{1 - F} = \lambda\,\mathrm{d}t$$ 两边积分得 $-\ln\bigl(1 - F(t)\bigr) = \lambda t + C \implies 1 - F(t) = e^{-\lambda t - C}$。代入左端点初值条件 $F(0) = 0$（▶ P50 07:27），立得 $C = 0$，从而唯一解出： $$F(t) = 1 - e^{-\lambda t} \qquad (\text{指数分布！})$$

3.1 高斯分布 $\mathcal{N}(\mu,\sigma^2)$ 的核心地位与解析可算性（▶ P50 11:00–12:39）

在完成了对单侧正半轴寿命模型（指数分布）的剖析后，张颢老师在 ▶ P50 11:00 转向全实轴 $(-\infty,+\infty)$ 上最核心的连续分布——高斯分布（正态分布）$\mathcal{N}(\mu,\sigma^2)$： $$f(x) = \frac{1}{\sqrt{2\pi}\,\sigma}\,\exp\!\left(-\frac{(x - \mu)^2}{2\sigma^2}\right), \qquad x \in (-\infty, +\infty)$$ 为什么高斯分布在理论与工程中无处不在？张颢老师指出两大支柱：

1. 物理与统计机制的必然性：中心极限定理（大量独立微扰叠加必收敛到高斯）与最大熵原理（给定均值与方差后随机性最强、最不掺杂主观偏见的分布）；
2. 数学分析的极致优美性：无论是高阶矩、线性变换、卷积还是傅里叶变换，高斯分布都具有罕见的封闭解析性质。本节重点攻克高斯分布的三块硬核微积分基本功。

---

3.2 高阶中心矩 $\mathbb{E}[X^n]$ 的分部积分递推与双阶乘 $(2k-1)!!$（▶ P50 12:39 – ▶ P51 03:38）

不妨设均值为零 $\mu = 0$（若 $\mu \ne 0$，只需考察中心化变量 $X - \mu$），我们要计算任意 $n$ 阶矩 $\mathbb{E}[X^n] = \int_{-\infty}^{+\infty} x^n\,\frac{1}{\sqrt{2\pi}\sigma}e^{-x^2/(2\sigma^2)}\,\mathrm{d}x$（▶ P50 12:55）：

1. 奇偶对称性先砍一半（▶ P51 01:34–03:38）： 当 $n$ 为奇数时，$x^n$ 是奇函数，而高斯密度 $e^{-x^2/(2\sigma^2)}$ 是关于原点对称的偶函数，奇函数乘偶函数仍为奇函数（且指数衰减保证了绝对可积性），故在对称区间 $(-\infty,+\infty)$ 上正负半轴积分严格抵消： $$\mathbb{E}[X^n] = 0 \qquad (n \text{ 为奇数，且 } \mu = 0)$$
2. 分部积分“拆出一个 $x$ 凑微分”（▶ P50 14:43–19:59）： 对于一般 $n \ge 2$，直接对 $e^{-x^2/(2\sigma^2)}$ 积分做不动，但若从 $x^n$ 中借出一个 $x$ 与 $\mathrm{d}x$ 结合，利用 $\frac{\mathrm{d}}{\mathrm{d}x}\bigl(e^{-x^2/(2\sigma^2)}\bigr) = -\frac{x}{\sigma^2}e^{-x^2/(2\sigma^2)}$，即可凑出精确全微分： $$x\,e^{-\frac{x^2}{2\sigma^2}}\,\mathrm{d}x = -\sigma^2\,\mathrm{d}\!\left(e^{-\frac{x^2}{2\sigma^2}}\right)$$ 代入 $\mathbb{E}[X^n]$ 并执行分部积分（▶ P50 16:40–19:09）： $$\begin{aligned} \mathbb{E}[X^n] &= \frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{+\infty} x^{n-1} \cdot \left(x\,e^{-\frac{x^2}{2\sigma^2}}\,\mathrm{d}x\right) = -\frac{\sigma^2}{\sqrt{2\pi}\sigma} \int_{-\infty}^{+\infty} x^{n-1}\,\mathrm{d}\!\left(e^{-\frac{x^2}{2\sigma^2}}\right) \\ &= \underbrace{\left[ -\frac{\sigma}{\sqrt{2\pi}}\,x^{n-1} e^{-\frac{x^2}{2\sigma^2}} \right]_{-\infty}^{+\infty}}_{=\,0\;(\text{指数衰减统治一切多项式，P50 17:57})} + \frac{\sigma^2}{\sqrt{2\pi}\sigma} \int_{-\infty}^{+\infty} e^{-\frac{x^2}{2\sigma^2}} \cdot (n-1)x^{n-2}\,\mathrm{d}x \\ &= (n - 1)\sigma^2\,\mathbb{E}[X^{n-2}] \end{aligned}$$
3. 递推到底与双阶乘公式（▶ P50 19:59 – ▶ P51 01:34）： 每次应用递推式 $\mathbb{E}[X^n] = (n-1)\sigma^2\,\mathbb{E}[X^{n-2}]$，阶数 $n$ 都会跳降 $2$ 阶！当 $n = 2k$ 为偶数时，一路隔项往下跳，最终落到 $\mathbb{E}[X^0] = 1$： $$\mathbb{E}[X^{2k}] = (2k - 1)\sigma^2\,\mathbb{E}[X^{2k-2}] = (2k-1)(2k-3)\cdots 3\cdot 1\cdot \sigma^{2k} \triangleq (2k - 1)!!\,\sigma^{2k}$$ 例如：二阶矩（方差） $\mathbb{E}[X^2] = 1!!\,\sigma^2 = \sigma^2$；四阶矩（峰度基础） $\mathbb{E}[X^4] = 3\times 1\cdot\sigma^4 = 3\sigma^4$；六阶矩 $\mathbb{E}[X^6] = 5\times 3\times 1\cdot\sigma^6 = 15\sigma^6$。

---

3.3 高斯尾概率积分 $\int_t^\infty e^{-x^2/2}\,\mathrm{d}x$ 的上下界解析夹逼（▶ P51 03:38–17:42）

在通信工程（误码率 $Q(t)$）与数理统计（置信区间与极端事件估计）中，最核心的量是标准正态的尾概率积分 $\int_t^{+\infty} e^{-x^2/2}\,\mathrm{d}x\;(t > 0)$。然而张颢老师强调（▶ P51 03:38–08:26）：

• 数学上早已证明，不定积分 $\int e^{-x^2/2}\,\mathrm{d}x$ 无法用有限个初等函数表示；
• 虽然 MATLAB/Python/R 里直接调 erf 或查表能算出某一个具体数字，但数值查表无法揭示当 $t \to +\infty$ 时尾概率究竟以什么函数速率衰减！为此，张颢老师在黑板上完整示范了精妙的上下界解析夹逼法（Sandwich Bounds）：

1. 上界估计：乘 $\frac{x}{t} \ge 1$ 凑全微分（▶ P51 08:40–10:14）： 因为在积分区间 $x \in [t, +\infty)$ 上，恒有 $x \ge t > 0 \implies \frac{x}{t} \ge 1$，所以在被积函数中直接放大乘以 $\frac{x}{t}$，立刻就能凑出 $-\mathrm{d}(e^{-x^2/2}) = x e^{-x^2/2}\,\mathrm{d}x$： $$\int_t^{+\infty} e^{-\frac{x^2}{2}}\,\mathrm{d}x \le \int_t^{+\infty} \frac{x}{t}\,e^{-\frac{x^2}{2}}\,\mathrm{d}x = \frac{1}{t} \int_t^{+\infty} \left(-e^{-\frac{x^2}{2}}\right)'\,\mathrm{d}x = \frac{1}{t}\left[-e^{-\frac{x^2}{2}}\right]_t^{+\infty} = \frac{1}{t}\,e^{-\frac{t^2}{2}}$$
2. 下界估计：黑板乘 $\frac{t^2}{x^2} \le 1$ 分部积分反解（▶ P51 10:14–16:16）： 既然乘 $\frac{x}{t} \ge 1$ 给出了上界，反过来在 $x \in [t, +\infty)$ 上乘一个小于等于 $1$ 的因子行不行？如果只乘 $\frac{t}{x}$ 会导致 $\frac{1}{x}e^{-x^2/2}$ 依然积不出来，因此张颢老师在黑板上直接乘以平方比 $\frac{t^2}{x^2} \le 1$（▶ P51 12:10），并把 $\frac{1}{x^2}\,\mathrm{d}x = -\mathrm{d}\!\left(\frac{1}{x}\right)$ 凑入微分做分部积分（▶ P51 12:44–15:14）： $$\begin{aligned} \int_t^{+\infty} e^{-\frac{x^2}{2}}\,\mathrm{d}x &\ge \int_t^{+\infty} \frac{t^2}{x^2}\,e^{-\frac{x^2}{2}}\,\mathrm{d}x = t^2 \int_t^{+\infty} e^{-\frac{x^2}{2}}\,\mathrm{d}\!\left(-\frac{1}{x}\right) \\ &= t^2 \left\{ \left[-\frac{1}{x}\,e^{-\frac{x^2}{2}}\right]_t^{+\infty} - \int_t^{+\infty} \left(-\frac{1}{x}\right) \cdot (-x)\,e^{-\frac{x^2}{2}}\,\mathrm{d}x \right\} \\ &= t^2 \left( \frac{1}{t}\,e^{-\frac{t^2}{2}} - \int_t^{+\infty} e^{-\frac{x^2}{2}}\,\mathrm{d}x \right) \end{aligned}$$ 惊喜出现了！右边分部积分出来的余项，$-\frac{1}{x}$ 与导数出来的 $-x$ 刚好约掉，又变回了原来的目标积分 $\int_t^\infty e^{-x^2/2}\,\mathrm{d}x$ 本身（▶ P51 14:42）！两边同除以 $t^2$ 并把尾积分移项合并（▶ P51 15:14–16:16）： $$\left(1 + \frac{1}{t^2}\right) \int_t^{+\infty} e^{-\frac{x^2}{2}}\,\mathrm{d}x \ge \frac{1}{t}\,e^{-\frac{t^2}{2}} \quad\Longrightarrow\quad \int_t^{+\infty} e^{-\frac{x^2}{2}}\,\mathrm{d}x \ge \frac{1}{t\left(1 + \frac{1}{t^2}\right)}\,e^{-\frac{t^2}{2}} = \frac{t}{1 + t^2}\,e^{-\frac{t^2}{2}}$$ （注：若对 $\int_t^\infty \frac{1}{x}(xe^{-x^2/2})\mathrm{d}x$ 直接分部积分并用上界放缩余项，也可写出常见教材形式 $\bigl(\frac{1}{t}-\frac{1}{t^3}\bigr)e^{-t^2/2}$，而张颢老师黑板移项法给出的 $\frac{t}{1+t^2}e^{-t^2/2}$ 对一切 $t>0$ 恒正且更紧凑！）
3. 渐近等价结论（▶ P51 16:16–17:42）： 综合上下界，我们把没有原函数的高斯尾积分死死夹在两个初等函数之间： $$\frac{t}{1 + t^2}\,e^{-\frac{t^2}{2}} \le \int_t^{+\infty} e^{-\frac{x^2}{2}}\,\mathrm{d}x \le \frac{1}{t}\,e^{-\frac{t^2}{2}} \quad\Longrightarrow\quad \int_t^{+\infty} e^{-\frac{x^2}{2}}\,\mathrm{d}x \sim \frac{1}{t}\,e^{-\frac{t^2}{2}} \; (t \to +\infty)$$ 当 $t$ 很大时，$1 + \frac{1}{t^2} \to 1$，上下界之比趋于 $1$！这证明高斯分布的尾部不仅有 $e^{-t^2/2}$ 的超指数衰减，前面还精准带有一个 $\frac{1}{t}$ 的代数修正因子。

---

3.4 “以退为进”的极坐标升维法：为什么全实轴积分等于 $\sqrt{2\pi}$？（▶ P51 18:15–21:23）

如果在全实轴 $(-\infty,+\infty)$ 上定积分 $I = \int_{-\infty}^{+\infty} e^{-x^2/2}\,\mathrm{d}x$，中间经过 $x=0$，既不能除以 $x$，也没法直接分部积分，怎么算出它精确等于 $\sqrt{2\pi}$？张颢老师在 ▶ P51 18:15 讲解了泊松（Poisson）与高斯经典的“以退为进（一维算不出，退一步升到二维）”极坐标变换法：

1. 将一维积分平方转化为二维平面重积分（▶ P51 18:30–19:33）： 把两个相互独立的积分哑元 $x$ 和 $y$ 乘在一起，合并指数项： $$I^2 = \left(\int_{-\infty}^{+\infty} e^{-\frac{x^2}{2}}\,\mathrm{d}x\right)\!\left(\int_{-\infty}^{+\infty} e^{-\frac{y^2}{2}}\,\mathrm{d}y\right) = \iint_{\mathbb{R}^2} e^{-\frac{x^2 + y^2}{2}}\,\mathrm{d}x\,\mathrm{d}y$$
2. 直角坐标转极坐标 $(x,y) \to (r,\theta)$（▶ P51 19:33–21:23）： 在极坐标下，$x^2 + y^2 = r^2$，且二维面积微元带有雅可比行列式因子 $\mathrm{d}x\,\mathrm{d}y = r\,\mathrm{d}r\,\mathrm{d}\theta$！正是这个多出来的因子 $r$，完美充当了 $e^{-r^2/2}$ 凑微分的钥匙： $$I^2 = \int_0^{2\pi} \mathrm{d}\theta \int_0^{+\infty} e^{-\frac{r^2}{2}}\,r\,\mathrm{d}r = 2\pi \cdot \left[-e^{-\frac{r^2}{2}}\right]_0^{+\infty} = 2\pi \times (1 - 0) = 2\pi$$ 两边开正平方根，立得 $\int_{-\infty}^{+\infty} e^{-x^2/2}\,\mathrm{d}x = \sqrt{2\pi}$！再作伸缩换元 $u = x/\sigma$，即证得一般高斯密度归一化常数恰为 $\sqrt{2\pi}\,\sigma$。