REVIEW.137945.XYZ · INTERACTIVE COURSE REVIEW OBSERVATORY
◈ review.137945.xyz 三院课程总馆MIT 18.065 矩阵方法清华 · 张颢《概率论》复旦 · 叶凡《数字集成电路》
Ω公理与机遇ZHANG HAO / PROBABILITY
清华大学《概率论》/第 10 讲 · P52–P56
返回 16 讲全景图
LECTURE 10 · P52–P56 原课总长 1:40:18 · B 站 BV1KuJt6zE2t

第 10 讲 · 随机变量的函数 Y = g(X):雅可比密度公式、χ² / Gamma 分布与逆变换采样

Lecture 10 · Functions of a Random Variable: Jacobian Formula, χ² / Gamma Family & Inverse Transform Sampling

从分布函数定义法推导一维雅可比导数绝对值 |g'(x)| 与无意识统计学家“Magic 公式”,精讲标准正态平方导出 χ²(1) 与 Gamma/Erlang 分布族,揭秘计算机伪随机数生成的逆变换采样定理与 Weibull 澡盆失效率模型。

原课分片 (点击跳转 B 站对应分P播放):

本讲主线与问题意识 · LECTURE NARRATIVE ARC

本讲对应原课视频 P52–P56(总长约 100 分钟),是连接一维随机变量与多维随机向量变换的枢纽章节。在实际科学与工程系统中,我们观测到的往往不是原始随机变量 XX,而是它经过放大器、平方律检波器或非线性映射后的输出 Y=g(X)Y=g(X)。张颢老师在课堂开篇就立下铁律:研究 Y=g(X)Y=g(X) 的分布时,强烈不推荐死记硬背变换公式,一切都要从累积分布函数定义 FY(y)=P(g(X)≤y)F_Y(y)=\mathbb{P}(g(X)\le y) 出发! 沿着这条主线,本讲先后推演了单调与分段单调映射的一维雅可比变换公式(深刻阐明分母为何带有导数绝对值 ∣g′(x)∣|g'(x)|)、无需先求 fY(y)f_Y(y) 即可直接计算期望 E[g(X)]\mathbb{E}[g(X)] 的 “Magic 魔法公式”、由标准高斯平方 Y=X2Y=X^2 导出的卡方分布 χ2(1)\chi^2(1) 与 Gamma / Erlang 分布大家族,以及支撑现代计算机蒙特卡罗仿真的逆变换采样定理 X=F−1(U)X=F^{-1}(U) 与刻画全生命周期“澡盆曲线”的 Weibull(威布尔)分布。

本讲核心攻克目标:
  • 坚持张颢老师强调的分布函数定义法 FY(y)=P(g(X)≤y)F_Y(y)=\mathbb{P}(g(X)\le y),推导单调上升、单调下降及分段单调可微映射的一维雅可比公式 fY(y)=∑kfX(xk)∣g′(xk)∣f_Y(y)=\sum_k \frac{f_X(x_k)}{|g'(x_k)|},从微元概率守恒 fY(y)∣dy∣=fX(x)∣dx∣f_Y(y)|\mathrm{d}y|=f_X(x)|\mathrm{d}x| 理解绝对值 ∣g′(x)∣|g'(x)| 的物理意义。

  • 理解课堂讲授的 “Magic 公式”(无意识统计学家法则 LOTUS) E[g(X)]=∫−∞∞g(x)fX(x) dx\mathbb{E}[g(X)]=\int_{-\infty}^\infty g(x)f_X(x)\,\mathrm{d}x 为何对任意复杂非单调可测函数 gg 恒成立,并体会其在样本空间 Ω\Omega 上作抽象积分的本质。

  • 完整复现黑板算例 标准正态平方 X∼N(0,1)  ⟹  Y=X2X\sim\mathcal{N}(0,1)\implies Y=X^2 的密度推导,掌握欧拉 Gamma 函数 Γ(x)\Gamma(x) 的阶乘延拓性质(Γ(x+1)=xΓ(x),  Γ(1/2)=π\Gamma(x+1)=x\Gamma(x),\; \Gamma(1/2)=\sqrt{\pi})以及 Gamma 分布族 Γ(α,p)\Gamma(\alpha, p) 如何将卡方分布 χ2(n)\chi^2(n)、指数分布与通信交换机 Erlang 分布统一在同一个桥梁下。

  • 证明逆变换采样定理(若 U∼Unif⁡(0,1)U\sim\operatorname{Unif}(0,1) 则 F−1(U)∼FF^{-1}(U)\sim F),了解线性同余伪随机数发生器 (axk−1+b) mod c(a x_{k-1}+b)\bmod c,并推导指数分布幂变换生成的 Weibull 分布如何用单一参数 α\alpha 统一刻画澡盆曲线的三个阶段。

CORE FORMULAS & BOARD NOTATION · 本讲黑板核心公式与记号速查

一维雅可比密度变换公式(单调与分段单调)

Y=g(X)  ⟹  fY(y)=∑k: g(xk)=yfX(xk)∣g′(xk)∣=fX(g−1(y))∣ddyg−1(y)∣Y=g(X) \implies f_Y(y) = \sum_{k:\,g(x_k)=y} \frac{f_X(x_k)}{\bigl|g'(x_k)\bigr|} = f_X\bigl(g^{-1}(y)\bigr)\left|\frac{\mathrm{d}}{\mathrm{d}y}g^{-1}(y)\right|

当 gg 单调递减时,g(X)≤y  ⟺  X≥g−1(y)g(X)\le y \iff X\ge g^{-1}(y),分布函数变为 1−FX(g−1(y))1-F_X(g^{-1}(y)),求导产生的负号与 g′<0g'<0 合并为绝对值 ∣g′(x)∣|g'(x)|()。

随机变量函数的期望:“Magic 魔法公式”(LOTUS)

E[Y]=E[g(X)]=∫−∞∞y fY(y) dy=∫−∞∞g(x) fX(x) dx=∫Ωg(X(ω)) P(dω)\mathbb{E}[Y] = \mathbb{E}\bigl[g(X)\bigr] = \int_{-\infty}^{\infty} y\,f_Y(y)\,\mathrm{d}y = \int_{-\infty}^{\infty} g(x)\,f_X(x)\,\mathrm{d}x = \int_{\Omega} g\bigl(X(\omega)\bigr)\,\mathbb{P}(\mathrm{d}\omega)

张颢黑板命名 Magic():无论 g(x)g(x) 多么复杂、甚至 fY(y)f_Y(y) 根本写不出解析式,求 E[g(X)]\mathbb{E}[g(X)] 永远只需直接对 g(x)fX(x)g(x)f_X(x) 积分!

标准高斯平方、卡方分布 χ²(n) 与 Gamma 分布族

X∼N(0,1),  Y=X2  ⟹  fY(y)=12πy−1/2e−y/2  (y>0),fΓ(α,p)(x)=αpΓ(p)xp−1e−αx  (x>0)X\sim\mathcal{N}(0,1),\;Y=X^2 \implies f_Y(y)=\frac{1}{\sqrt{2\pi}}y^{-1/2}e^{-y/2}\;(y>0), \qquad f_{\Gamma(\alpha,p)}(x)=\frac{\alpha^p}{\Gamma(p)}x^{p-1}e^{-\alpha x}\;(x>0)

卡方分布 χ2(n)=Γ(12,n2)\chi^2(n)=\Gamma(\frac{1}{2},\frac{n}{2});两个独立标准高斯平方和 χ2(2)=Γ(12,1)=Exp⁡(12)\chi^2(2)=\Gamma(\frac{1}{2},1)=\operatorname{Exp}(\frac{1}{2});p=n∈N+p=n\in\mathbb{N}^+ 时为通信等待 nn 次呼入的 Erlang 分布()。

逆变换采样定理与 Weibull 澡盆失效率模型

U∼Unif⁡(0,1)  ⟹  Y=FX−1(U)∼FX,X∼Exp⁡(λ),  Y=X1/α  ⟹  rY(t)=λα tα−1U\sim\operatorname{Unif}(0,1) \implies Y=F_X^{-1}(U)\sim F_X, \qquad X\sim\operatorname{Exp}(\lambda),\;Y=X^{1/\alpha} \implies r_Y(t)=\lambda\alpha\,t^{\alpha-1}

用均匀伪随机数生成任意分布的通用法则();Weibull 失效率在 α<1,α=1,α>1\alpha<1, \alpha=1, \alpha>1 时分别对应澡盆曲线的早期失效、盆底恒定与老年耗损()。

1. 从分布函数法到一维雅可比公式与期望的“Magic 魔法公式”

已知随机变量 X 的分布,如何求确定性变换 Y = g(X) 的分布与密度?张颢老师反复告诫“千万不要死记硬背变换公式,一切从分布函数定义 FY(y) = P(g(X) ≤ y) 出发”,由此推导出单调与分段单调映射的雅可比导数绝对值 |g'(x)|,并给出无需先求 fY(y) 即可算 E[g(X)] 的“Magic 魔法公式”。

1.1 问题设定与张颢老师的“第一性原理”忠告()

给定概率空间 (Ω,F,P)(\Omega, \mathcal{F}, \mathbb{P}) 上的随机变量 XX,其分布函数 FX(x)F_X(x) 与概率密度 fX(x)=FX′(x)f_X(x) = F_X'(x) 均已知。现在将 XX 输入一个确定性函数 g(⋅)g(\cdot)(注意 :函数 gg 本身没有任何随机性),得到新的随机变量 Y=g(X)Y = g(X)。如何求 YY 的分布函数 FY(y)F_Y(y) 与概率密度 fY(y)f_Y(y)?

在 与 17:19–17:42,张颢老师向全班发出了极为醒目的方法论警告:

“今天我们会推导出一些所谓的变换公式,但我严重不推荐大家去背、去套公式!第一它难记,正负号和逆函数极易代错;第二容易遗漏定义域与分段区间;第三套公式会让你的头脑不清醒。相反,永远从分布函数定义 FY(y)=P(Y≤y)F_Y(y) = \mathbb{P}(Y \le y) 出发,概念清晰、头脑清楚,考试时多花不了几秒钟,磨刀不误砍柴功!”


1.2 单调可微映射:为什么分母是导数的绝对值 ∣g′(x)∣|g'(x)|?()

为了把未知的 YY 转化为已知的 XX,必须将 Y=g(X)Y = g(X) 代入分布函数定义 FY(y)=P(g(X)≤y)F_Y(y) = \mathbb{P}(g(X) \le y) 并尝试把 gg “逆过去”。按 g(x)g(x) 的单调性分为两种情形:

  1. 情形 ①:g(x)g(x) 严格单调上升(g′(x)>0g'(x) > 0,) 此时反函数 g−1g^{-1} 存在,且两边作用 g−1g^{-1} 时不等号方向不变: FY(y)=P(g(X)≤y)=P(X≤g−1(y))=FX(g−1(y))F_Y(y) = \mathbb{P}\bigl(g(X) \le y\bigr) = \mathbb{P}\bigl(X \le g^{-1}(y)\bigr) = F_X\bigl(g^{-1}(y)\bigr) 两边对 yy 求导,由复合函数求导法则与反函数求导公式 (g−1(y))′=1g′(g−1(y))\bigl(g^{-1}(y)\bigr)' = \frac{1}{g'(g^{-1}(y))} 立得: fY(y)=FY′(y)=fX(g−1(y))⋅ddyg−1(y)=fX(g−1(y))g′(g−1(y))f_Y(y) = F_Y'(y) = f_X\bigl(g^{-1}(y)\bigr) \cdot \frac{\mathrm{d}}{\mathrm{d}y}g^{-1}(y) = \frac{f_X\bigl(g^{-1}(y)\bigr)}{g'\bigl(g^{-1}(y)\bigr)}

  2. 情形 ②:g(x)g(x) 严格单调下降(g′(x)<0g'(x) < 0,) 此时反函数依然存在,但当把 gg 逆过去时,不等号方向必须翻转(这是初学者最容易掉入的坑!): FY(y)=P(g(X)≤y)=P(X≥g−1(y))=1−FX(g−1(y))F_Y(y) = \mathbb{P}\bigl(g(X) \le y\bigr) = \mathbb{P}\bigl(X \ge g^{-1}(y)\bigr) = 1 - F_X\bigl(g^{-1}(y)\bigr) (注: 指出这里假定 XX 为连续型随机变量,单点集 {X=g−1(y)}\{X = g^{-1}(y)\} 质量为 00;即便有离散质量,求导时也只多出一个 δ\delta 冲激,不影响连续部分的本质。) 现在对 yy 求导,前面的 1−FX(⋅)1 - F_X(\cdot) 会多出一个负号: fY(y)=−fX(g−1(y))⋅ddyg−1(y)=−fX(g−1(y))g′(g−1(y))f_Y(y) = -f_X\bigl(g^{-1}(y)\bigr) \cdot \frac{\mathrm{d}}{\mathrm{d}y}g^{-1}(y) = -\frac{f_X\bigl(g^{-1}(y)\bigr)}{g'\bigl(g^{-1}(y)\bigr)}

  3. 合二为一与物理几何直觉(): 注意到当 gg 单调上升时 g′>0g' > 0(前面无负号),当 gg 单调下降时 g′<0g' < 0(前面带负号 −g′=∣g′∣-g' = |g'|)。因此两种情形完美统一为一维雅可比变换公式: fY(y)=fX(g−1(y))∣g′(g−1(y))∣=fX(x) ∣dxdy∣∣x=g−1(y)f_Y(y) = \frac{f_X\bigl(g^{-1}(y)\bigr)}{\bigl|g'\bigl(g^{-1}(y)\bigr)\bigr|} = f_X(x)\,\left|\frac{\mathrm{d}x}{\mathrm{d}y}\right|\Bigg|_{x=g^{-1}(y)}

    • 为什么分母是 ∣g′(x)∣|g'(x)|?(微元概率守恒):在 xx 处取微元区间 [x,x+dx][x, x+\mathrm{d}x],它包含的概率质量为 fX(x)∣dx∣f_X(x)|\mathrm{d}x|;经过映射 y=g(x)y=g(x) 后,该微元被拉伸为长度 ∣dy∣=∣g′(x)∣⋅∣dx∣|\mathrm{d}y| = |g'(x)|\cdot|\mathrm{d}x| 的输出微元。由微元概率质量守恒 fY(y)∣dy∣=fX(x)∣dx∣f_Y(y)|\mathrm{d}y| = f_X(x)|\mathrm{d}x|,立即看出:映射斜率 ∣g′(x)∣|g'(x)| 越陡峭,输出区间 ∣dy∣|\mathrm{d}y| 被拉伸得越长,概率密度 fY(y)=fX(x)/∣g′(x)∣f_Y(y) = f_X(x)/|g'(x)| 就越被稀释;反之,在驻点 g′(x)=0g'(x)=0 附近,微元被剧烈挤压,输出密度会急剧隆起甚至发散!

1.3 分段单调(多对一)映射与“Magic 魔法期望公式”()

如果 g(x)g(x) 不是全局单调,而是像波浪线或抛物线那样有若干个单调分支(多对一映射,),考察小区间概率: fY(y)=lim⁡Δy→0+P(y<Y≤y+Δy)Δyf_Y(y) = \lim_{\Delta y \to 0^+} \frac{\mathbb{P}(y < Y \le y + \Delta y)}{\Delta y} 当 YY 落在两条水平线 [y,y+Δy][y, y+\Delta y] 之间时,对应的 XX 落在所有满足 g(xk)=yg(x_k)=y 的分支逆像小区间 IkI_k 的不交并中。在每个局部单调分支上各自应用单调公式(上升段直接减,下降段颠倒高低端点后同样化为 ∣g′(xk)∣|g'(x_k)|),相加即得一般分段单调雅可比公式: fY(y)=∑k: g(xk)=yfX(xk)∣g′(xk)∣f_Y(y) = \sum_{k:\,g(x_k)=y} \frac{f_X(x_k)}{\bigl|g'(x_k)\bigr|}

课堂高光:求 E[g(X)]\mathbb{E}[g(X)] 的“Magic 魔法公式”()

既然求 fY(y)f_Y(y) 如此繁琐(甚至当 g(x)g(x) 剧烈震荡或处处不可微时根本写不出 fY(y)f_Y(y)),那如果我们要算 Y=g(X)Y=g(X) 的期望 E[Y]\mathbb{E}[Y],难道必须先算出 fY(y)f_Y(y) 再算 ∫yfY(y) dy\int y f_Y(y)\,\mathrm{d}y 吗? 张颢老师在 写下了概率论中鼎鼎大名的 Magic 公式(魔法公式 / 无意识统计学家法则 LOTUS): E[Y]=∫−∞∞y fY(y) dy=Magic!∫−∞∞g(x) fX(x) dx\mathbb{E}[Y] = \int_{-\infty}^{\infty} y\,f_Y(y)\,\mathrm{d}y \xlongequal{\text{Magic!}} \int_{-\infty}^{\infty} g(x)\,f_X(x)\,\mathrm{d}x

  • 为什么当 gg 单调时它很自然? 因为作换元 y=g(x)y=g(x) 时,fY(y) dy=fX(x)∣g′(x)∣⋅∣g′(x)∣ dx=fX(x) dxf_Y(y)\,\mathrm{d}y = \frac{f_X(x)}{|g'(x)|}\cdot |g'(x)|\,\mathrm{d}x = f_X(x)\,\mathrm{d}x,雅可比因子恰好与微分项完美抵消()!
  • 为什么它叫 Magic(魔法)? 因为哪怕 g(x)g(x) 根本不单调、有无穷多个分支、间断甚至 fY(y)f_Y(y) 根本写不出来,只要 gg 是可测函数,上式永远恒成立()!
  • 样本空间抽象积分的本质解释():从测度论高度看,期望本质上是在样本空间 Ω\Omega 上以概率测度 P(dω)\mathbb{P}(\mathrm{d}\omega) 为权重作 Lebesgue 积分: E[X]=∫ΩX(ω) P(dω)⟹E[g(X)]=∫Ωg(X(ω)) P(dω)=∫−∞∞g(x) fX(x) dx\mathbb{E}[X] = \int_{\Omega} X(\omega)\,\mathbb{P}(\mathrm{d}\omega) \quad\Longrightarrow\quad \mathbb{E}\bigl[g(X)\bigr] = \int_{\Omega} g\bigl(X(\omega)\bigr)\,\mathbb{P}(\mathrm{d}\omega) = \int_{-\infty}^{\infty} g(x)\,f_X(x)\,\mathrm{d}x 一旦站在样本空间 Ω\Omega 上看问题,g(X(ω))g(X(\omega)) 只不过是样本点 ω\omega 的另一个复合函数,根本不需要绕道 YY 的值域密度 fY(y)f_Y(y)!
BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ①单调上升 (g' > 0) vs 单调下降 (g' < 0):不等号翻转产生负号
g′>0:  FY(y)=FX(g−1(y))  ⟹  fY(y)=fX(g−1(y))g′(g−1(y))∣g′<0:  FY(y)=1−FX(g−1(y))  ⟹  fY(y)=−fX(g−1(y))g′(g−1(y))g' > 0:\; F_Y(y)=F_X(g^{-1}(y)) \implies f_Y(y)=\frac{f_X(g^{-1}(y))}{g'(g^{-1}(y))} \qquad\Big|\qquad g' < 0:\; F_Y(y)=1-F_X(g^{-1}(y)) \implies f_Y(y)=-\frac{f_X(g^{-1}(y))}{g'(g^{-1}(y))}

对应黑板左侧():下降函数求逆时 P(g(X)≤y)=P(X≥g−1(y))\mathbb{P}(g(X)\le y)=\mathbb{P}(X\ge g^{-1}(y)),求导多出的负号与 g′<0g'<0 合并为 ∣g′∣|g'|。

Step ②分段单调多对一求和公式(Multiple Pre-image Branches)
P(y<Y≤y+Δy)=∑kP(X∈Ik)⟹fY(y)=∑k: g(xk)=yfX(xk)∣g′(xk)∣\mathbb{P}(y < Y \le y+\Delta y) = \sum_{k} \mathbb{P}(X \in I_k) \quad\Longrightarrow\quad f_Y(y) = \sum_{k:\,g(x_k)=y} \frac{f_X(x_k)}{\bigl|g'(x_k)\bigr|}

对应黑板中区():将水平带 [y,y+Δy][y, y+\Delta y] 切出的每一段上升/下降原像区间概率相加。

Step ③随机变量函数期望的 Magic 公式与样本空间抽象积分
E[g(X)]=∫−∞∞y fY(y) dy=恒成立∫−∞∞g(x) fX(x) dx=∫Ωg(X(ω)) P(dω)\mathbb{E}\bigl[g(X)\bigr] = \int_{-\infty}^{\infty} y\,f_Y(y)\,\mathrm{d}y \xlongequal{\text{恒成立}} \int_{-\infty}^{\infty} g(x)\,f_X(x)\,\mathrm{d}x = \int_{\Omega} g\bigl(X(\omega)\bigr)\,\mathbb{P}(\mathrm{d}\omega)

对应黑板右侧():实分析测度变换保证无需先求 fY(y)f_Y(y),直接拿 fX(x)f_X(x) 对 g(x)g(x) 加权积分即可。

直观交互 · 05

随机变量的函数 Y = g(X) 与雅可比拉伸 |dx/dy|

交互提示:选择平方变换 Y=aX²(χ²(1) 分布生成机制),观察左图 x=0 附近平缓的抛物线底部(g′(0)=0)如何在右图 y→0⁺ 处把概率密度挤压成趋向无穷大的奇异竖直渐近线。

无意识统计学家法则 E[g(X)]1.000无需先求 fY(y),直接由 ∫ g(x)fX(x)dx 算出
原像分支数2 支 (±√(y/a))非单调映射必须对所有逆像分支求和
雅可比行列式作用1 / (2a√(y/a))概率微元守恒 fY(y)dy = Σ fX(xᵢ)dxᵢ
原分布密度 f_X(x) 与映射曲线 y = g(x)深蓝为输入高斯密度,橙色为变换函数 g(x)
输出密度 f_Y(y) = Σ f_X(xᵢ) / |g′(xᵢ)|雅可比因子 |dx/dy| 决定密度的压缩与暴涨
深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

为什么求密度 fY(y)f_Y(y) 绝对不能把 x=g−1(y)x = g^{-1}(y) 直接代入 fX(x)f_X(x) 了事,而求期望 E[g(X)]\mathbb{E}[g(X)] 却可以直接把 g(x)g(x) 乘上 fX(x)f_X(x) 积分? 因为概率密度 fX(x)f_X(x) 不是概率本身,而是单位长度上的概率变化率(微分 1-形式 fX(x) dxf_X(x)\,\mathrm{d}x 的系数)!当坐标轴从 xx 变成 y=g(x)y=g(x) 时,尺子的刻度被拉伸了 ∣g′(x)∣|g'(x)| 倍,所以密度值必须除以 ∣g′(x)∣|g'(x)| 才能维持微元概率 fY(y)∣dy∣=fX(x)∣dx∣f_Y(y)|\mathrm{d}y| = f_X(x)|\mathrm{d}x| 不变;而在期望积分 ∫y fY(y) dy\int y\,f_Y(y)\,\mathrm{d}y 中,被除掉的雅可比因子 1/∣g′(x)∣1/|g'(x)| 与微分换元 dy=∣g′(x)∣ dx\mathrm{d}y = |g'(x)|\,\mathrm{d}x 刚好一乘一除彻底抵消!

本节方法论沉淀 · KEY TAKEAWAYS
  • 第一性原理优先:实战做题永远优先写 FY(y)=P(g(X)≤y)F_Y(y) = \mathbb{P}(g(X) \le y),画图看清 XX 的解集区间后再积分或对上限求导。

  • 雅可比绝对值的来源:单调下降时逆映射翻转不等号 P(X≥g−1(y))=1−FX(g−1(y))\mathbb{P}(X\ge g^{-1}(y)) = 1 - F_X(g^{-1}(y)),求导负号与 g′<0g'<0 合并为 ∣g′(x)∣|g'(x)|。

  • Magic 公式:计算 E[g(X)]\mathbb{E}[g(X)] 时直接算 ∫g(x)fX(x) dx\int g(x)f_X(x)\,\mathrm{d}x,永远不要绕远路去求 Y=g(X)Y=g(X) 的密度!

2. 标准高斯平方 Y = X²:从卡方分布 χ²(1)、欧拉 Γ 函数到 Gamma / Erlang 分布桥

黑板完整推演 X ~ N(0,1) 平方变换 Y = X² 的密度,导出自由度为 1 的卡方分布 χ²(1);引入欧拉 Gamma 函数 Γ(x) 将阶乘延拓至全体实数(Γ(1/2) = √π),并揭示 Gamma 分布族如何将高斯平方、卡方分布 χ²(n)、指数分布与通信 Erlang 等待分布串联成一张大网。

2.1 黑板核心算例:标准高斯平方 X∼N(0,1)  ⟹  Y=X2X \sim \mathcal{N}(0,1) \implies Y = X^2()

设 X∼N(0,1)X \sim \mathcal{N}(0,1) 为标准高斯随机变量,密度为 fX(x)=12πe−x2/2f_X(x) = \frac{1}{\sqrt{2\pi}}e^{-x^2/2}。考察平方变换(工程中的能量检波器)Y=X2Y = X^2:

  • Step ① 确定取值范围:由于 X2≥0X^2 \ge 0,当 y<0y < 0 时必有 FY(y)=0,  fY(y)=0F_Y(y) = 0,\; f_Y(y) = 0()。
  • Step ② 从定义出发展开对称双支():当 y≥0y \ge 0 时,抛物线 X2≤yX^2 \le y 等价于双侧区间 −y≤X≤y-\sqrt{y} \le X \le \sqrt{y},故: FY(y)=P(X2≤y)=P(−y≤X≤y)=FX(y)−FX(−y)F_Y(y) = \mathbb{P}(X^2 \le y) = \mathbb{P}\bigl(-\sqrt{y} \le X \le \sqrt{y}\bigr) = F_X\bigl(\sqrt{y}\bigr) - F_X\bigl(-\sqrt{y}\bigr)
  • Step ③ 求导并利用偶函数对称性合并(): 两边对 y>0y > 0 求导,注意到 (−y)′=−12y\bigl(-\sqrt{y}\bigr)' = -\frac{1}{2\sqrt{y}} 的负号与前面的减号抵消变成加号(对应负半轴翻转折叠到正半轴): fY(y)=12y[fX(y)+fX(−y)]=fX(y)=fX(−y)1y fX(y)=12π y−1/2e−y/2,y>0f_Y(y) = \frac{1}{2\sqrt{y}}\Bigl[f_X\bigl(\sqrt{y}\bigr) + f_X\bigl(-\sqrt{y}\bigr)\Bigr] \xlongequal{f_X(\sqrt{y})=f_X(-\sqrt{y})} \frac{1}{\sqrt{y}}\,f_X\bigl(\sqrt{y}\bigr) = \frac{1}{\sqrt{2\pi}}\,y^{-1/2}e^{-y/2}, \quad y > 0 张颢老师指出():这个把标准高斯左右两翼折叠到正半轴并经雅可比因子 12y\frac{1}{2\sqrt{y}} 重塑形状后得到的分布,就是统计学中赫赫有名的自由度为 1 的卡方分布(Chi-Square Distribution),记作 χ2(1)\chi^2(1)!

2.2 欧拉 Gamma 函数 Γ(x)\Gamma(x):将阶乘从正整数延拓到实数与分数()

既然有 11 个自由度的 χ2(1)\chi^2(1),就有 nn 个独立标准高斯平方和构成的自由度为 nn 的卡方分布 χ2(n)\chi^2(n)(,在 明确写出 Y=∑k=1nXk2,  Xk∼i.i.d.N(0,1)Y = \sum_{k=1}^n X_k^2,\; X_k \stackrel{\text{i.i.d.}}{\sim} \mathcal{N}(0,1)): fχ2(n)(y)=12n/2 Γ(n/2) yn2−1e−y/2,y>0f_{\chi^2(n)}(y) = \frac{1}{2^{n/2}\,\Gamma(n/2)}\,y^{\frac{n}{2}-1}e^{-y/2}, \quad y > 0 公式分母中出现的 Γ(⋅)\Gamma(\cdot) 正是数学分析中用途极广的欧拉 Gamma 函数(): Γ(x)=∫0∞tx−1e−t dt,Γ ⁣(12)=π(对应 n=1 时的 2π)\Gamma(x) = \int_0^{\infty} t^{x-1} e^{-t}\,\mathrm{d}t, \qquad \Gamma\!\left(\frac{1}{2}\right) = \sqrt{\pi} \quad (\text{对应 } n=1 \text{ 时的 } \sqrt{2\pi}) 为什么 Gamma 函数在概率论与数学中如此重要?张颢老师在黑板上用一次分部积分给出了核心递推性质(): Γ(x+1)=∫0∞txe−t dt=[−txe−t]0∞+x∫0∞tx−1e−t dt=x Γ(x)\Gamma(x+1) = \int_0^{\infty} t^x e^{-t}\,\mathrm{d}t = \Bigl[-t^x e^{-t}\Bigr]_0^{\infty} + x\int_0^{\infty} t^{x-1}e^{-t}\,\mathrm{d}t = x\,\Gamma(x)

  • 阶乘的连续延拓:当 x=n∈N+x = n \in \mathbb{N}^+ 时,反复递推并结合 Γ(1)=∫0∞e−tdt=1\Gamma(1) = \int_0^\infty e^{-t}\mathrm{d}t = 1,立得 Γ(n)=(n−1)Γ(n−1)=⋯=(n−1)!\Gamma(n) = (n-1)\Gamma(n-1) = \cdots = (n-1)!。
  • 超越正整数的眼界():普通阶乘 n!n! 只能对正整数定义,而通过 Γ(x)\Gamma(x),我们竟然可以对分数(如 Γ(1/2)=π\Gamma(1/2)=\sqrt{\pi})、无理数乃至非整负数计算“广义阶乘”!

2.3 Gamma 分布族 Γ(α,p)\Gamma(\alpha, p):串联高斯、卡方、指数与 Erlang 的大一统桥梁()

利用换元 t=αxt = \alpha x(),由 ∫0∞xp−1e−αxdx=Γ(p)αp\int_0^\infty x^{p-1}e^{-\alpha x}\mathrm{d}x = \frac{\Gamma(p)}{\alpha^p} 可构造出极具一般性的双参数 Gamma 分布 Γ(α,p)\Gamma(\alpha, p)(张颢老师黑板记尺度/率参数为 α>0\alpha>0、形状参数为 p>0p>0;部分教材记为 Γ(p,λ)\Gamma(p, \lambda)): f(x)=αpΓ(p) xp−1e−αx,x>0f(x) = \frac{\alpha^p}{\Gamma(p)}\,x^{p-1}e^{-\alpha x}, \quad x > 0 在 ,张颢老师揭示了随着参数 (α,p)(\alpha, p) 取不同特殊值,Gamma 分布如何像一座四通八达的桥梁,将看似毫无瓜葛的四大经典分布彻底贯通:

参数取值 (α, p)(\alpha,\, p) 退化出的具体分布 概率密度表达式 f(x)  (x>0)f(x)\;(x>0) 课堂揭示的物理与概率内蕴()
α=12,  p=12\alpha=\frac{1}{2},\; p=\frac{1}{2} 1 自由度卡方 χ2(1)\chi^2(1) 12πx−1/2e−x/2\frac{1}{\sqrt{2\pi}}x^{-1/2}e^{-x/2} 单个标准高斯变量的平方 X12X_1^2
α=12,  p=n2\alpha=\frac{1}{2},\; p=\frac{n}{2} nn 自由度卡方 χ2(n)\chi^2(n) 12n/2Γ(n/2)xn/2−1e−x/2\frac{1}{2^{n/2}\Gamma(n/2)}x^{n/2-1}e^{-x/2} nn 个独立标准高斯的平方和 ∑k=1nXk2\sum_{k=1}^n X_k^2(自由度 = 独立分量个数)
α=12,  p=1  (n=2)\alpha=\frac{1}{2},\; p=1\;(n=2) 指数分布 Exp⁡(1/2)\operatorname{Exp}(1/2) 12e−x/2\frac{1}{2}e^{-x/2} 震撼联系():两个独立标准高斯的平方和 X12+X22X_1^2+X_2^2 竟然就是指数分布!
任意 α>0,  p=1\alpha>0,\; p=1 指数分布 Exp⁡(α)\operatorname{Exp}(\alpha) αe−αx\alpha e^{-\alpha x} 电话交换局等待第 11 个电话呼入(Call-in)的时间
任意 α>0,  p=n∈N+\alpha>0,\; p=n\in\mathbb{N}^+ Erlang(爱尔朗)分布 αn(n−1)!xn−1e−αx\frac{\alpha^n}{(n-1)!}x^{n-1}e^{-\alpha x} 2n2n 个独立高斯的平方和   ⟺  \iff nn 个独立指数等待时间之和(全部 nn 条中继线被占满发生呼损前的总等待时间,)
CLASSROOM BOARD DIAGRAM · 张颢老师课堂黑板原图矢量化复原

黑板原图复原 1:平方变换 Y=X2Y=X^2 的正负双支折叠与 χ2(1)\chi^2(1) 零点奇异峰(P52 15:55 & P54 02:56)

复原张颢老师在黑板上展示的抛物线 y=x2y=x^2 将对称区间 [−y,y][-\sqrt{y},\sqrt{y}] 双支映射至 [0,y][0,y] 的微元缩放机制。
−√y +√y y = x² x

双支逆像合并():对 y>0y>0,事件 {X2≤y}={−y≤X≤y}\{X^2\le y\} = \{-\sqrt{y}\le X\le \sqrt{y}\},故 FY(y)=FX(y)−FX(−y)F_Y(y) = F_X(\sqrt{y}) - F_X(-\sqrt{y})。

求导得 χ2(1)\chi^2(1) 密度:fY(y)=fX(y)+fX(−y)2y=12πye−y/2(y>0)f_Y(y) = \frac{f_X(\sqrt{y}) + f_X(-\sqrt{y})}{2\sqrt{y}} = \frac{1}{\sqrt{2\pi y}}e^{-y/2}\quad(y>0)

顶点奇异性直觉:在 x=0x=0 处斜率 g′(0)=0g'(0)=0,微元 ∣dy∣=2∣x∣ ∣dx∣|\mathrm{d}y|=2|x|\,|\mathrm{d}x| 极度压缩,导致 fY(y)f_Y(y) 在 y→0+y\to 0^+ 处形成 y−1/2y^{-1/2} 可积奇异峰。

BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ①从分布函数定义推导 Y = X² 密度与 χ²(1) 分布
FY(y)=FX(y)−FX(−y)  ⟹  fY(y)=fX(y)+fX(−y)2y=X∼N(0,1)12πy−1/2e−y/2∼χ2(1)F_Y(y) = F_X(\sqrt{y}) - F_X(-\sqrt{y}) \implies f_Y(y) = \frac{f_X(\sqrt{y}) + f_X(-\sqrt{y})}{2\sqrt{y}} \xlongequal{X\sim\mathcal{N}(0,1)} \frac{1}{\sqrt{2\pi}}y^{-1/2}e^{-y/2} \sim \chi^2(1)

对应黑板左区():对 −FX(−y)-F_X(-\sqrt{y}) 求导产生两个负号相消,正负半轴高斯概率对称叠加。

Step ②欧拉 Gamma 函数分部积分递推与广义阶乘
Γ(x)=∫0∞tx−1e−t dt,Γ(x+1)=x Γ(x)  ⟹  Γ(n)=(n−1)!,Γ ⁣(12)=π\Gamma(x) = \int_0^{\infty} t^{x-1}e^{-t}\,\mathrm{d}t,\quad \Gamma(x+1) = x\,\Gamma(x) \implies \Gamma(n) = (n-1)!,\quad \Gamma\!\left(\frac{1}{2}\right) = \sqrt{\pi}

对应黑板中区():将离散的正整数阶乘平滑延拓到实轴(含半整数与负数)。

Step ③Gamma 分布桥梁:贯通高斯平方、卡方、指数与通信 Erlang 分布
fΓ(α,p)(x)=αpΓ(p)xp−1e−αx:Γ(12,n2)=χ2(n)⏟∑i=1nZi2→n=2Γ(12,1)=Exp⁡(12)⏟Z12+Z22(高斯连指数!)→p=nΓ(α,n)=Erlang(n,α)⏟∑i=1nExp⁡(α)(中继线呼损)f_{\Gamma(\alpha,p)}(x) = \frac{\alpha^p}{\Gamma(p)}x^{p-1}e^{-\alpha x}: \quad \underbrace{\Gamma(\tfrac{1}{2},\tfrac{n}{2}) = \chi^2(n)}_{\sum_{i=1}^n Z_i^2} \xrightarrow{n=2} \underbrace{\Gamma(\tfrac{1}{2},1) = \operatorname{Exp}(\tfrac{1}{2})}_{Z_1^2+Z_2^2\text{(高斯连指数!)}} \xrightarrow{p=n} \underbrace{\Gamma(\alpha,n) = \text{Erlang}(n,\alpha)}_{\sum_{i=1}^n \operatorname{Exp}(\alpha)\text{(中继线呼损)}}

对应黑板右区():两个独立高斯平方和配对成一个指数分布,2n2n 个高斯平方和配对成 nn 阶 Erlang 分布。

深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

为什么标准正态密度 fX(x)f_X(x) 在原点 x=0x=0 处明明是有限的平滑峰顶 1/2π≈0.39891/\sqrt{2\pi} \approx 0.3989,平方之后得到的 χ2(1)\chi^2(1) 密度 fY(y)=12πye−y/2f_Y(y) = \frac{1}{\sqrt{2\pi y}}e^{-y/2} 在 y→0+y \to 0^+ 处却会趋于无穷大 ∞\infty? 这就是雅可比压缩效应最直观的体现!在原点附近,取一段宽度为 2ε2\varepsilon(比如 [−0.01,0.01][-0.01, 0.01])的输入区间,它携带着大约 2ε⋅fX(0)≈0.0082\varepsilon \cdot f_X(0) \approx 0.008 的概率质量;但经过平方映射 y=x2y=x^2 后,这段宽度为 0.020.02 的区间被猛烈挤压进了宽度仅为 ε2=0.0001\varepsilon^2 = 0.0001 的极窄输出区间 [0,0.0001][0, 0.0001] 内!区间宽度被压缩了 1/ε=1/y1/\varepsilon = 1/\sqrt{y} 倍,为了守恒原有的概率质量,输出密度 fY(y)f_Y(y) 在 y→0+y \to 0^+ 时必须按 y−1/2y^{-1/2} 飙升至无穷大(但积分面积 ∫0ε2y−1/2dy=2ε\int_0^{\varepsilon^2} y^{-1/2}\mathrm{d}y = 2\varepsilon 依然完全有限可积)。

本节方法论沉淀 · KEY TAKEAWAYS
  • 偶函数平方变换通式:若 XX 的密度关于原点对称(fX(−x)=fX(x)f_X(-x)=f_X(x)),则 Y=X2Y=X^2 的密度直接简化为 fY(y)=1yfX(y)  (y>0)f_Y(y) = \frac{1}{\sqrt{y}}f_X(\sqrt{y})\;(y>0)。

  • 高斯与指数的惊人血缘:Z1,Z2∼i.i.d.N(0,1)  ⟹  Z12+Z22∼χ2(2)=Exp⁡(1/2)Z_1, Z_2 \stackrel{\text{i.i.d.}}{\sim} \mathcal{N}(0,1) \implies Z_1^2 + Z_2^2 \sim \chi^2(2) = \operatorname{Exp}(1/2)(瑞利分布的平方正是全向二维高斯噪声的瞬时功率!)。

  • Erlang 分布的工程背景:p=np=n 的 Gamma 分布就是 nn 个独立同参数指数等待时间之和,直接决定电话交换局中继线容量与呼损率。

3. 逆变换采样定理 X = F⁻¹(U)、线性同余伪随机数与 Weibull 澡盆失效率曲线

计算机蒙特卡罗仿真如何生成任意指定分布的伪随机数?张颢老师在黑板上证明了逆变换采样定理 F⁻¹(U) ~ F,剖析了 C 语言 rand() 背后的线性同余法与时间种子,并通过指数分布的幂变换 Y = X^(1/α) 推导出统一刻画可靠性“澡盆曲线”全生命周期的 Weibull(威布尔)分布。

3.1 蒙特卡罗仿真与逆变换采样定理(Inverse Transform Sampling,)

在通信信道仿真与金融工程中,我们不可能每次都去大野地里搭基站做物理实验,而必须在计算机里进行蒙特卡罗仿真(Monte Carlo Simulation,)。这就要求计算机能够生成服从任意指定分布函数 FX(x)F_X(x) 的伪随机数(Pseudo-Random Numbers)。

张颢老师在 证明了支撑整个计算概率论的基石定理——逆变换采样定理:

定理:设目标随机变量 XX 的分布函数 FX(x)F_X(x) 严格单调连续(从而存在逆函数 FX−1F_X^{-1})。若 U∼Unif⁡(0,1)U \sim \operatorname{Unif}(0,1) 是 [0,1][0,1] 区间上的标准均匀随机变量,令: Y=FX−1(U)Y = F_X^{-1}(U) 则 YY 的分布函数与 XX 的分布函数完全相同(FY(y)=FX(y)F_Y(y) = F_X(y),即 Y=dXY \stackrel{d}{=} X)!

  • 黑板一行证明(从定义出发,): 由于分布函数 FXF_X 单调上升,把 FX−1F_X^{-1} 逆过去时不等号方向不变;再注意到 U∼Unif⁡(0,1)U \sim \operatorname{Unif}(0,1) 在 [0,1][0,1] 内的分布函数就是恒等映射 FU(u)=uF_U(u) = u(当 u=FX(y)∈[0,1]u = F_X(y) \in [0,1] 时),立得: FY(y)=P(Y≤y)=P(FX−1(U)≤y)=P(U≤FX(y))=FU(FX(y))=FX(y)F_Y(y) = \mathbb{P}(Y \le y) = \mathbb{P}\bigl(F_X^{-1}(U) \le y\bigr) = \mathbb{P}\bigl(U \le F_X(y)\bigr) = F_U\bigl(F_X(y)\bigr) = F_X(y)
  • 两步通用生成算法(): ① 先在计算机中生成一大批 [0,1][0,1] 均匀分布伪随机数 U1,U2,…U_1, U_2, \dots; ② 将目标分布函数的反函数 FX−1(⋅)F_X^{-1}(\cdot) 作用在它们身上,立刻得到服从目标分布 FXF_X 的随机样本!

3.2 计算机如何生成均匀伪随机数?线性同余法与指数分布采样()

逆变换采样有两大前提:① 能造出 Unif⁡(0,1)\operatorname{Unif}(0,1) 随机数;② 能求出反函数 FX−1F_X^{-1}。

  1. 线性同余法(Linear Congruential Generator, LCG,): 计算机内部没有量子真随机源,最常用的 rand() 函数采用如下模运算递推公式: xk=(a xk−1+b) mod cx_k = (a\,x_{k-1} + b) \bmod c
    • 为什么要取很大的整数 a,b,ca,b,c? 为了让序列 xkx_k 的周期尽可能长,跳动得忽高忽低、摸不着规律(像真随机一样,)。
    • C 语言中的 RAND_MAX 与随机种子 srand(time):由于对 cc 取模,生成的整数落在 [0,c)[0, c) 内,因此 RAND_MAX 恰为模数 cc(除以 cc 即归一化到 [0,1][0,1],);而递推必须有初值 x0x_0(即种子 Seed),工程上常用当前系统时钟 time(NULL) 作为种子 x0x_0,否则每次运行程序吐出的随机数序列将分毫不差()!
  2. 黑板实例:生成指数分布随机数(): 设目标为 X∼Exp⁡(1)X \sim \operatorname{Exp}(1)(分布函数 FX(x)=1−e−xF_X(x) = 1 - e^{-x}),求逆得 FX−1(u)=−ln⁡(1−u)F_X^{-1}(u) = -\ln(1 - u)。因此只需取 Y=−ln⁡(1−U)Y = -\ln(1 - U);更妙的是,既然 U∼Unif⁡(0,1)U \sim \operatorname{Unif}(0,1),那么 1−U1 - U 也严格服从 Unif⁡(0,1)\operatorname{Unif}(0,1),故在编程时直接写 Y = -ln(U)(对一般参数 λ\lambda 为 Y = -ln(U) / lambda)即可!

3.3 指数分布的幂变换:Weibull(威布尔)分布与澡盆曲线全周期建模()

在课程最后 11 分钟,张颢老师展示了随机变量函数变换在可靠性工程中的杰作——将指数分布 X∼Exp⁡(λ)X \sim \operatorname{Exp}(\lambda) 作幂函数变换(): Y=X1/α(α>0)Y = X^{1/\alpha} \quad (\alpha > 0)

  • Step ① 从定义推导 Weibull 分布函数与密度(): 对于 y>0y > 0,由于 α>0\alpha > 0,幂函数单调上升: FY(y)=P(X1/α≤y)=P(X≤yα)=1−e−λyα⟹fY(y)=FY′(y)=λα yα−1e−λyαF_Y(y) = \mathbb{P}\bigl(X^{1/\alpha} \le y\bigr) = \mathbb{P}\bigl(X \le y^\alpha\bigr) = 1 - e^{-\lambda y^\alpha} \quad\Longrightarrow\quad f_Y(y) = F_Y'(y) = \lambda\alpha\,y^{\alpha-1}e^{-\lambda y^\alpha} 这一分布以瑞典学者 Waloddi Weibull 命名,称为 Weibull(威布尔)分布()。
  • Step ② 计算失效率函数 r(t)r(t) 并统一“澡盆曲线”(): 单看密度 fY(y)f_Y(y) 还不觉得惊艳,但一旦代入第 7 讲学过的失效率(Hazard / Failure Rate)定义 r(t)=fY(t)1−FY(t)r(t) = \frac{f_Y(t)}{1 - F_Y(t)},指数项 e−λtαe^{-\lambda t^\alpha} 瞬间上下约掉(): r(t)=λα tα−1e−λtαe−λtα=λα tα−1r(t) = \frac{\lambda\alpha\,t^{\alpha-1}e^{-\lambda t^\alpha}}{e^{-\lambda t^\alpha}} = \lambda\alpha\,t^{\alpha-1} 这是一个极其干净的幂函数!只需调节幂指数参数 α\alpha,就能把“澡盆曲线(Bathtub Curve)”的三个寿命阶段全部囊括其中:
    • 0<α<10 < \alpha < 1(澡盆左侧边缘 · 早期失效期,):α−1<0\alpha - 1 < 0,r(t)r(t) 随时间 tt 单调下降(不良品在出厂早期迅速暴露淘汰,越用越稳定);
    • α=1\alpha = 1(澡盆盆底 · 偶然失效平台期,):r(t)≡λr(t) \equiv \lambda 为常数,退化为无记忆性的指数分布;
    • α>1\alpha > 1(澡盆右侧边缘 · 耗损老化期,):α−1>0\alpha - 1 > 0,r(t)r(t) 随时间 tt 单调上升(器件疲劳磨损,越老越容易坏)!
CLASSROOM BOARD DIAGRAM · 张颢老师课堂黑板原图矢量化复原

黑板原图复原 2:逆变换采样定理 U∼Unif⁡(0,1)  ⟹  Y=FX−1(U)U\sim\operatorname{Unif}(0,1) \implies Y = F_X^{-1}(U)()

严格复原张颢老师在 黑板上写下的 Monte Carlo Simulation: U ~ U(0,1), Y = F⁻¹(U) ⇒ F_Y = F_X 纵轴投射图。
1 U Y = F⁻¹(U) u = Fₓ(x)

逆变换采样三行证明():因 FXF_X 单调递增,对 U∼Unif⁡(0,1)U\sim\operatorname{Unif}(0,1) 有 FY(y)=P(FX−1(U)≤y)=P(U≤FX(y))=FX(y)F_Y(y)=\mathbb{P}(F_X^{-1}(U)\le y)=\mathbb{P}(U\le F_X(y))=F_X(y)

指数分布伪随机数生成():解 1−e−λX=U1-e^{-\lambda X}=U 得 X=−1λln⁡(1−U)=d−1λln⁡UX = -\frac{1}{\lambda}\ln(1-U) \stackrel{d}{=} -\frac{1}{\lambda}\ln U。

BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ①逆变换采样定理证明(Inverse Transform Sampling)
U∼Unif⁡(0,1),  Y=FX−1(U)⟹FY(y)=P(FX−1(U)≤y)=P(U≤FX(y))=FX(y)U \sim \operatorname{Unif}(0,1),\; Y = F_X^{-1}(U) \quad\Longrightarrow\quad F_Y(y) = \mathbb{P}\bigl(F_X^{-1}(U) \le y\bigr) = \mathbb{P}\bigl(U \le F_X(y)\bigr) = F_X(y)

对应黑板左区():把生成任意复杂分布随机数的问题转化为求分布函数反函数 FX−1F_X^{-1}。

Step ②线性同余发生器 (LCG) 与指数分布采样公式
xk=(axk−1+b) mod c,U=xkc⟹Y=−1λln⁡(1−U)=d−1λln⁡U∼Exp⁡(λ)x_k = (a x_{k-1} + b) \bmod c,\quad U = \frac{x_k}{c} \quad\Longrightarrow\quad Y = -\frac{1}{\lambda}\ln(1-U) \stackrel{d}{=} -\frac{1}{\lambda}\ln U \sim \operatorname{Exp}(\lambda)

对应黑板中区():RAND_MAX 即模数 cc,利用 1−U=dU1-U \stackrel{d}{=} U 省去一次减法。

Step ③指数幂变换导出 Weibull 分布与澡盆曲线三阶段失效率
Y=X1/α  (X∼Exp⁡(λ))  ⟹  FY(t)=1−e−λtα,r(t)=fY(t)1−FY(t)=λα tα−1  {α<1:早期递减α=1:盆底恒定α>1:老化递增Y = X^{1/\alpha}\;(X\sim\operatorname{Exp}(\lambda)) \implies F_Y(t) = 1 - e^{-\lambda t^\alpha},\quad r(t) = \frac{f_Y(t)}{1-F_Y(t)} = \lambda\alpha\,t^{\alpha-1}\;\begin{cases}\alpha<1:\text{早期递减}\\ \alpha=1:\text{盆底恒定}\\ \alpha>1:\text{老化递增}\end{cases}

对应黑板右区():用一个参数族完整刻画器件全生命周期的可靠性演化。

深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

既然逆变换采样 X=F−1(U)X = F^{-1}(U) 如此万能,为什么计算机生成标准正态分布 N(0,1)\mathcal{N}(0,1) 时通常不直接用 F−1(U)F^{-1}(U)? 因为正态分布的累积分布函数 Φ(x)=12π∫−∞xe−t2/2 dt\Phi(x) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^x e^{-t^2/2}\,\mathrm{d}t 没有初等解析反函数!如果强行用数值逼近计算 Φ−1(U)\Phi^{-1}(U) 会耗费较多算力。但请回想本讲 张颢老师埋下的伏笔:两个独立标准高斯的平方和 Z12+Z22Z_1^2 + Z_2^2 服从指数分布 Exp⁡(1/2)\operatorname{Exp}(1/2)!而指数分布是可以用 −2ln⁡U1-2\ln U_1 极速生成的——在第 13 讲学习二维极坐标雅可比变换后,只需再配一个均匀随机角度 Θ=2πU2\Theta = 2\pi U_2,就能用初等函数一步造出两个精确独立的标准高斯随机数(这正是著名的 Box–Muller 算法)!

本节方法论沉淀 · KEY TAKEAWAYS
  • 逆变换采样对偶性:① 若 U∼Unif⁡(0,1)U \sim \operatorname{Unif}(0,1),则 FX−1(U)∼FXF_X^{-1}(U) \sim F_X(生成随机数);② 若 X∼FXX \sim F_X 连续,则 FX(X)∼Unif⁡(0,1)F_X(X) \sim \operatorname{Unif}(0,1)(概率积分变换 / 直方图均衡化)。

  • Weibull 失效率记忆口诀:F(t)=1−e−λtα  ⟹  −ln⁡(1−F(t))=λtαF(t)=1-e^{-\lambda t^\alpha} \implies -\ln(1-F(t)) = \lambda t^\alpha,求导即得失效率 r(t)=λαtα−1r(t) = \lambda\alpha t^{\alpha-1}。

CONCEPTUAL & COUNTEREXAMPLE CHECKS · 第 10 讲随堂思辨与易错反例自测

检验你是否真正掌握了一维雅可比变换 ∣g′(x)∣|g'(x)|、LOTUS 公式与逆变换采样 F−1(U)F^{-1}(U)

先独立判断,再展开详细数学解析。每道题均紧扣张颢老师在本讲(P52–P56)课堂上的追问与经典反例。

CHECK 01

设连续型随机变量 XX 的概率密度为 fX(x)f_X(x),g(x)g(x) 是严格单调递减的可微函数(g′(x)<0g'(x) < 0)。在用分布函数定义法推导 Y=g(X)Y = g(X) 的密度 fY(y)f_Y(y) 时,为什么最终公式分母里会出现导数的绝对值 ∣g′(g−1(y))∣|g'(g^{-1}(y))|?

选择答案

CHECK 02

关于张颢老师在 重点讲授的期望“Magic 魔法公式” E[g(X)]=∫−∞∞g(x)fX(x) dx\mathbb{E}[g(X)] = \int_{-\infty}^{\infty} g(x)f_X(x)\,\mathrm{d}x,下列说法正确的是:

选择答案

CHECK 03

在张颢老师构建的 Gamma 分布族 Γ(α,p)\Gamma(\alpha, p)(密度为 αpΓ(p)xp−1e−αx\frac{\alpha^p}{\Gamma(p)}x^{p-1}e^{-\alpha x})桥梁中,若 X1,X2∼i.i.d.N(0,1)X_1, X_2 \stackrel{\text{i.i.d.}}{\sim} \mathcal{N}(0,1) 为两个相互独立的标准高斯随机变量,则它们的平方和 Y=X12+X22Y = X_1^2 + X_2^2 服从什么分布?

选择答案

CHECK 04

将指数分布 X∼Exp⁡(λ)X \sim \operatorname{Exp}(\lambda) 作幂变换 Y=X1/α  (α>0)Y = X^{1/\alpha}\;(\alpha > 0) 得到 Weibull(威布尔)寿命分布 FY(t)=1−e−λtαF_Y(t) = 1 - e^{-\lambda t^\alpha}。其失效率函数 r(t)=λαtα−1r(t) = \lambda\alpha t^{\alpha-1} 如何对应“澡盆曲线”的三个阶段?

选择答案
本讲核心概念、黑板记号与中英术语对照 (6 项)
一维雅可比变换公式 1D Jacobian Density Formula

可微映射 Y=g(X)Y=g(X) 的概率密度公式 fY(y)=∑g(xk)=yfX(xk)/∣g′(xk)∣f_Y(y)=\sum_{g(x_k)=y} f_X(x_k)/|g'(x_k)|,分母 ∣g′(x)∣|g'(x)| 反映了微元长度拉伸对概率密度的稀释效应。

Magic 公式(无意识统计学家法则) Law of the Unconscious Statistician (LOTUS)

张颢老师课堂命名的魔法公式:计算 E[g(X)]\mathbb{E}[g(X)] 时无需先求 Y=g(X)Y=g(X) 的密度 fY(y)f_Y(y),直接计算 ∫−∞∞g(x)fX(x) dx\int_{-\infty}^\infty g(x)f_X(x)\,\mathrm{d}x 恒成立。

卡方分布 Chi-Square Distribution, χ²(n)

nn 个相互独立的标准高斯随机变量的平方和 ∑k=1nXk2\sum_{k=1}^n X_k^2 所服从的分布,等于 Γ(1/2,n/2)\Gamma(1/2, n/2),其中 nn 称为自由度。

欧拉 Gamma 函数与 Gamma 分布 Euler Gamma Function & Gamma Distribution

Γ(p)=∫0∞tp−1e−tdt\Gamma(p)=\int_0^\infty t^{p-1}e^{-t}\mathrm{d}t 满足 Γ(p+1)=pΓ(p)\Gamma(p+1)=p\Gamma(p) 与 Γ(1/2)=π\Gamma(1/2)=\sqrt{\pi};对应的 Γ(α,p)\Gamma(\alpha,p) 分布族统一了卡方、指数与 Erlang 分布。

逆变换采样定理 Inverse Transform Sampling

若 U∼Unif⁡(0,1)U\sim\operatorname{Unif}(0,1),则 Y=FX−1(U)Y=F_X^{-1}(U) 严格服从分布 FXF_X。这是计算机由均匀伪随机数生成任意分布样本的理论基石。

威布尔分布 Weibull Distribution

由指数分布经幂变换 Y=X1/αY=X^{1/\alpha} 导出的寿命分布,其失效率 r(t)=λαtα−1r(t)=\lambda\alpha t^{\alpha-1} 可随 α<1,α=1,α>1\alpha<1, \alpha=1, \alpha>1 完整刻画澡盆曲线三阶段。

公理与机遇 · 清华大学自动化系张颢《概率论》深度精读讲义 · 原课无遮挡 1.5× 对位回看与穿插式直观可视化