REVIEW.137945.XYZ · INTERACTIVE COURSE REVIEW OBSERVATORY
◈ review.137945.xyz 三院课程总馆MIT 18.065 矩阵方法清华 · 张颢《概率论》复旦 · 叶凡《数字集成电路》
Ω公理与机遇ZHANG HAO / PROBABILITY
清华大学《概率论》/第 12 讲 · P62–P66
返回 16 讲全景图
LECTURE 12 · P62–P66 原课总长 1:48:50 · B 站 BV1KuJt6zE2t

第 12 讲 · 随机变量的和、商与特征函数:卷积公式 fX∗fYf_X * f_Y、傅里叶变换 ΦX(ω)\Phi_X(\omega) 与柯西平均悖论

Lecture 12 · Sums of RVs & Characteristic Functions: Convolution f_X * f_Y, Fourier Transform & Gaussian Reproductivity

从半平面滑动积分推导独立和的卷积公式 fX * fY(辨析为什么算术平均是概率混合而非随机变量相加),精讲矩形窗卷出三角分布、指数和差导出 Erlang 与 Laplace 分布;引入特征函数 φX(t)=E[ejtX]\varphi_X(t) = \mathbb{E}[e^{jtX}] 将卷积化为乘积,黑板复平面配方证明高斯再生性,并揭示正态之商 Cauchy 分布“算术平均降噪彻底失效”的奇观。

原课分片 (点击跳转 B 站对应分P播放):

本讲主线与问题意识 · LECTURE NARRATIVE ARC

本讲对应原课视频 P62–P66(总长约 108 分钟),聚焦于多元随机变量最重要的代数运算——加减与相除。当两个随机变量相加 Z=X+YZ=X+Y 时,它们的概率密度绝不是简单的相加或取平均!张颢老师首先在 P62–P63 从离散直觉与连续半平面区域 {x+y≤z}\{x+y\le z\} 的二重积分出发,严格推导出独立随机变量之和的卷积公式 fZ=fX∗fYf_Z = f_X * f_Y(以及差 X−YX-Y 的相关公式),并用示性函数 1I(r)\mathbf{1}_{I}(r) 干净利落地算出了两个均匀分布之和(三角形分布)、两个指数分布之和(Gamma/Erlang 分布)与两个指数分布之差(双边指数 Laplace 重尾分布);随后在 P64–P65 针对高维高斯卷积配方法过于繁琐的痛点,祭出概率论的“傅里叶反变换”——特征函数 φX(t)=E[ejtX]\varphi_X(t)=\mathbb{E}[e^{jtX}],将复杂的积分卷积一举化为代数乘积 φX+Y(t)=φX(t)φY(t)\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t),并在黑板上通过复指数配方完整推导出高斯特征函数 exp⁡(jμt−12σ2t2)\exp(j\mu t - \frac{1}{2}\sigma^2 t^2) 与高斯、Poisson 分布的再生性;最后在 P66 推导了带绝对值 ∣y∣|y| 的商分布公式,证明两个独立标准高斯之商服从连一阶矩都不存在的 Cauchy(柯西)分布,并用特征函数 φ(t)=e−∣t∣\varphi(t)=e^{-|t|} 给出了令全场震撼的结论:无论对多少个独立柯西变量取算术平均,其分布岿然不动,大数定律在此彻底失效!

本讲核心攻克目标:
  • 从半平面区域 {x+y≤z}\{x+y\le z\} 的二重积分推导出 Z=X+YZ=X+Y 的密度公式及独立情形下的卷积公式 fZ(z)=(fX∗fY)(z)=∫−∞∞fX(x)fY(z−x) dxf_Z(z)=(f_X*f_Y)(z)=\int_{-\infty}^\infty f_X(x)f_Y(z-x)\,\mathrm{d}x,深刻辨析为什么 12[fX(z)+fY(z)]\frac{1}{2}[f_X(z)+f_Y(z)] 是概率混合(Mixture)而非随机变量相加。

  • 熟练运用示性函数 1[a,b](r)\mathbf{1}_{[a,b]}(r) 解不等式交集确定积分上下限,完整复现黑板三大算例:Unif⁡(0,1)+Unif⁡(0,1)→\operatorname{Unif}(0,1)+\operatorname{Unif}(0,1)\to 三角形分布、Exp⁡(λ)+Exp⁡(λ)→Γ(2,λ)\operatorname{Exp}(\lambda)+\operatorname{Exp}(\lambda)\to \Gamma(2,\lambda) Erlang 分布、Exp⁡(λ)−Exp⁡(λ)→\operatorname{Exp}(\lambda)-\operatorname{Exp}(\lambda)\to 双边指数 Laplace 分布 λ2e−λ∣z∣\frac{\lambda}{2}e^{-\lambda|z|}(时域互相关)。

  • 掌握特征函数 φX(t)=E[ejtX]\varphi_X(t)=\mathbb{E}[e^{jtX}](课堂亦记频率变量为 ω\omega)的定义、傅里叶变换对唯一性、独立和的乘积定理 φX+Y(t)=φX(t)φY(t)\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t) 以及免积分求导算矩公式 E[Xk]=j−kφX(k)(0)\mathbb{E}[X^k]=j^{-k}\varphi_X^{(k)}(0);完整复现黑板上高斯分布 N(μ,σ2)\mathcal{N}(\mu,\sigma^2) 特征函数 exp⁡(jμt−12σ2t2)\exp(j\mu t - \frac{1}{2}\sigma^2 t^2) 的复平面配方推导,一步证明独立高斯之和仍为高斯(以及离散 Poisson 分布基于生成函数/Z 变换 E[zX]=eλ(z−1)\mathbb{E}[z^X]=e^{\lambda(z-1)} 的可加性)。

  • 掌握商 Z=X/YZ=X/Y 的密度公式 fZ(z)=∫−∞∞∣y∣fX,Y(zy,y) dyf_Z(z)=\int_{-\infty}^\infty |y|f_{X,Y}(zy,y)\,\mathrm{d}y(理解分母 y<0y<0 时不等号反向产生 ∣y∣|y|),证明两个独立标准高斯之商服从 Cauchy 分布 1π(1+z2)\frac{1}{\pi(1+z^2)},区分广义积分发散与柯西主值,并用 φX(t)=e−∣t∣\varphi_X(t)=e^{-|t|} 证明 nn 个独立 Cauchy 变量的算术平均 Xˉn\bar{X}_n 与单个变量完全同分布。

CORE FORMULAS & BOARD NOTATION · 本讲黑板核心公式与记号速查

随机变量之和的卷积公式与差的相关公式

fX+Y(z)=∫−∞∞fX,Y(x,z−x) dx=X⊥Y∫−∞∞fX(x) fY(z−x) dx=(fX∗fY)(z),fX−Y(z)=X⊥Y∫−∞∞fX(z+y) fY(y) dyf_{X+Y}(z) = \int_{-\infty}^{\infty} f_{X,Y}(x, z-x)\,\mathrm{d}x \xlongequal{X\perp Y} \int_{-\infty}^{\infty} f_X(x)\,f_Y(z-x)\,\mathrm{d}x = (f_X * f_Y)(z), \qquad f_{X-Y}(z) \xlongequal{X\perp Y} \int_{-\infty}^{\infty} f_X(z+y)\,f_Y(y)\,\mathrm{d}y

和对应信号与系统中的卷积(Convolution),差对应互相关(Cross-Correlation);积分有效区间由两个示性函数的支撑集交集决定()。

特征函数定义、卷积化乘积与求导算矩公式

φX(t)=E[ejtX]=∫−∞∞fX(x) ejtx dx,X⊥Y  ⟹  φX+Y(t)=φX(t) φY(t),E[Xk]=j−k φX(k)(0)\varphi_X(t) = \mathbb{E}\bigl[e^{jtX}\bigr] = \int_{-\infty}^{\infty} f_X(x)\,e^{jtx}\,\mathrm{d}x,\qquad X\perp Y \implies \varphi_{X+Y}(t) = \varphi_X(t)\,\varphi_Y(t),\qquad \mathbb{E}[X^k] = j^{-k}\,\varphi_X^{(k)}(0)

概率密度的傅里叶反变换(张颢黑板用工程虚数记号 j=−1j=\sqrt{-1},频率记作 ω\omega 或 tt):把指数上的加法 ejt(X+Y)e^{jt(X+Y)} 拆成乘积,求矩只需对 tt 求导后代 t=0t=0()。

高斯分布特征函数与高斯再生性(线性不变性)

X∼N(μ,σ2)  ⟹  φX(t)=exp⁡ ⁣(jμt−12σ2t2)⟹N(μ1,σ12)∗N(μ2,σ22)=N(μ1+μ2, σ12+σ22)X\sim\mathcal{N}(\mu,\sigma^2) \implies \varphi_X(t) = \exp\!\left(j\mu t - \frac{1}{2}\sigma^2 t^2\right) \quad\Longrightarrow\quad \mathcal{N}(\mu_1,\sigma_1^2) * \mathcal{N}(\mu_2,\sigma_2^2) = \mathcal{N}(\mu_1+\mu_2,\,\sigma_1^2+\sigma_2^2)

在指数上对二次型配方一步积出特征函数;两个独立高斯的特征函数相乘后,一次项系数为 μ1+μ2\mu_1+\mu_2、二次项系数为 σ12+σ22\sigma_1^2+\sigma_2^2,由唯一性定理立得高斯再生性()。

商分布公式、高斯之商 Cauchy 分布与算术平均不变性

fX/Y(z)=∫−∞∞∣y∣ fX,Y(zy,y) dy,N(0,1)N(0,1)∼1π(1+z2),φXˉn(t)=[φX ⁣(tn)]n=(e−∣t∣/n)n=e−∣t∣f_{X/Y}(z) = \int_{-\infty}^{\infty} |y|\,f_{X,Y}(zy, y)\,\mathrm{d}y, \qquad \frac{\mathcal{N}(0,1)}{\mathcal{N}(0,1)} \sim \frac{1}{\pi(1+z^2)}, \qquad \varphi_{\bar{X}_n}(t) = \Bigl[\varphi_X\!\Bigl(\frac{t}{n}\Bigr)\Bigr]^n = \bigl(e^{-|t|/n}\bigr)^n = e^{-|t|}

独立标准高斯之商服从重尾 Cauchy 分布(各阶矩均不存在);其样本均值 Xˉn=1n∑i=1nXi\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i 的特征函数恒为 e−∣t∣e^{-|t|},无论平均多少次都无法减小随机性()!

1. 两个随机变量之和 Z=X+YZ = X + Y:半平面积分、卷积公式 fX∗fYf_X * f_Y 与三大经典算例

从二元半平面 {(x,y):x+y≤t}\{(x,y): x+y \le t\} 的二重积分出发推导独立和的卷积公式,精讲均匀分布之和(三角形分布)、指数分布之和(Erlang 分布)与指数之差(双边指数 Laplace 分布),并严厉辨析为什么 (fX+fY)/2(f_X+f_Y)/2 绝不是 X+YX+Y 的密度。

1.1 开篇直觉辨析:为什么 Z=X+YZ = X + Y 的密度绝不是 fX+fYf_X + f_Y 或 12(fX+fY)\frac{1}{2}(f_X + f_Y)?()

加减乘除是数学最基本的运算,对于随机变量 XX 和 YY,我们首先关心它们的和 Z=X+YZ = X + Y()。 已知 X∼fXX \sim f_X、Y∼fYY \sim f_Y,Z=X+YZ = X + Y 的密度是什么?张颢老师在 首先枪毙了初学者的直觉错误:

  • 直接写 fX+fYf_X + f_Y 显然错(总积分为 2≠12 \neq 1);
  • 哪怕除以 22 写成算术平均 12(fX(z)+fY(z))\frac{1}{2}\bigl(f_X(z) + f_Y(z)\bigr) 也绝对不是 X+YX+Y 的密度!(注:12(fX+fY)\frac{1}{2}(f_X+f_Y) 是每次试验先抛硬币二选一、抽一个样本输出的概率混合 Mixture,而不是把两个随机变量的数值真正加在一起!)
  • 正确的离散直觉():考察离散和 P(Z=n)=P(X+Y=n)\mathbb{P}(Z = n) = \mathbb{P}(X + Y = n)。要凑出总和 nn,可以是 (X=n,Y=0)(X=n, Y=0)、(X=n−1,Y=1)(X=n-1, Y=1)、(X=n−2,Y=2)…(X=n-2, Y=2)\dots 也就是说,XX 取某个值 kk 时,YY 必须取补过去的差值 n−kn - k!当 XX 与 YY 相互独立时: P(X+Y=n)=∑kP(X=k,  Y=n−k)=X⊥Y∑kP(X=k) P(Y=n−k)\mathbb{P}(X + Y = n) = \sum_{k} \mathbb{P}(X = k,\; Y = n - k) \xlongequal{X\perp Y} \sum_{k} \mathbb{P}(X = k)\,\mathbb{P}(Y = n - k) 这正是大家在《信号与系统》中极为熟悉的卷积(Convolution)!

1.2 从定义出发:半平面二重积分严格推导连续卷积公式()

遵循本课“一切从分布函数定义出发”的铁律,张颢老师在黑板上用积分变量 (r,s)(r, s) 和目标上限 tt 写出了连续型随机变量和 Z=X+YZ = X + Y 的分布函数():

  1. 半平面区域积分:事件 {X+Y≤t}\{X + Y \le t\} 对应二维平面上直线 r+s=tr + s = t 左下方的无穷半平面: FZ(t)=P(X+Y≤t)=∬r+s≤tfX,Y(r,s) dr ds=∫−∞∞dr∫−∞t−rfX,Y(r,s) dsF_Z(t) = \mathbb{P}(X + Y \le t) = \iint_{r + s \le t} f_{X,Y}(r, s)\,\mathrm{d}r\,\mathrm{d}s = \int_{-\infty}^{\infty} \mathrm{d}r \int_{-\infty}^{t - r} f_{X,Y}(r, s)\,\mathrm{d}s
  2. 对 tt 求导得一般和密度与独立卷积公式(): 两端对上限中的参数 tt 求导(内层变上限积分对 tt 求导直接把 s=t−rs = t - r 代入被积函数),立得: fZ(t)=dFZ(t)dt=∫−∞∞fX,Y(r,  t−r) dr=X⊥Y∫−∞∞fX(r) fY(t−r) dr=(fX∗fY)(t)f_Z(t) = \frac{\mathrm{d}F_Z(t)}{\mathrm{d}t} = \int_{-\infty}^{\infty} f_{X,Y}(r,\; t - r)\,\mathrm{d}r \quad\xlongequal{X\perp Y}\quad \int_{-\infty}^{\infty} f_X(r)\,f_Y(t - r)\,\mathrm{d}r = (f_X * f_Y)(t)

1.3 张颢黑板三大经典算例:示性函数 1I(r)\mathbf{1}_{I}(r) 定限法()

算卷积最怕积分上下限搞错!张颢老师传授了一套百试百灵的黑板绝活——把分段定义域直接写成示性函数(Indicator Function)1I(⋅)\mathbf{1}_{I}(\cdot) 带进积分号,靠解不等式交集自动锁定上下限:

算例 ①:两个独立均匀分布之和 Unif⁡(0,1)+Unif⁡(0,1)  ⟹  \operatorname{Unif}(0,1) + \operatorname{Unif}(0,1) \implies 三角形分布()

  • 设 X,Y∼i.i.d.Unif⁡(0,1)X, Y \stackrel{\text{i.i.d.}}{\sim} \operatorname{Unif}(0,1),密度写为 fX(r)=1[0,1](r)f_X(r) = \mathbf{1}_{[0,1]}(r)。代入卷积公式(): fZ(t)=∫−∞∞1[0,1](r)⋅1[0,1](t−r) drf_Z(t) = \int_{-\infty}^{\infty} \mathbf{1}_{[0,1]}(r) \cdot \mathbf{1}_{[0,1]}(t - r)\,\mathrm{d}r
  • 解示性函数交集():被积函数非零当且仅当 {0≤r≤10≤t−r≤1  ⟺  t−1≤r≤t\begin{cases} 0 \le r \le 1 \\ 0 \le t - r \le 1 \iff t - 1 \le r \le t \end{cases} 同时成立!
    • 当 0≤t≤10 \le t \le 1(即 t−1≤0t - 1 \le 0,)时,交集为 0≤r≤t0 \le r \le t,故 fZ(t)=∫0t1 dr=tf_Z(t) = \int_0^t 1\,\mathrm{d}r = t;
    • 当 1<t≤21 < t \le 2(即 t−1>0t - 1 > 0,)时,交集为 t−1≤r≤1t - 1 \le r \le 1,故 fZ(t)=∫t−111 dr=1−(t−1)=2−tf_Z(t) = \int_{t-1}^1 1\,\mathrm{d}r = 1 - (t - 1) = 2 - t;
    • 其余 tt 处交集为空,fZ(t)=0f_Z(t) = 0。

    结论():两个矩形窗(均匀分布)卷积,得到了支撑集在 [0,2][0,2] 上的对称三角形分布(Triangular Distribution)!

算例 ②:两个独立同参数指数分布之和 Exp⁡(λ)+Exp⁡(λ)  ⟹  Γ(2,λ)\operatorname{Exp}(\lambda) + \operatorname{Exp}(\lambda) \implies \Gamma(2,\lambda)()

  • 设 X,Y∼i.i.d.Exp⁡(λ)X, Y \stackrel{\text{i.i.d.}}{\sim} \operatorname{Exp}(\lambda),密度写为 fX(r)=λe−λr 1[0,∞)(r)f_X(r) = \lambda e^{-\lambda r}\,\mathbf{1}_{[0,\infty)}(r)。代入卷积公式(): fZ(t)=∫−∞∞λe−λr 1[0,∞)(r)⋅λe−λ(t−r) 1[0,∞)(t−r) dr=λ2e−λt∫−∞∞1{r≥0} 1{r≤t} drf_Z(t) = \int_{-\infty}^{\infty} \lambda e^{-\lambda r}\,\mathbf{1}_{[0,\infty)}(r) \cdot \lambda e^{-\lambda(t-r)}\,\mathbf{1}_{[0,\infty)}(t - r)\,\mathrm{d}r = \lambda^2 e^{-\lambda t} \int_{-\infty}^{\infty} \mathbf{1}_{\{r \ge 0\}}\,\mathbf{1}_{\{r \le t\}}\,\mathrm{d}r 注意到指数上的 −λr-\lambda r 与 +λr+\lambda r 恰好相消!当 t≥0t \ge 0 时,交集为 0≤r≤t0 \le r \le t,一步积出: fZ(t)=λ2t e−λt 1[0,∞)(t)∼Γ(2,λ)(即 2 阶 Erlang 分布!)f_Z(t) = \lambda^2 t\,e^{-\lambda t}\,\mathbf{1}_{[0,\infty)}(t) \sim \Gamma(2, \lambda) \quad (\text{即 2 阶 Erlang 分布!}) 这从卷积角度严格印证了第 10 讲“等待两个指数时间之和服从 Gamma/Erlang 分布”的结论()!

算例 ③:两个独立指数分布之差 Z=X−YZ = X - Y:时域互相关导出双边指数 Laplace 分布()

  • 如果把和改成差 Z=X−Y=X+(−Y)Z = X - Y = X + (-Y),密度公式变成什么?张颢老师指出():如果说“和”是信号里的卷积(Convolution),那么“差”就是信号里的时域互相关(Cross-Correlation)(两个自变量同向递增相加): fX−Y(t)=∫−∞∞fX(t+r) fY(r) drf_{X-Y}(t) = \int_{-\infty}^{\infty} f_X(t + r)\,f_Y(r)\,\mathrm{d}r
  • 代入 X,Y∼i.i.d.Exp⁡(λ)X, Y \stackrel{\text{i.i.d.}}{\sim} \operatorname{Exp}(\lambda)():此时指数项 −λ(t+r)-\lambda(t+r) 与 −λr-\lambda r 不再抵消,而是合成 −2λr-2\lambda r: fZ(t)=λ2e−λt∫−∞∞e−2λr 1[0,∞)(r) 1[0,∞)(t+r) drf_Z(t) = \lambda^2 e^{-\lambda t} \int_{-\infty}^{\infty} e^{-2\lambda r}\,\mathbf{1}_{[0,\infty)}(r)\,\mathbf{1}_{[0,\infty)}(t + r)\,\mathrm{d}r
  • 按 tt 的正负分两段求交集 r≥max⁡(0,−t)r \ge \max(0, -t)():
    • 当 t≥0t \ge 0 时,−t≤0-t \le 0,积分从 00 到 ∞\infty:fZ(t)=λ2e−λt⋅12λ=λ2e−λtf_Z(t) = \lambda^2 e^{-\lambda t} \cdot \frac{1}{2\lambda} = \frac{\lambda}{2}e^{-\lambda t};
    • 当 t<0t < 0 时,−t>0-t > 0,积分从 −t-t 到 ∞\infty:fZ(t)=λ2e−λt⋅e2λt2λ=λ2eλtf_Z(t) = \lambda^2 e^{-\lambda t} \cdot \frac{e^{2\lambda t}}{2\lambda} = \frac{\lambda}{2}e^{\lambda t}。
  • 合并为绝对值():对一切 t∈Rt \in \mathbb{R},得到著名的拉普拉斯分布(Laplace Distribution / 双边指数分布): fX−Y(t)=λ2e−λ∣t∣,t∈Rf_{X-Y}(t) = \frac{\lambda}{2}e^{-\lambda |t|}, \qquad t \in \mathbb{R} 张颢老师特别强调():Laplace 分布是典型的重尾分布(Heavy-Tailed)——相比于高斯分布以二次指数 e−t2/2e^{-t^2/2} 极速衰减的“轻尾”,Laplace 的尾巴仅按一次指数 e−λ∣t∣e^{-\lambda|t|} 衰减,因此在远离中心处出现极端大值的概率显著高于高斯分布!
CLASSROOM BOARD DIAGRAM · 张颢老师课堂黑板原图矢量化复原

张颢老师黑板手绘还原:半平面积分 x+y≤tx+y\le t 与示性函数重叠区间 [0,1]∩[t−1,t][0,1]\cap [t-1,t]()

左图还原张颢老师在 P62 08:41 的黑板板书:左上角为半平面 x+y ≤ t 的二重积分,下方为两个均匀分布示性函数 1(r) 与 1(t-r) 滑动重叠形成三角形密度。
1. 半平面积分 x + y ≤ t x + y = t x+y ≤ t 2. 示性函数滑动重叠 → 三角形密度 0 1 重叠 [0, t] 或 [t-1, 1] 0 1 2 三角形密度 f(t)

半平面积分转卷积公式():FZ(t)=∬x+y≤tf(x,y) dxdy  ⟹  fZ(t)=∫−∞∞fX(r)fY(t−r) dr=(fX∗fY)(t)F_Z(t)=\iint_{x+y\le t} f(x,y)\,\mathrm{d}x\mathrm{d}y \implies f_Z(t)=\int_{-\infty}^{\infty} f_X(r)f_Y(t-r)\,\mathrm{d}r = (f_X * f_Y)(t)

均匀分布之和的示性函数重叠:fZ(t)=∫−∞∞1[0,1](r) 1[0,1](t−r) dr={t,0≤t<12−t,1≤t≤2f_Z(t)=\int_{-\infty}^{\infty}\mathbf{1}_{[0,1]}(r)\,\mathbf{1}_{[0,1]}(t-r)\,\mathrm{d}r = \begin{cases} t, & 0\le t<1 \\ 2-t, & 1\le t\le 2 \end{cases}

黑板反例警示():12(fX(t)+fY(t))\frac{1}{2}(f_X(t)+f_Y(t)) 是以 1/21/2 概率抽 XX 或 YY 的混合分布(Mixture),绝不是随机变量之和 X+YX+Y 的密度!

BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ①半平面二重积分对上限求导导出和的卷积公式
FZ(t)=∫−∞∞dr∫−∞t−rfX,Y(r,s) ds  ⟹  fZ(t)=∫−∞∞fX,Y(r,t−r) dr=X⊥Y(fX∗fY)(t)F_Z(t) = \int_{-\infty}^{\infty}\mathrm{d}r\int_{-\infty}^{t-r} f_{X,Y}(r,s)\,\mathrm{d}s \implies f_Z(t) = \int_{-\infty}^{\infty} f_{X,Y}(r,t-r)\,\mathrm{d}r \xlongequal{X\perp Y} (f_X * f_Y)(t)

对应黑板左区():将直线 r+s=tr+s=t 左下半平面化为累次积分后对 tt 求导。

Step ②示性函数定限:均匀和变三角分布、指数和变 Gamma(2, λ)
Unif⁡(0,1)∗Unif⁡(0,1)={t,0≤t≤12−t,1<t≤2,Exp⁡(λ)∗Exp⁡(λ)=λ2t e−λt 1[0,∞)(t)∼Γ(2,λ)\operatorname{Unif}(0,1)*\operatorname{Unif}(0,1) = \begin{cases}t,&0\le t\le 1\\2-t,&1<t\le 2\end{cases}, \qquad \operatorname{Exp}(\lambda)*\operatorname{Exp}(\lambda) = \lambda^2 t\,e^{-\lambda t}\,\mathbf{1}_{[0,\infty)}(t) \sim \Gamma(2,\lambda)

对应黑板中区():利用 1A(r)1B(t−r)\mathbf{1}_A(r)\mathbf{1}_B(t-r) 自动锁定有效积分区间。

Step ③差的相关积分:独立指数之差 X − Y 导出重尾 Laplace 分布
fX−Y(t)=λ2e−λt∫max⁡(0,−t)∞e−2λr dr={λ2e−λt,t≥0λ2eλt,t<0=λ2e−λ∣t∣  (Laplace)f_{X-Y}(t) = \lambda^2 e^{-\lambda t}\int_{\max(0,-t)}^{\infty} e^{-2\lambda r}\,\mathrm{d}r = \begin{cases}\frac{\lambda}{2}e^{-\lambda t},&t\ge 0\\\frac{\lambda}{2}e^{\lambda t},&t<0\end{cases} = \frac{\lambda}{2}e^{-\lambda|t|}\;(\text{Laplace})

对应黑板右区():和是卷积,差是相关;t<0t<0 时下限变为 −t-t,合并得双边指数重尾分布。

直观交互 · 06

独立和的卷积 (fX * fY)(z) vs 板书反例“密度直接平均”

交互提示:复现第 12 讲玻璃白板上的著名不等式 fX+Y(z) ≠ ½(fX(z)+fY(z)):拖动和值 z,观察左图被积函数 fX(τ)fY(z−τ) 的重叠面积如何绘出右图实线卷积曲线,并对比虚线“密度平均”。

卷积密度 (fX * fY)(z)1.000对应随机变量相加 Z = X + Y(支撑集相加)
算术平均 ½(fX(z) + fY(z))1.000对应以 ½ 概率抛硬币二选一的混合分布,绝非 X+Y!
特征函数对偶关系φX+Y(t) = φX(t)·φY(t)时域复杂的卷积积分在频域变成简单的代数相乘
滑动重叠积分:τ ↦ f_X(τ) · f_Y(z − τ)阴影面积即当前 z=1.00 处的卷积密度值
真实和密度 (f_X*f_Y)(z) vs 错误平均 ½(f_X+f_Y)实线为卷积,虚线为张颢板书指出的常见误区
深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

课堂高频辨析:为什么“随机变量相加 Z=X+YZ = X + Y”与“概率密度相加 12fX+12fY\frac{1}{2}f_X + \frac{1}{2}f_Y”完全是两码事?()

  • 密度加权平均 fmix(z)=12fX(z)+12fY(z)f_{\text{mix}}(z) = \frac{1}{2}f_X(z) + \frac{1}{2}f_Y(z) 对应的是“二选一抽签(Mixture)”:比如工厂有 A、B 两条生产线,你随机从一条线里抽一个零件测寿命,每次拿到的要么纯粹是 XX,要么纯粹是 YY(如果 fX,fYf_X, f_Y 是相隔很远的两个单峰,混合密度就是双峰驼峰);
  • 随机变量相加 Z=X+Y∼(fX∗fY)(z)Z = X + Y \sim (f_X * f_Y)(z) 对应的是“数值叠加(Sum / Convolution)”:比如备用电源串联供电,第一个电池耗尽后第二个电池接着顶上,总寿命是两次寿命实打实加在一起(两个单峰卷积后仍是更平滑、均值相加的单峰)!
本节方法论沉淀 · KEY TAKEAWAYS
  • 和是卷积,差是相关:X⊥YX\perp Y 时,fX+Y(t)=∫fX(r)fY(t−r) drf_{X+Y}(t) = \int f_X(r)f_Y(t-r)\,\mathrm{d}r,fX−Y(t)=∫fX(t+r)fY(r) drf_{X-Y}(t) = \int f_X(t+r)f_Y(r)\,\mathrm{d}r。

  • 示性函数防错法:遇到分段密度求卷积,永远先把 1[a,b](r)⋅1[c,d](t−r)\mathbf{1}_{[a,b]}(r)\cdot\mathbf{1}_{[c,d]}(t-r) 写进积分号,解出 max⁡(a,t−d)≤r≤min⁡(b,t−c)\max(a, t-d) \le r \le \min(b, t-c) 后再讨论分段!

2. 特征函数 ΦX(ω)=E[ejωX]\Phi_X(\omega) = \mathbb{E}[e^{j\omega X}]:将卷积化为乘积、复平面配方与高斯再生性

利用傅里叶变换将繁琐的多重卷积积分转化为代数乘积 ΦX+Y(ω)=ΦX(ω)ΦY(ω)\Phi_{X+Y}(\omega)=\Phi_X(\omega)\Phi_Y(\omega),黑板完整演示高斯特征函数的复平面配方法,并导出求导算矩公式 E[Xk]=j−kΦX(k)(0)\mathbb{E}[X^k]=j^{-k}\Phi_X^{(k)}(0)。

2.1 为什么要引入特征函数?——逃离直接卷积配方的泥潭()

在算完均匀分布和指数分布的卷积后,张颢老师在 提出了一个紧迫的问题:如果 X∼N(μ1,σ12)X \sim \mathcal{N}(\mu_1, \sigma_1^2)、Y∼N(μ2,σ22)Y \sim \mathcal{N}(\mu_2, \sigma_2^2) 都是高斯分布,我们要算 Z=X+YZ = X + Y 的密度,直接代卷积公式会遇到什么? fZ(t)=∫−∞∞12πσ1e−(r−μ1)22σ12⋅12πσ2e−(t−r−μ2)22σ22 drf_Z(t) = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma_1}e^{-\frac{(r-\mu_1)^2}{2\sigma_1^2}} \cdot \frac{1}{\sqrt{2\pi}\sigma_2}e^{-\frac{(t-r-\mu_2)^2}{2\sigma_2^2}}\,\mathrm{d}r 指数上是两个关于积分变量 rr 的二次型相加,虽然硬着头皮配方也能算出来,但如果有 nn 个独立高斯变量相加,直接做 n−1n-1 重卷积配方简直是噩梦()!

怎么把讨厌的“卷积”变成简单的“相乘”?信号与系统早已给出了标准答案——傅里叶变换(Fourier Transform,)!在概率论中,对概率密度做傅里叶反变换(不带 12π\frac{1}{2\pi} 系数,指数取 +jωx+j\omega x 或 +jtx+jtx,张颢老师采用电子工程习惯记虚数单位为 j=−1j=\sqrt{-1}、频率变量为 ω\omega 或 tt)得到的函数,有一个专属名字叫做特征函数(Characteristic Function,): φX(ω)=E[ejωX]=∫−∞∞fX(x) ejωx dx(或记作 φX(t)=E[ejtX])\varphi_X(\omega) = \mathbb{E}\bigl[e^{j\omega X}\bigr] = \int_{-\infty}^{\infty} f_X(x)\,e^{j\omega x}\,\mathrm{d}x \qquad \bigl(\text{或记作 } \varphi_X(t) = \mathbb{E}[e^{jtX}]\bigr)


2.2 特征函数的三大核心魔力()

  1. 魔力 ①:独立和的卷积直接化为代数乘积() 原本在底数上相加很棘手的 X+YX + Y,一旦搬到指数上方,立即变成指数相乘;再由 XX 与 YY 独立,期望直接拆开: φX+Y(ω)=E[ejω(X+Y)]=E[ejωX⋅ejωY]=X⊥YE[ejωX]⋅E[ejωY]=φX(ω) φY(ω)\varphi_{X+Y}(\omega) = \mathbb{E}\bigl[e^{j\omega(X+Y)}\bigr] = \mathbb{E}\bigl[e^{j\omega X} \cdot e^{j\omega Y}\bigr] \xlongequal{X\perp Y} \mathbb{E}\bigl[e^{j\omega X}\bigr] \cdot \mathbb{E}\bigl[e^{j\omega Y}\bigr] = \varphi_X(\omega)\,\varphi_Y(\omega)
  2. 魔力 ②:傅里叶变换对的一一对应(唯一性定理,) 为什么它敢叫“特征”函数?因为特征函数与概率分布之间构成傅里叶变换对,具有严格的一一对应(唯一性)!分布里包含的一切统计信息都被特征函数完整涵盖——它是分布的一个极其好算的“全权代理(Proxy)”。
  3. 魔力 ③:求导赋值直接算任意阶矩,彻底免去积分() 由于在做特征函数时已经把积分做完了,现在若想求期望 E[X]\mathbb{E}[X] 或 nn 阶原点矩 E[Xn]\mathbb{E}[X^n],根本无需再积分,只需对频率变量 ω\omega 求导并令 ω=0\omega = 0(以消去指数项 ejωX∣ω=0=1e^{j\omega X}\big|_{\omega=0}=1)再除以 jnj^n: dnφX(ω)dωn=E[(jX)nejωX]=jn E[XnejωX]→ω=0E[Xn]=1jn φX(n)(0)=j−n φX(n)(0)\frac{\mathrm{d}^n \varphi_X(\omega)}{\mathrm{d}\omega^n} = \mathbb{E}\bigl[(jX)^n e^{j\omega X}\bigr] = j^n\,\mathbb{E}\bigl[X^n e^{j\omega X}\bigr] \quad\xrightarrow{\omega = 0}\quad \mathbb{E}[X^n] = \frac{1}{j^n}\,\varphi_X^{(n)}(0) = j^{-n}\,\varphi_X^{(n)}(0) 特别地,一阶矩(数学期望)就是 E[X]=1jφX′(0)\mathbb{E}[X] = \frac{1}{j}\varphi_X'(0)()!

2.3 黑板重头戏:复平面配方推导高斯特征函数与高斯再生性()

现在让我们用特征函数回头收拾高斯分布 X∼N(μ,σ2)X \sim \mathcal{N}(\mu, \sigma^2)!张颢老师在 完整展示了黑板复平面配方过程:

  1. 合并指数项(): φX(ω)=∫−∞∞12πσexp⁡ ⁣(−(x−μ)22σ2+jωx)dx\varphi_X(\omega) = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} \exp\!\left(-\frac{(x - \mu)^2}{2\sigma^2} + j\omega x\right) \mathrm{d}x
  2. 在指数上对 (x−μ)(x - \mu) 配完全平方(): 将 jωxj\omega x 改写为 jω(x−μ)+jωμj\omega(x - \mu) + j\omega\mu,把含 (x−μ)(x-\mu) 的项提取公因式 −12σ2-\frac{1}{2\sigma^2} 配方(注意 (jωσ2)2=−ω2σ4(j\omega\sigma^2)^2 = -\omega^2\sigma^4): −12σ2[(x−μ)2−2(x−μ)(jωσ2)+(jωσ2)2]+jμω−12σ2ω2=−(x−(μ+jωσ2))22σ2+jμω−12σ2ω2-\frac{1}{2\sigma^2}\Bigl[(x - \mu)^2 - 2(x - \mu)(j\omega\sigma^2) + (j\omega\sigma^2)^2\Bigr] + j\mu\omega - \frac{1}{2}\sigma^2\omega^2 = -\frac{\bigl(x - (\mu + j\omega\sigma^2)\bigr)^2}{2\sigma^2} + j\mu\omega - \frac{1}{2}\sigma^2\omega^2
  3. 利用高斯归一化积分为 11 一步得出结果(): 把与 xx 无关的 exp⁡(jμω−12σ2ω2)\exp\bigl(j\mu\omega - \frac{1}{2}\sigma^2\omega^2\bigr) 提到积分号外,剩下的被积函数恰好是均值为 μ+jωσ2\mu + j\omega\sigma^2、方差为 σ2\sigma^2 的高斯密度,全实轴积分恒等于 11!由此得到高斯分布特征函数: φX(ω)=exp⁡ ⁣(jμω−12σ2ω2)\varphi_X(\omega) = \exp\!\left(j\mu\omega - \frac{1}{2}\sigma^2\omega^2\right)
  4. 一行证明独立高斯之和仍为高斯(高斯线性不变性 / 再生性,): 设 X∼N(μ1,σ12)X \sim \mathcal{N}(\mu_1, \sigma_1^2) 与 Y∼N(μ2,σ22)Y \sim \mathcal{N}(\mu_2, \sigma_2^2) 相互独立,则 Z=X+YZ = X + Y 的特征函数为: φX+Y(ω)=φX(ω) φY(ω)=exp⁡ ⁣(j(μ1+μ2)ω−12(σ12+σ22)ω2)\varphi_{X+Y}(\omega) = \varphi_X(\omega)\,\varphi_Y(\omega) = \exp\!\Bigl(j(\mu_1 + \mu_2)\omega - \frac{1}{2}(\sigma_1^2 + \sigma_2^2)\omega^2\Bigr) 观察指数结构:一次项系数是 μ1+μ2\mu_1 + \mu_2,二次项系数是 σ12+σ22\sigma_1^2 + \sigma_2^2,形态与高斯特征函数如出一辙!由唯一性定理立知: X+Y∼N(μ1+μ2,  σ12+σ22),∑k=1nXk∼N ⁣(∑k=1nμk,  ∑k=1nσk2)X + Y \sim \mathcal{N}(\mu_1 + \mu_2,\; \sigma_1^2 + \sigma_2^2), \qquad \sum_{k=1}^n X_k \sim \mathcal{N}\!\left(\sum_{k=1}^n \mu_k,\; \sum_{k=1}^n \sigma_k^2\right)

2.4 离散分布的对应物:Poisson 可加性与矩母/生成函数(Z 变换,)

如果遇到离散随机变量(如 X∼Pois⁡(λ1),  Y∼Pois⁡(λ2)X \sim \operatorname{Pois}(\lambda_1),\; Y \sim \operatorname{Pois}(\lambda_2) 独立),张颢老师展示了两种证法:

  • 方法一(离散卷积 + 二项式定理,): P(X+Y=n)=∑k=0ne−λ1λ1kk! e−λ2λ2n−k(n−k)!=e−(λ1+λ2)n!∑k=0n(nk)λ1kλ2n−k=(λ1+λ2)nn!e−(λ1+λ2)∼Pois⁡(λ1+λ2)\mathbb{P}(X+Y=n) = \sum_{k=0}^n e^{-\lambda_1}\frac{\lambda_1^k}{k!}\,e^{-\lambda_2}\frac{\lambda_2^{n-k}}{(n-k)!} = \frac{e^{-(\lambda_1+\lambda_2)}}{n!}\sum_{k=0}^n \binom{n}{k}\lambda_1^k \lambda_2^{n-k} = \frac{(\lambda_1+\lambda_2)^n}{n!}e^{-(\lambda_1+\lambda_2)} \sim \operatorname{Pois}(\lambda_1+\lambda_2)
  • 方法二(离散 Z 变换 / 生成函数 E[zX]\mathbb{E}[z^X],): 正如连续变量用傅里叶变换 E[ejωX]\mathbb{E}[e^{j\omega X}],离散变量最适合用信号处理中的 Z 变换(课本与习题课称为矩母/生成函数 ΨX(z)=E[zX]\Psi_X(z) = \mathbb{E}[z^X]): ΨX(z)=E[zX]=∑k=0∞zke−λλkk!=e−λeλz=eλ(z−1)⟹ΨX+Y(z)=eλ1(z−1)eλ2(z−1)=e(λ1+λ2)(z−1)\Psi_X(z) = \mathbb{E}[z^X] = \sum_{k=0}^{\infty} z^k e^{-\lambda}\frac{\lambda^k}{k!} = e^{-\lambda} e^{\lambda z} = e^{\lambda(z - 1)} \quad\Longrightarrow\quad \Psi_{X+Y}(z) = e^{\lambda_1(z-1)}e^{\lambda_2(z-1)} = e^{(\lambda_1+\lambda_2)(z-1)} 张颢老师点破两者的统一性():当复变量 zz 取在复平面单位圆 z=ejωz = e^{j\omega} 上时,生成函数 E[zX]\mathbb{E}[z^X] 就变成了特征函数 E[ejωX]\mathbb{E}[e^{j\omega X}]!
CLASSROOM BOARD DIAGRAM · 张颢老师课堂黑板原图矢量化复原

张颢老师黑板手绘还原:特征函数 ΦX(ω)=E[exp⁡(jωX)]\Phi_X(\omega)=\mathbb{E}[\exp(j\omega X)] 与频域乘积对偶图()

左图还原张颢老师在 P64 09:26 的黑板板书:时域直接求卷积积分极其繁琐,通过特征函数变换到频域后变成简单的代数相乘,再经傅里叶反变换回到密度函数。
密度域:卷积积分 f₁ * f₂ (积分难算) 特征函数域:代数乘积 Φ(ω) = Φ₁(ω) · Φ₂(ω) E[exp(jωX)] Fourier 反变换 高斯特征函数复平面配方法(P65 06:15): • 标准正态:Φ(ω) = exp(−ω² / 2) (傅里叶变换不动点!) • 一般正态:Φ(ω) = exp(jμω − σ²ω² / 2) ⇒ 独立高斯之和仍为高斯

特征函数定义与傅里叶反变换():ΦX(ω)=E[ejωX]=∫−∞∞fX(x)ejωx dx,fX(x)=12π∫−∞∞ΦX(ω)e−jωx dω\Phi_X(\omega) = \mathbb{E}[e^{j\omega X}] = \int_{-\infty}^{\infty} f_X(x)e^{j\omega x}\,\mathrm{d}x, \qquad f_X(x) = \frac{1}{2\pi}\int_{-\infty}^{\infty}\Phi_X(\omega)e^{-j\omega x}\,\mathrm{d}\omega

独立和的卷积化乘积定理:X⊥Y  ⟹  ΦX+Y(ω)=E[ejω(X+Y)]=ΦX(ω)⋅ΦY(ω)X\perp Y \implies \Phi_{X+Y}(\omega) = \mathbb{E}[e^{j\omega(X+Y)}] = \Phi_X(\omega)\cdot\Phi_Y(\omega)

求导算矩公式(免积分求高阶矩):ΦX(k)(0)=jk E[Xk]  ⟹  E[X]=ΦX′(0)j,E[X2]=−ΦX′′(0)\Phi_X^{(k)}(0) = j^k\,\mathbb{E}[X^k] \implies \mathbb{E}[X] = \frac{\Phi_X'(0)}{j},\quad \mathbb{E}[X^2] = -\Phi_X''(0)

BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ①特征函数定义(傅里叶反变换)、独立和乘积定理与求导算矩
φX(ω)=E[ejωX]=∫−∞∞fX(x)ejωx dx,X⊥Y  ⟹  φX+Y(ω)=φX(ω)φY(ω),E[Xn]=j−nφX(n)(0)\varphi_X(\omega) = \mathbb{E}[e^{j\omega X}] = \int_{-\infty}^{\infty} f_X(x)e^{j\omega x}\,\mathrm{d}x,\qquad X\perp Y \implies \varphi_{X+Y}(\omega) = \varphi_X(\omega)\varphi_Y(\omega),\qquad \mathbb{E}[X^n] = j^{-n}\varphi_X^{(n)}(0)

对应黑板左区():将底数上的加法搬到指数上化为乘法,求矩只需对 ω\omega 求导后代 ω=0\omega=0。

Step ②高斯特征函数复平面配方与独立高斯和的再生性
−(x−μ)22σ2+jωx=−(x−μ−jωσ2)22σ2+jμω−12σ2ω2  ⟹  φX(ω)=ejμω−12σ2ω2  ⟹  ∑i=1nXi∼N(∑μi,∑σi2)-\frac{(x-\mu)^2}{2\sigma^2}+j\omega x = -\frac{(x-\mu-j\omega\sigma^2)^2}{2\sigma^2} + j\mu\omega - \frac{1}{2}\sigma^2\omega^2 \implies \varphi_X(\omega) = e^{j\mu\omega - \frac{1}{2}\sigma^2\omega^2} \implies \sum_{i=1}^n X_i \sim \mathcal{N}\Bigl(\sum\mu_i,\sum\sigma_i^2\Bigr)

对应黑板中区():一次项系数对应均值和,二次项系数对应方差和。

Step ③离散 Poisson 分布的二项式卷积与 Z 变换 / 生成函数 E[zX]
ΨX(z)=E[zX]=eλ(z−1)→z=ejωφX(ω)=eλ(ejω−1)⟹Pois⁡(λ1)∗Pois⁡(λ2)=Pois⁡(λ1+λ2)\Psi_X(z) = \mathbb{E}[z^X] = e^{\lambda(z-1)} \xrightarrow{z=e^{j\omega}} \varphi_X(\omega) = e^{\lambda(e^{j\omega}-1)} \quad\Longrightarrow\quad \operatorname{Pois}(\lambda_1) * \operatorname{Pois}(\lambda_2) = \operatorname{Pois}(\lambda_1 + \lambda_2)

对应黑板右区():单位圆 z=ejωz=e^{j\omega} 将离散 Z 变换与连续傅里叶特征函数完美统一。

深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

为什么在全部常见分布中,只有极少数分布(如高斯、Poisson、同尺度 Gamma、Cauchy)具有“独立同分布相加后还保持同一种分布形态”的再生性?() 张颢老师引导大家从特征函数乘积的角度思考:nn 个独立同分布变量之和的特征函数是 [φX(ω)]n\bigl[\varphi_X(\omega)\bigr]^n。要想让 [φX(ω)]n\bigl[\varphi_X(\omega)\bigr]^n 与单个 φX(ω)\varphi_X(\omega) 具有完全相同的函数形态(仅仅是参数乘了 nn),φX(ω)\varphi_X(\omega) 本身必须是指数型结构 exp⁡(c⋅h(ω))\exp\bigl(c \cdot h(\omega)\bigr),这样求 nn 次幂才等价于参数 c→ncc \to nc!而像均匀分布 Unif⁡(0,1)\operatorname{Unif}(0,1),卷一次变三角形、卷两次变二次样条,形态越卷越变(最终由中心极限定理滑向高斯分布)。

本节方法论沉淀 · KEY TAKEAWAYS
  • 高斯特征函数必背公式:X∼N(μ,σ2)  ⟺  φX(ω)=exp⁡(jμω−12σ2ω2)X \sim \mathcal{N}(\mu, \sigma^2) \iff \varphi_X(\omega) = \exp\bigl(j\mu\omega - \frac{1}{2}\sigma^2\omega^2\bigr)(标准正态为 e−ω2/2e^{-\omega^2/2},是傅里叶变换的不动点)。

  • 三大变换统一视角:连续变量用特征函数 E[ejωX]\mathbb{E}[e^{j\omega X}](傅里叶变换),非负变量可用拉普拉斯变换 E[e−sX]\mathbb{E}[e^{-sX}],整值离散变量用生成函数 E[zX]\mathbb{E}[z^X](Z 变换,单位圆 z=ejωz=e^{j\omega} 上即特征函数)。

3. 商的分布 Z = X / Y:高斯之商导出柯西分布与“算术平均岿然不动”奇观

压轴推演随机变量之商 Z=X/YZ = X / Y 的密度公式(阐明分母 y<0y < 0 不等号翻转产生 ∣y∣|y| 的机制),证明两个独立标准高斯之商服从重尾 Cauchy(柯西)分布 1/[π(1+t2)]1/[\pi(1+t^2)];严格区分广义积分发散与柯西主值,并用特征函数 e−∣ω∣e^{-|\omega|} 证明无论对多少个独立柯西变量取算术平均,其分布都岿然不动!

3.1 商的分布 Z=X/YZ = X / Y:为什么公式里会出现绝对值 ∣s∣|s|?()

研究完加减法后,张颢老师在 转向随机变量的除法:设 P(Y=0)=0\mathbb{P}(Y = 0) = 0,求商 Z=XYZ = \frac{X}{Y} 的概率密度 fZ(t)f_Z(t)。 依然从分布函数定义 FZ(t)=P(XY≤t)F_Z(t) = \mathbb{P}\bigl(\frac{X}{Y} \le t\bigr) 出发()。但请注意:当我们想把分母 YY 乘到不等式右边去化为 XX 的上下限时,不等号方向取决于分母 YY 的正负()!

  1. 将积分区域按 s>0s > 0(正半轴)与 s<0s < 0(负半轴)拆成两块:
    • 当 s>0s > 0 时,rs≤t  ⟺  r≤st\frac{r}{s} \le t \iff r \le st(对 rr 从 −∞-\infty 积到 stst);
    • 当 s<0s < 0 时,rs≤t  ⟺  r≥st\frac{r}{s} \le t \iff r \ge st(不等号反向!对 rr 从 stst 积到 +∞+\infty): FZ(t)=∫0∞ds∫−∞stfX,Y(r,s) dr+∫−∞0ds∫st∞fX,Y(r,s) drF_Z(t) = \int_0^{\infty} \mathrm{d}s \int_{-\infty}^{st} f_{X,Y}(r, s)\,\mathrm{d}r + \int_{-\infty}^0 \mathrm{d}s \int_{st}^{\infty} f_{X,Y}(r, s)\,\mathrm{d}r
  2. 两端对 tt 求导并合二为一(): 第一项中 stst 在积分上限,求导出来 +s+s;第二项中 stst 在积分下限,求导出来一个负号变成 −s-s(而当 s<0s < 0 时,−s=∣s∣>0-s = |s| > 0)!两项合并,即得著名的商分布密度公式: fX/Y(t)=∫0∞s fX,Y(st,s) ds+∫−∞0(−s) fX,Y(st,s) ds=∫−∞∞∣s∣ fX,Y(st,s) dsf_{X/Y}(t) = \int_0^{\infty} s\,f_{X,Y}(st, s)\,\mathrm{d}s + \int_{-\infty}^0 (-s)\,f_{X,Y}(st, s)\,\mathrm{d}s = \int_{-\infty}^{\infty} |s|\,f_{X,Y}(st, s)\,\mathrm{d}s 当 XX 与 YY 相互独立时,直接写为 fX/Y(t)=∫−∞∞∣s∣ fX(st) fY(s) dsf_{X/Y}(t) = \int_{-\infty}^{\infty} |s|\,f_X(st)\,f_Y(s)\,\mathrm{d}s。

3.2 黑板推导:两个独立标准高斯之商服从 Cauchy(柯西)分布()

如果 X,Y∼i.i.d.N(0,1)X, Y \stackrel{\text{i.i.d.}}{\sim} \mathcal{N}(0, 1) 都是标准高斯分布,把它们相除 Z=X/YZ = X / Y 会得到什么? 代入 fX(st)=12πe−s2t2/2f_X(st) = \frac{1}{\sqrt{2\pi}}e^{-s^2 t^2 / 2} 与 fY(s)=12πe−s2/2f_Y(s) = \frac{1}{\sqrt{2\pi}}e^{-s^2 / 2}(): fZ(t)=∫−∞∞∣s∣⋅12πe−1+t22s2 ds=偶函数对称2⋅12π∫0∞s e−1+t22s2 dsf_Z(t) = \int_{-\infty}^{\infty} |s| \cdot \frac{1}{2\pi} e^{-\frac{1 + t^2}{2}s^2}\,\mathrm{d}s \xlongequal{\text{偶函数对称}} 2 \cdot \frac{1}{2\pi} \int_0^{\infty} s\,e^{-\frac{1 + t^2}{2}s^2}\,\mathrm{d}s 看到前面的因子 s ds=12d(s2)s\,\mathrm{d}s = \frac{1}{2}\mathrm{d}(s^2),张颢老师笑着说():“高斯本身积不出来,但前面多乘了一个 ss 反而成了小意思,立马就积出来了!” fZ(t)=1π[−11+t2e−1+t22s2]0∞=1π(1+t2),t∈(−∞,+∞)f_Z(t) = \frac{1}{\pi} \left[ -\frac{1}{1 + t^2} e^{-\frac{1 + t^2}{2}s^2} \right]_0^{\infty} = \frac{1}{\pi(1 + t^2)}, \qquad t \in (-\infty, +\infty) 这个在全实轴上以多项式 11+t2\frac{1}{1+t^2} 缓慢衰减的分布,就是大名鼎鼎的标准柯西分布(Cauchy Distribution,)!


3.3 为什么柯西分布的均值为何不是 0,而是“不存在”?——广义积分 vs 柯西主值()

观察柯西密度 fZ(t)=1π(1+t2)f_Z(t) = \frac{1}{\pi(1+t^2)}:高斯尾巴是 e−t2/2e^{-t^2/2}(极轻),拉普拉斯尾巴是 e−λ∣t∣e^{-\lambda|t|}(指数级),而柯西尾巴连指数都不是,仅仅是二次代数式 1/t21/t^2! 它的拖尾重到了什么程度?柯西分布的各阶矩(包括一阶矩均值 E[Z]\mathbb{E}[Z])全部不存在()!

  • 同学们的普遍疑惑():“老师,∫−∞∞tπ(1+t2) dt\int_{-\infty}^{\infty} \frac{t}{\pi(1+t^2)}\,\mathrm{d}t 被积函数明明是奇函数,奇函数在对称区间 (−∞,+∞)(-\infty, +\infty) 上积分难道不等于 00 吗?”
  • 张颢老师的微积分严格澄清(): 在数学分析中,双侧无穷广义积分 ∫−∞∞\int_{-\infty}^{\infty} 收敛的定义是上下限必须各自独立取极限 lim⁡A→−∞B→+∞∫ABtπ(1+t2) dt\lim_{\substack{A \to -\infty \\ B \to +\infty}} \int_A^B \frac{t}{\pi(1+t^2)}\,\mathrm{d}t 存在!而 t1+t2∼1t\frac{t}{1+t^2} \sim \frac{1}{t},原函数 12πln⁡(1+t2)\frac{1}{2\pi}\ln(1+t^2) 在两端均发散为 ∞−∞\infty - \infty,因此在严格广义积分(及 Lebesgue 绝对可积)意义下,该积分发散,数学期望不存在! 只有当你人为强行绑定上下限以相同速度对称趋于无穷: P.V.⁡∫−∞∞tπ(1+t2) dt:=lim⁡A→+∞∫−AAtπ(1+t2) dt=0\operatorname{P.V.}\int_{-\infty}^{\infty} \frac{t}{\pi(1+t^2)}\,\mathrm{d}t := \lim_{A \to +\infty} \int_{-A}^{A} \frac{t}{\pi(1+t^2)}\,\mathrm{d}t = 0 它才等于 00——而这个特殊极限在数学分析中恰恰就叫柯西主值(Cauchy Principal Value,),正是因为 Cauchy 最早深入研究了这类发散积分的对称主值!

3.4 全讲最高潮:为什么对 NN 个独立柯西变量取算术平均,依然压不住它的随机性?()

在课程最后 5 分钟,张颢老师展示了柯西分布最令人瞠目结舌的性质。 查表或由傅里叶对偶性可知,标准柯西分布 f(t)=1π(1+t2)f(t) = \frac{1}{\pi(1+t^2)} 的特征函数是双边指数函数(): φX(ω)=e−∣ω∣\varphi_X(\omega) = e^{-|\omega|} 现在,设有 NN 个相互独立且同服从标准柯西分布的随机变量 X1,X2,…,XNX_1, X_2, \dots, X_N,我们做实验测量时最喜欢求它们的算术平均(Sample Mean): XˉN=X1+X2+⋯+XNN\bar{X}_N = \frac{X_1 + X_2 + \cdots + X_N}{N} 我们来算算这个平均值 XˉN\bar{X}_N 的特征函数是什么():

  1. 把常数 1N\frac{1}{N} 结合到频率变量 ω\omega 上:E[ejω(Xk/N)]=E[ej(ω/N)Xk]=φXk ⁣(ωN)=e−∣ω∣/N\mathbb{E}\bigl[e^{j\omega (X_k / N)}\bigr] = \mathbb{E}\bigl[e^{j(\omega/N) X_k}\bigr] = \varphi_{X_k}\!\left(\frac{\omega}{N}\right) = e^{-|\omega| / N};
  2. 由独立性,NN 项之和的特征函数等于各自特征函数的乘积: φXˉN(ω)=∏k=1NφXk ⁣(ωN)=e−∣ω∣/N⋅e−∣ω∣/N⋯e−∣ω∣/N⏟N 个相乘=exp⁡ ⁣(−N⋅∣ω∣N)=e−∣ω∣=φX1(ω) !!\varphi_{\bar{X}_N}(\omega) = \prod_{k=1}^N \varphi_{X_k}\!\left(\frac{\omega}{N}\right) = \underbrace{e^{-|\omega|/N} \cdot e^{-|\omega|/N} \cdots e^{-|\omega|/N}}_{N\text{ 个相乘}} = \exp\!\left(-N \cdot \frac{|\omega|}{N}\right) = e^{-|\omega|} = \varphi_{X_1}(\omega)\,!!

张颢老师课堂结语(): “大家看清楚了吗?!两个柯西加起来除以 2,NN 个独立柯西加起来除以 NN,它的特征函数依然是 e−∣ω∣e^{-|\omega|},与单个柯西分布完完全全一模一样!通常我们认为多次测量取平均可以有效减小随机性(大数定律告诉我们当 N→∞N\to\infty 时平均值会收敛到常数均值);但对于柯西分布,大数定律彻底失效——柯西分布的随机性太强了,你不管平均多少次,它岿然不动,平均了半天它仍然是它自身!”

BLACKBOARD DERIVATION RECONSTRUCTION · 张颢老师黑板推导完整复原
Step ①按分母正负分段积分导出商分布公式 fX/Y(t)f_{X/Y}(t)
FX/Y(t)=∫0∞ds∫−∞stfX,Y(r,s)dr+∫−∞0ds∫st∞fX,Y(r,s)dr  ⟹  fX/Y(t)=∫−∞∞∣s∣ fX,Y(st,s) dsF_{X/Y}(t) = \int_0^{\infty}\mathrm{d}s\int_{-\infty}^{st}f_{X,Y}(r,s)\mathrm{d}r + \int_{-\infty}^0\mathrm{d}s\int_{st}^{\infty}f_{X,Y}(r,s)\mathrm{d}r \implies f_{X/Y}(t) = \int_{-\infty}^{\infty}|s|\,f_{X,Y}(st,s)\,\mathrm{d}s

对应黑板左区():s<0s<0 时 r/s≤t  ⟺  r≥str/s\le t \iff r\ge st 在积分下限,对 tt 求导带负号 −s=∣s∣-s = |s|。

Step ②两个独立标准高斯之商导出 Cauchy 分布与柯西主值辨析
fX/Y(t)=1π∫0∞s e−1+t22s2 ds=1π(1+t2);lim⁡A→−∞,B→+∞∫ABt dtπ(1+t2) 发散(无期望),仅 lim⁡A→∞∫−AA=0(柯西主值)f_{X/Y}(t) = \frac{1}{\pi}\int_0^{\infty} s\,e^{-\frac{1+t^2}{2}s^2}\,\mathrm{d}s = \frac{1}{\pi(1+t^2)}; \qquad \lim_{A\to-\infty,B\to+\infty}\int_A^B \frac{t\,\mathrm{d}t}{\pi(1+t^2)}\text{ 发散(无期望),仅 }\lim_{A\to\infty}\int_{-A}^A = 0\text{(柯西主值)}

对应黑板中区():1/t21/t^2 拖尾太重导致各阶矩均不存在。

Step ③利用特征函数 φ(ω)=e−∣ω∣\varphi(\omega) = e^{-|\omega|} 证明 N 个独立 Cauchy 算术平均岿然不动
φX(ω)=e−∣ω∣⟹φ1N∑k=1NXk(ω)=[φX ⁣(ωN)]N=(e−∣ω∣/N)N=e−∣ω∣=φX(ω)\varphi_X(\omega) = e^{-|\omega|} \quad\Longrightarrow\quad \varphi_{\frac{1}{N}\sum_{k=1}^N X_k}(\omega) = \Bigl[\varphi_X\!\Bigl(\frac{\omega}{N}\Bigr)\Bigr]^N = \bigl(e^{-|\omega|/N}\bigr)^N = e^{-|\omega|} = \varphi_X(\omega)

对应黑板右区():XˉN=dX1\bar{X}_N \stackrel{d}{=} X_1,无论取多少次算术平均都无法压制重尾噪声。

深度思辨与反例剖析 (CRITICAL INSIGHT & PITFALL)

从求导算矩公式 E[X]=1jφX′(0)\mathbb{E}[X] = \frac{1}{j}\varphi_X'(0) 的角度看,为什么一眼就能看出柯西分布没有数学期望? 看柯西分布的特征函数 φX(ω)=e−∣ω∣\varphi_X(\omega) = e^{-|\omega|}:在原点 ω=0\omega = 0 处,左导数为 +1+1,右导数为 −1-1,函数图像在 ω=0\omega = 0 处是一个尖锐的折角(不可微)!原域尾部衰减越慢(重尾 1/t21/t^2),频域特征函数在原点 ω=0\omega=0 处就越不光滑(尖角不可导)——这再次完美印证了傅里叶分析中“无穷远处衰减速度   ⟺  \iff 原点处光滑阶数”的对偶原理!

本节方法论沉淀 · KEY TAKEAWAYS
  • 商分布公式必记 ∣y∣|y|:Z=X/Y  ⟹  fZ(z)=∫−∞∞∣y∣ fX,Y(zy,y) dyZ = X / Y \implies f_Z(z) = \int_{-\infty}^{\infty} |y|\,f_{X,Y}(zy, y)\,\mathrm{d}y(切勿漏掉绝对值 ∣y∣|y|)。

  • 标准高斯之商 = 标准柯西:X,Y∼i.i.d.N(0,1)  ⟹  X/Y∼Cauchy⁡(0,1)X, Y \stackrel{\text{i.i.d.}}{\sim} \mathcal{N}(0,1) \implies X/Y \sim \operatorname{Cauchy}(0,1),密度为 1π(1+z2)\frac{1}{\pi(1+z^2)},特征函数为 e−∣ω∣e^{-|\omega|}。

  • 柯西算术平均不变性:XˉN=1N∑k=1NXk∼Cauchy⁡(0,1)\bar{X}_N = \frac{1}{N}\sum_{k=1}^N X_k \sim \operatorname{Cauchy}(0,1),期望不存在导致大数定律失效。

CONCEPTUAL & COUNTEREXAMPLE CHECKS · 第 12 讲随堂思辨与易错反例自测

检验你是否真正掌握了“卷积积分限”、“特征函数矩生成律”与“柯西算术平均失效”

先独立判断,再展开详细数学解析。每道题均紧扣张颢老师在本讲(P62–P66)课堂上的追问与经典反例。

CHECK 01

设 XX 与 YY 是两个相互独立的连续型随机变量,密度分别为 fXf_X 与 fYf_Y。张颢老师在 指出 Z=X+YZ = X + Y 的概率密度绝不是 12[fX(z)+fY(z)]\frac{1}{2}[f_X(z) + f_Y(z)],且当 X,Y∼i.i.d.Exp⁡(λ)X, Y \stackrel{\text{i.i.d.}}{\sim} \operatorname{Exp}(\lambda) 时推导了和 X+YX+Y 与差 X−YX-Y 的分布。下列结论正确的是:

选择答案

CHECK 02

按照张颢老师在 的黑板推导,设随机变量 XX 的特征函数为 φX(ω)=E[ejωX]\varphi_X(\omega) = \mathbb{E}[e^{j\omega X}]。下列关于特征函数求矩及高斯特征函数的公式中,完全正确的是:

选择答案

CHECK 03

在 讨论标准柯西分布 f(t)=1π(1+t2)f(t) = \frac{1}{\pi(1+t^2)} 的均值 ∫−∞∞tπ(1+t2) dt\int_{-\infty}^{\infty} \frac{t}{\pi(1+t^2)}\,\mathrm{d}t 时,为什么张颢老师强调“尽管被积函数是奇函数,但柯西分布的数学期望严格不存在”?

选择答案

CHECK 04

设 X1,X2,…,XNX_1, X_2, \dots, X_N 是相互独立且均服从标准柯西分布(特征函数为 φ(ω)=e−∣ω∣\varphi(\omega) = e^{-|\omega|})的随机变量。记它们的算术平均为 XˉN=1N(X1+⋯+XN)\bar{X}_N = \frac{1}{N}(X_1 + \cdots + X_N)。根据 的推导,XˉN\bar{X}_N 的特征函数与分布是什么?

选择答案
本讲核心概念、黑板记号与中英术语对照 (5 项)
卷积公式 Convolution Formula, (fX * fY)(z)

两个独立连续型随机变量之和 Z=X+YZ=X+Y 的概率密度计算公式 fZ(z)=∫−∞∞fX(x)fY(z−x) dxf_Z(z)=\int_{-\infty}^\infty f_X(x)f_Y(z-x)\,\mathrm{d}x;若为差 X−YX-Y 则对应互相关积分。

拉普拉斯分布 Laplace (Double Exponential) Distribution

两个独立同参数指数分布之差 X−YX-Y 所服从的对称重尾分布,密度为 f(t)=λ2e−λ∣t∣  (t∈R)f(t)=\frac{\lambda}{2}e^{-\lambda|t|}\;(t\in\mathbb{R})。

特征函数 Characteristic Function, φX(ω)

定义为 φX(ω)=E[ejωX]=∫−∞∞fX(x)ejωx dx\varphi_X(\omega)=\mathbb{E}[e^{j\omega X}]=\int_{-\infty}^\infty f_X(x)e^{j\omega x}\,\mathrm{d}x(概率密度的傅里叶反变换),与分布一一对应且恒存在,能将独立和的卷积化为代数乘积。

高斯再生性(线性不变性) Gaussian Reproductivity / Linear Invariance

由高斯特征函数 exp⁡(jμω−12σ2ω2)\exp(j\mu\omega - \frac{1}{2}\sigma^2\omega^2) 乘积性质直接导出的核心定理:任意多个相互独立的高斯随机变量之和仍然服从高斯分布。

柯西分布与柯西主值 Cauchy Distribution & Cauchy Principal Value

两个独立标准高斯之商 X/YX/Y 服从标准柯西分布 1π(1+t2)\frac{1}{\pi(1+t^2)};其尾部按 1/t21/t^2 缓慢衰减,各阶矩在广义积分下均发散(仅对称极限柯西主值为 0),且 NN 个独立样本的算术平均分布保持不变。

公理与机遇 · 清华大学自动化系张颢《概率论》深度精读讲义 · 原课无遮挡 1.5× 对位回看与穿插式直观可视化