随机变量之和的卷积公式与差的相关公式
和对应信号与系统中的卷积(Convolution),差对应互相关(Cross-Correlation);积分有效区间由两个示性函数的支撑集交集决定()。
Lecture 12 · Sums of RVs & Characteristic Functions: Convolution f_X * f_Y, Fourier Transform & Gaussian Reproductivity
从半平面滑动积分推导独立和的卷积公式 fX * fY(辨析为什么算术平均是概率混合而非随机变量相加),精讲矩形窗卷出三角分布、指数和差导出 Erlang 与 Laplace 分布;引入特征函数 将卷积化为乘积,黑板复平面配方证明高斯再生性,并揭示正态之商 Cauchy 分布“算术平均降噪彻底失效”的奇观。
本讲主线与问题意识 · LECTURE NARRATIVE ARC
本讲对应原课视频 P62–P66(总长约 108 分钟),聚焦于多元随机变量最重要的代数运算——加减与相除。当两个随机变量相加 时,它们的概率密度绝不是简单的相加或取平均!张颢老师首先在 P62–P63 从离散直觉与连续半平面区域 的二重积分出发,严格推导出独立随机变量之和的卷积公式 (以及差 的相关公式),并用示性函数 干净利落地算出了两个均匀分布之和(三角形分布)、两个指数分布之和(Gamma/Erlang 分布)与两个指数分布之差(双边指数 Laplace 重尾分布);随后在 P64–P65 针对高维高斯卷积配方法过于繁琐的痛点,祭出概率论的“傅里叶反变换”——特征函数 ,将复杂的积分卷积一举化为代数乘积 ,并在黑板上通过复指数配方完整推导出高斯特征函数 与高斯、Poisson 分布的再生性;最后在 P66 推导了带绝对值 的商分布公式,证明两个独立标准高斯之商服从连一阶矩都不存在的 Cauchy(柯西)分布,并用特征函数 给出了令全场震撼的结论:无论对多少个独立柯西变量取算术平均,其分布岿然不动,大数定律在此彻底失效!
从半平面区域 的二重积分推导出 的密度公式及独立情形下的卷积公式 ,深刻辨析为什么 是概率混合(Mixture)而非随机变量相加。
熟练运用示性函数 解不等式交集确定积分上下限,完整复现黑板三大算例: 三角形分布、 Erlang 分布、 双边指数 Laplace 分布 (时域互相关)。
掌握特征函数 (课堂亦记频率变量为 )的定义、傅里叶变换对唯一性、独立和的乘积定理 以及免积分求导算矩公式 ;完整复现黑板上高斯分布 特征函数 的复平面配方推导,一步证明独立高斯之和仍为高斯(以及离散 Poisson 分布基于生成函数/Z 变换 的可加性)。
掌握商 的密度公式 (理解分母 时不等号反向产生 ),证明两个独立标准高斯之商服从 Cauchy 分布 ,区分广义积分发散与柯西主值,并用 证明 个独立 Cauchy 变量的算术平均 与单个变量完全同分布。
和对应信号与系统中的卷积(Convolution),差对应互相关(Cross-Correlation);积分有效区间由两个示性函数的支撑集交集决定()。
概率密度的傅里叶反变换(张颢黑板用工程虚数记号 ,频率记作 或 ):把指数上的加法 拆成乘积,求矩只需对 求导后代 ()。
在指数上对二次型配方一步积出特征函数;两个独立高斯的特征函数相乘后,一次项系数为 、二次项系数为 ,由唯一性定理立得高斯再生性()。
独立标准高斯之商服从重尾 Cauchy 分布(各阶矩均不存在);其样本均值 的特征函数恒为 ,无论平均多少次都无法减小随机性()!
从二元半平面 的二重积分出发推导独立和的卷积公式,精讲均匀分布之和(三角形分布)、指数分布之和(Erlang 分布)与指数之差(双边指数 Laplace 分布),并严厉辨析为什么 绝不是 的密度。
加减乘除是数学最基本的运算,对于随机变量 和 ,我们首先关心它们的和 ()。 已知 、, 的密度是什么?张颢老师在 首先枪毙了初学者的直觉错误:
遵循本课“一切从分布函数定义出发”的铁律,张颢老师在黑板上用积分变量 和目标上限 写出了连续型随机变量和 的分布函数():
算卷积最怕积分上下限搞错!张颢老师传授了一套百试百灵的黑板绝活——把分段定义域直接写成示性函数(Indicator Function) 带进积分号,靠解不等式交集自动锁定上下限:
结论():两个矩形窗(均匀分布)卷积,得到了支撑集在 上的对称三角形分布(Triangular Distribution)!
半平面积分转卷积公式():
均匀分布之和的示性函数重叠:
黑板反例警示(): 是以 概率抽 或 的混合分布(Mixture),绝不是随机变量之和 的密度!
对应黑板左区():将直线 左下半平面化为累次积分后对 求导。
对应黑板中区():利用 自动锁定有效积分区间。
对应黑板右区():和是卷积,差是相关; 时下限变为 ,合并得双边指数重尾分布。
课堂高频辨析:为什么“随机变量相加 ”与“概率密度相加 ”完全是两码事?()
和是卷积,差是相关: 时,,。
示性函数防错法:遇到分段密度求卷积,永远先把 写进积分号,解出 后再讨论分段!
利用傅里叶变换将繁琐的多重卷积积分转化为代数乘积 ,黑板完整演示高斯特征函数的复平面配方法,并导出求导算矩公式 。
在算完均匀分布和指数分布的卷积后,张颢老师在 提出了一个紧迫的问题:如果 、 都是高斯分布,我们要算 的密度,直接代卷积公式会遇到什么? 指数上是两个关于积分变量 的二次型相加,虽然硬着头皮配方也能算出来,但如果有 个独立高斯变量相加,直接做 重卷积配方简直是噩梦()!
怎么把讨厌的“卷积”变成简单的“相乘”?信号与系统早已给出了标准答案——傅里叶变换(Fourier Transform,)!在概率论中,对概率密度做傅里叶反变换(不带 系数,指数取 或 ,张颢老师采用电子工程习惯记虚数单位为 、频率变量为 或 )得到的函数,有一个专属名字叫做特征函数(Characteristic Function,):
现在让我们用特征函数回头收拾高斯分布 !张颢老师在 完整展示了黑板复平面配方过程:
如果遇到离散随机变量(如 独立),张颢老师展示了两种证法:
特征函数定义与傅里叶反变换():
独立和的卷积化乘积定理:
求导算矩公式(免积分求高阶矩):
对应黑板左区():将底数上的加法搬到指数上化为乘法,求矩只需对 求导后代 。
对应黑板中区():一次项系数对应均值和,二次项系数对应方差和。
对应黑板右区():单位圆 将离散 Z 变换与连续傅里叶特征函数完美统一。
为什么在全部常见分布中,只有极少数分布(如高斯、Poisson、同尺度 Gamma、Cauchy)具有“独立同分布相加后还保持同一种分布形态”的再生性?() 张颢老师引导大家从特征函数乘积的角度思考: 个独立同分布变量之和的特征函数是 。要想让 与单个 具有完全相同的函数形态(仅仅是参数乘了 ), 本身必须是指数型结构 ,这样求 次幂才等价于参数 !而像均匀分布 ,卷一次变三角形、卷两次变二次样条,形态越卷越变(最终由中心极限定理滑向高斯分布)。
高斯特征函数必背公式:(标准正态为 ,是傅里叶变换的不动点)。
三大变换统一视角:连续变量用特征函数 (傅里叶变换),非负变量可用拉普拉斯变换 ,整值离散变量用生成函数 (Z 变换,单位圆 上即特征函数)。
压轴推演随机变量之商 的密度公式(阐明分母 不等号翻转产生 的机制),证明两个独立标准高斯之商服从重尾 Cauchy(柯西)分布 ;严格区分广义积分发散与柯西主值,并用特征函数 证明无论对多少个独立柯西变量取算术平均,其分布都岿然不动!
研究完加减法后,张颢老师在 转向随机变量的除法:设 ,求商 的概率密度 。 依然从分布函数定义 出发()。但请注意:当我们想把分母 乘到不等式右边去化为 的上下限时,不等号方向取决于分母 的正负()!
如果 都是标准高斯分布,把它们相除 会得到什么? 代入 与 (): 看到前面的因子 ,张颢老师笑着说():“高斯本身积不出来,但前面多乘了一个 反而成了小意思,立马就积出来了!” 这个在全实轴上以多项式 缓慢衰减的分布,就是大名鼎鼎的标准柯西分布(Cauchy Distribution,)!
观察柯西密度 :高斯尾巴是 (极轻),拉普拉斯尾巴是 (指数级),而柯西尾巴连指数都不是,仅仅是二次代数式 ! 它的拖尾重到了什么程度?柯西分布的各阶矩(包括一阶矩均值 )全部不存在()!
在课程最后 5 分钟,张颢老师展示了柯西分布最令人瞠目结舌的性质。 查表或由傅里叶对偶性可知,标准柯西分布 的特征函数是双边指数函数(): 现在,设有 个相互独立且同服从标准柯西分布的随机变量 ,我们做实验测量时最喜欢求它们的算术平均(Sample Mean): 我们来算算这个平均值 的特征函数是什么():
张颢老师课堂结语(): “大家看清楚了吗?!两个柯西加起来除以 2, 个独立柯西加起来除以 ,它的特征函数依然是 ,与单个柯西分布完完全全一模一样!通常我们认为多次测量取平均可以有效减小随机性(大数定律告诉我们当 时平均值会收敛到常数均值);但对于柯西分布,大数定律彻底失效——柯西分布的随机性太强了,你不管平均多少次,它岿然不动,平均了半天它仍然是它自身!”
对应黑板左区(): 时 在积分下限,对 求导带负号 。
对应黑板中区(): 拖尾太重导致各阶矩均不存在。
对应黑板右区():,无论取多少次算术平均都无法压制重尾噪声。
从求导算矩公式 的角度看,为什么一眼就能看出柯西分布没有数学期望? 看柯西分布的特征函数 :在原点 处,左导数为 ,右导数为 ,函数图像在 处是一个尖锐的折角(不可微)!原域尾部衰减越慢(重尾 ),频域特征函数在原点 处就越不光滑(尖角不可导)——这再次完美印证了傅里叶分析中“无穷远处衰减速度 原点处光滑阶数”的对偶原理!
商分布公式必记 :(切勿漏掉绝对值 )。
标准高斯之商 = 标准柯西:,密度为 ,特征函数为 。
柯西算术平均不变性:,期望不存在导致大数定律失效。
CONCEPTUAL & COUNTEREXAMPLE CHECKS · 第 12 讲随堂思辨与易错反例自测
先独立判断,再展开详细数学解析。每道题均紧扣张颢老师在本讲(P62–P66)课堂上的追问与经典反例。
CHECK 01
设 与 是两个相互独立的连续型随机变量,密度分别为 与 。张颢老师在 指出 的概率密度绝不是 ,且当 时推导了和 与差 的分布。下列结论正确的是:
CHECK 02
按照张颢老师在 的黑板推导,设随机变量 的特征函数为 。下列关于特征函数求矩及高斯特征函数的公式中,完全正确的是:
CHECK 03
在 讨论标准柯西分布 的均值 时,为什么张颢老师强调“尽管被积函数是奇函数,但柯西分布的数学期望严格不存在”?
CHECK 04
设 是相互独立且均服从标准柯西分布(特征函数为 )的随机变量。记它们的算术平均为 。根据 的推导, 的特征函数与分布是什么?
两个独立连续型随机变量之和 的概率密度计算公式 ;若为差 则对应互相关积分。
两个独立同参数指数分布之差 所服从的对称重尾分布,密度为 。
定义为 (概率密度的傅里叶反变换),与分布一一对应且恒存在,能将独立和的卷积化为代数乘积。
由高斯特征函数 乘积性质直接导出的核心定理:任意多个相互独立的高斯随机变量之和仍然服从高斯分布。
两个独立标准高斯之商 服从标准柯西分布 ;其尾部按 缓慢衰减,各阶矩在广义积分下均发散(仅对称极限柯西主值为 0),且 个独立样本的算术平均分布保持不变。