概率论

引入课程引入统计信号处理（Statistical Signal Processing）是电磁学、通信、雷达、声纳、控制、图像分析等领域的核心课程之一，它将概率论与数理统计的理论工具应用于信号的建模、估计、检测与滤波。 在本科阶段学习的信号处理课程中，例如DSP，并没有真正的考虑噪声的影响。但真实的世界充斥着噪声，这就是这门课存在的意义。这门课将使用统计理论，使用某种方法来估算该兴趣的量，并确定这种估算的准确性。 估计理论可以被用来：1、估计扰动和系统参数（例如噪声方差、信道参数等）2、估计信号参数（幅度、频率、时间延迟、多普勒、方位角等）3、估计信号波形 这门课中的符号在这门课中： $\mathbf{X}$表示观测矩阵 $\mathbf{\theta}$表示参数向量（即，用来被估计的原始值） $\hat \theta(x)$表示对某个数据进行估计，有时用$\hat \theta$来直接表示估计后的数据，它是一个向量。 $\epsilon(x)=\hat \theta(x)-\theta$表示估计误差，这是一个随机量 均方差(Mean-Square Error) $MSE=E\{\ep ...

Cramer-Rao下界CRLB的作用和意义在引入章节中介绍效率时已经介绍：克拉默-拉奥下界（Cramer-Rao Lower Bound, CRLB） 是无偏估计量方差的理论下界，它告诉我们在满足一定正则条件下，任何无偏估计量的方差都不可能低于这个界限。如果一个无偏估计的方差等于CRLB，则称其为最优的。因此，CRLB就是来评判估计还有没有优化的空间的。 虽然还有很多其他的方差下界，但 CRLB最容易确定，计算和推导相对简便。 如何求CRLB下界（a）满足正则条件的PDF具有的性质记一个随机变量的PDF为$p(\mathbf{x},\theta)$（又称为似然函数），这个$\theta$表示的是被估计值，是一个为标量。例如对方差为已知的$\sigma^2$的DC电平进行幅度估计时，$\theta$就是电平的振幅$A$。 如果$p(\mathbf{x},\theta)$满足正则条件（regularly conditions）的话，那么就会有： E\bigg\{\frac{\partial \ln p(\mathbf{x},\theta)}{\partial \theta}\bigg\ ...

引入-线性模型在第一章节中，介绍MVUE，说它比较难以寻找，通常有两种方式。前面已经介绍了从CRLB观察出预测函数$g(x)$，本章节介绍另一种：线性模型。 直接寻找MVUE特别困难，有时也没办法从CRLB直接整出$g(x)$。但是许多问题可以用线性模型来表达，一旦确定了线性模型，就一定可以写成$\frac{\partial \ln p(\boldsymbol{x}; \boldsymbol{\theta})}{\partial \boldsymbol{\theta}} = \mathbf{I}(\boldsymbol{\theta}) [\mathbf{g}(\boldsymbol{x}) - \boldsymbol{\theta}]$，然后拿到MVUE。 线性模型的表达假设一个信号，它有原始参数为$\theta$，在信道中传输叠加了噪声，采集到的序列$\boldsymbol{x}$可以表达成： \boldsymbol{x=H\theta+w}其中： $\pmb x$是$N\times1$的观测向量（即，采集到的序列），$\pmb x=[x[0],x[1],x[2]…x[N-1] ...

引入-最大似然估计当MVUE难以找到时，MLE 提供了一种寻找实用估计量的替代方法。寻找MLE 有 “按部就班” 的特点，即步骤相对固定。但缺点是，某些情况下推导得到的方程会非常复杂，不易实现。 对于很多实际应用场景，当数据量很大时（10的指数级别），MLE 的性能是最优的（渐近最优）。 标量参数下的最大似然估计最大似然估计的原理对于标量参数(\theta)，观测数据为(\mathbf{x})时，有关于参数(\theta)的概率密度函数(p(\mathbf{x};\theta))。MLE 的定义是：找到使似然函数(p(\mathbf{x};\theta))最大的(\theta)值，即： \hat{\theta}_{MLE}=\arg\{\max_{\theta} (p(\mathbf{x};\theta))\}举个例子来理解，假设对于WGN下振幅为A的直流电平，他的PDF将服从均值$\mu=A$的高斯分布。PDF的极值点就在$A$附近。若估计量为$\hat \theta$，对其直流电平进行最大似然估计，那么能让似然函数$p(\mathbf{x};\theta)$达到极大值的$\hat ...

贝叶斯估计在前面学习的VMUE、BLUE、MLE、SLE估计中，都假设感被估计的参数是已经确定但未知具体数字的一个常数。但参数可能本身就是一个随机变量，而贝叶斯估计就是为了处理这样的估计量而诞生的。 贝叶斯估计使用一个初始的“先验概率”来表达被估计的参数，然后根据当前观测的数据得到“后验概率”。这次的后验概率会作为下一次估计的先验概率，因此贝叶斯估计可以使用序列数据进行迭代。 贝叶斯估计为最小方差无偏估计（MVUE）提供了另一种替代方法。当 MVUE 无法找到时，这很有用。 贝叶斯定理设(\hat{\theta}(\mathbf{x}))为信号观测(\mathbf{x})的参数(\theta)的估计器。假设观测和随机参数的联合概率密度函数$p(\mathbf{x},\theta)$是已知的。贝叶斯定理告诉我们： p(\mathbf{x},\theta) = p(\mathbf{x}|\theta)p(\theta) = p(\theta|\mathbf{x})p(\mathbf{x})还可以把它写成： p(\theta|\mathbf{x})=\frac{p(\mathbf{x}| ...

引入-最小二乘估计最小二乘估计的特性前面介绍的估计器通常都是以最优或者次优为目标，但是最小二乘估计器通常与“优”无关，但是对特定的问题特别有意义。 最小二乘估计不依赖数据的概率假设，只需要假定一个 “信号模型（signal model）”。这一特点让它适用范围更广，但也导致无法在不明确数据概率特性的情况下，评估其统计性能（比如估计的准确性、稳定性等）。而且由于实现简便，在实际操作中被广泛应用。 目标与核心逻辑最小二乘法的优化目标是：最小化 “数据” 与 “假定信号” 之间的平方差。这个平方差被定义为 “最小二乘误差准则（LS error criterion）” 为 J(\theta) = \sum_{n=0}^{N-1} \big( x[n] - s[n,\theta] \big)^2其中，(n = 0,1,\dots,N-1) 是观测区间，(x[n]) 是观测到的数据，(s[n,\theta]) 是基于参数 (\theta) 的假定信号。能让 (J(\theta)) 最小的 (\theta)，就是最小二乘估计量（LSE, Least Squares Estimator）。 因为这 ...

引入本章关注的问题是：在加性高斯噪声中检测已知的确定性信号（即信号形式已知、噪声是高斯分布且统计特性已知）。信号和噪声的PDF已知，这类问题只属于简单检测问题。 对于这类问题： 若要在 “虚警概率 (P_{FA}) 恒定” 的约束下最大化检测概率 (P_D)，使用 奈曼 - 皮尔逊（NP）准则。 若要最小化平均代价，使用 贝叶斯风险准则。 由于假设噪声是高斯的，在这种简单场景下，检测统计量是数据的线性函数，这让我们能很容易地分析检测器性能。 基于这些假设推导出来的检测器就是匹配滤波器，它在很多 “信号由设计者控制” 的场景中被广泛应用，比如相干通信系统（如数字调制中的信号检测）。 匹配滤波器（Matched Filters）在本章节对匹配滤波器的推导中，将着重推导似然比由似然比得到的统计检验量。后续检验是使用NP方法还是使用贝叶斯方法的，由裁决阈值决定。 假设与推导信号模型假设无信号表示0，有信号表示1，那么决策就是在如下两种情况之间： (\mathcal{H}_0)：观测数据 (x[n] = w[n]) (\mathcal{H}_1)：观测数据 (x[n] = s[n] + w ...

引入在前面的章节中，我们假设在 H0 和 H1 下完全了解概率密度函数（pdf）。 现在，我们假设概率PDF并非完全已知，这在实际问题中更为现实。 例如，在雷达应用中，来自目标的回波信号会由于传播时间而延迟，其到达时间通常是未知的。在通信接收机中，我们可能无法完美地知道传输信号的频率/幅度，由于未知参数，信号的概率密度函数将是未知的。在声纳中，噪声可能被认为是高斯噪声，但由于环境条件未知，其方差也可能未知。 因此，设计能够处理具有未知参数的概率密度函数的检测器在实际应用中非常重要。而这一类检测器通常被称作复合假设检验（composite hypothesis testing） 在复合情况下，在 H0 或 H1 下的概率密度函数（或在两者下的概率密度函数）可能无法完全确定。因此，我们在概率密度函数中包含未知参数，设计过程必须适应这些未知参数。 一致最优势检验（Uniformly Most Powerful Test，UMP Test）UMP处理复合假设的核心思路是： 先假设未知参数已知，设计 Neyman-Pearson（NP）检验； 再调整检验，让它不依赖未知参数，最终得到最优检验 ...

引入在前面的学习中，我们已经解决了已知参数的确定信号在噪声中的检测问题。 但是信息源产生的信息或许不是确定的，例如0和1的出现在信息中或许服从某一分布特征，但总的来说是随机出现的。因此，这里需要已知参数的随机信号在噪声中的检测来解决。 再举个例子，语音信号的波形取决于说话者是谁，说话者正在说的内容的上下文，说话者的健康情况等等。此时语音信号就是随机的，但它具有已知的协方差结构。 本章节将会聚焦于这个主题。 估计器 - 相关器（Estimator-Correlator）估计器相关器旨在检测未知信号是否存在。其本质是在检测信号的能量。对于白信号，其检测的直接就是是否包含白信号的能量。而对于有色信号，其检测的是加权能量。故其又称能量检测器。 能量检测器（Energy Detector）是什么能量检测器是一种用于检测未知信号是否存在的检测器，核心作用是通过分析接收信号的能量大小，判断 “某种信号 + 噪声”和 “仅噪声”的场景。能量检测器是基于NP方法的。 标准的（非加权）能量检测是估计器 - 相关器在 “白信号” 场景下的特例。下面将建模一个例子来看能量检测器。 假设一个信号模型假设信号是零 ...

引入检测问题的 “难易程度” 直接取决于我们对信号和噪声 pdf 的了解程度： 如果能完全掌握信号和噪声的PDF，理论上可以设计出最优检测器（性能最好的检测器） 而噪声PDF无法完全已知时，此时设计 “好的检测器” 会更困难，且一般无法达到 “最优”，只能追求 “尽可能好” 的次优解。 在设计检测器时，需要将噪声的PDF假设为数学上可处理的，高斯PDF就是其中典中典的一个假设。 在这个章节中，会介绍基于Neyman-Pearson方法设计的检测器与基于贝叶斯方法设计的检测器。 NP方法完全依赖采样信号（无先验信息）。在声呐、雷达领域应用广泛（这类场景中，我们往往没有 “信号出现概率” 的先验知识，只能通过采样数据做决策。） 贝叶斯方法使用先验知识（例如信号中0和1被传递的概率，发送的信号波形的波形样子等），结合后期采样信号来优化贝叶斯风险，使其最小化。贝叶斯方法在通信领域往往更实用（因为通信中信号波形通常是既定的，我们可以利用 “信号出现概率” 等先验信息优化检测） （本章节会花更多时间介绍NP方法。） 奈曼-皮尔逊方法（Neyman-Pearson Approach）引入：二 ...