風

引入Recap：通信系统基本模型一个基本的数字通信系统框图如下 其中： 信源编码：其目的为压缩信息，提高效率。它对原始信息进行压缩，使其占用更少的比特。典型的算法如霍夫曼码、LZ码、JPEG、MP3、MPEG等 信道编码：其目的为增加冗余，纠正传输错误。它在在压缩后的数据中加入冗余信息（如校验位）。常见的有块码（包含Hamming码、CRC码）、卷积码、Turbo码等等。 Recap：香农信道容量香农信道容量是可实现的信道容量的极限。香农表明如果合适地将信息编码，可以实现很高的通信速率与很低的错误率，这对应有一个最高的信息传输速率称为信道容量（可靠通信的极限）。如果超过这个速率，则无法实现低错误率的通信。 C=B\log_2(1+S/N)其中： B为信道带宽（Hz） S为信号功率（W） N为噪声功率（W） 章节目标：本章节将： 介绍信源、信息量、熵等概念。 介绍前缀码、霍夫曼、LZ码几种信源编码。 最后简略介绍信道容量的相关内容，其包含香农信道容量、互信息、AWGN与衰落信道中的容量。 信源与熵信源信源产生的数据应当在接收端看起来应该是随机的，如果信源产生的数据已经被准 ...

引入-数据链路层数据链路层的主要作用是将一帧数据从一个节点传输到另一个临近的节点，这两个节点将位于同一个广播域中。因此数据链路层还会针对一个广播域提供差错控制、流控等服务。 数据链路层是服务于网络层的。一个数据包从一个网络层传输到另一个网络层，可能跨越多个不同的广播域，这些广播域可能使用不同的链路层协议，这是可行的。 数据链路层在IEEE802标准中可以细分为两个子层： 介质访问控制（Medium Access Control，MAC）：将载荷编码为帧；进行执行地址识别和错误检测； 链路逻辑控制（Link Logic Control，LLC）：为高层协议提供接口；提供流控与差错控制； 流控机制（Flow Control）停等流控（Stop & Wait）停等流控的机制停等流控的步骤是： 发送端发送一帧数据 接收端收到数据后进行处理，等它准备好接受下一次消息时，返回ACK消息 发送端收到ACK消息后，再发送下一帧消息 停等流控的link利用率（Utilization）记$t_{prop}$为传播时延，$t_{frame}$为数据帧传输时延，$t_{ack}$为应答帧传输 ...

引入数字通信的优劣优势 数字通信对噪声和信道失真抵抗力更强 数字通信具有再生能力（中继器检测并重新生成一个新的信号）。可以防止传输噪声的积累。 数字通信更灵活，允许微处理器与大规模集成电路参与其中。 数字通信有极低的错误率和高保真度 数字通信对信道的SNR与带宽使用比模拟通信更高效 劣势 比模拟通信需要更多带宽 数字检测需要多个级别的同步（载波级、比特级、符号级、码级） 数字通信系统数字通信系统可以简单地概括为下图。 实际数字通信系统可以将上图进一步拆分，下图是一个典型的实际通信系统。有时候，信源编码并不是必要的（例如短距离传输时)，这取决于传输的场景。 性能指标数字通信系统并不像模拟系统一样使用无限的数据集表达信号，因此相较于SNR，误差概率（probability of error, $P_E$）或许是更合适的指标。 数字信号的类型 确定信号与随机信号：如果一个信号在任意时刻其值都是确定的，则其为确定信号。若有些信号在实际发生之前不确定其值（例如噪声），则其为随机信号。随机信号可以使用统计学来对其进行描述。 周期信号与非周期信号：若数字信号满足$x(t)=x(t+T_0 ...

引入课程引入统计信号处理（Statistical Signal Processing）是电磁学、通信、雷达、声纳、控制、图像分析等领域的核心课程之一，它将概率论与数理统计的理论工具应用于信号的建模、估计、检测与滤波。 在本科阶段学习的信号处理课程中，例如DSP，并没有真正的考虑噪声的影响。但真实的世界充斥着噪声，这就是这门课存在的意义。这门课将使用统计理论，使用某种方法来估算该兴趣的量，并确定这种估算的准确性。 估计理论可以被用来：1、估计扰动和系统参数（例如噪声方差、信道参数等）2、估计信号参数（幅度、频率、时间延迟、多普勒、方位角等）3、估计信号波形 这门课中的符号在这门课中： $\mathbf{X}$表示观测矩阵 $\mathbf{\theta}$表示参数向量（即，用来被估计的原始值） $\hat \theta(x)$表示对某个数据进行估计，有时用$\hat \theta$来直接表示估计后的数据，它是一个向量。 $\epsilon(x)=\hat \theta(x)-\theta$表示估计误差，这是一个随机量 均方差(Mean-Square Error) $MSE=E\{\ep ...

Cramer-Rao下界CRLB的作用和意义在引入章节中介绍效率时已经介绍：克拉默-拉奥下界（Cramer-Rao Lower Bound, CRLB） 是无偏估计量方差的理论下界，它告诉我们在满足一定正则条件下，任何无偏估计量的方差都不可能低于这个界限。如果一个无偏估计的方差等于CRLB，则称其为最优的。因此，CRLB就是来评判估计还有没有优化的空间的。 虽然还有很多其他的方差下界，但 CRLB最容易确定，计算和推导相对简便。 如何求CRLB下界（a）满足正则条件的PDF具有的性质记一个随机变量的PDF为$p(\mathbf{x},\theta)$（又称为似然函数），这个$\theta$表示的是被估计值，是一个为标量。例如对方差为已知的$\sigma^2$的DC电平进行幅度估计时，$\theta$就是电平的振幅$A$。 如果$p(\mathbf{x},\theta)$满足正则条件（regularly conditions）的话，那么就会有： E\bigg\{\frac{\partial \ln p(\mathbf{x},\theta)}{\partial \theta}\bigg\ ...

引入-线性模型在第一章节中，介绍MVUE，说它比较难以寻找，通常有两种方式。前面已经介绍了从CRLB观察出预测函数$g(x)$，本章节介绍另一种：线性模型。 直接寻找MVUE特别困难，有时也没办法从CRLB直接整出$g(x)$。但是许多问题可以用线性模型来表达，一旦确定了线性模型，就一定可以写成$\frac{\partial \ln p(\boldsymbol{x}; \boldsymbol{\theta})}{\partial \boldsymbol{\theta}} = \mathbf{I}(\boldsymbol{\theta}) [\mathbf{g}(\boldsymbol{x}) - \boldsymbol{\theta}]$，然后拿到MVUE。 线性模型的表达假设一个信号，它有原始参数为$\theta$，在信道中传输叠加了噪声，采集到的序列$\boldsymbol{x}$可以表达成： \boldsymbol{x=H\theta+w}其中： $\pmb x$是$N\times1$的观测向量（即，采集到的序列），$\pmb x=[x[0],x[1],x[2]…x[N-1] ...

引入-最大似然估计当MVUE难以找到时，MLE 提供了一种寻找实用估计量的替代方法。寻找MLE 有 “按部就班” 的特点，即步骤相对固定。但缺点是，某些情况下推导得到的方程会非常复杂，不易实现。 对于很多实际应用场景，当数据量很大时（10的指数级别），MLE 的性能是最优的（渐近最优）。 标量参数下的最大似然估计最大似然估计的原理对于标量参数(\theta)，观测数据为(\mathbf{x})时，有关于参数(\theta)的概率密度函数(p(\mathbf{x};\theta))。MLE 的定义是：找到使似然函数(p(\mathbf{x};\theta))最大的(\theta)值，即： \hat{\theta}_{MLE}=\arg\{\max_{\theta} (p(\mathbf{x};\theta))\}举个例子来理解，假设对于WGN下振幅为A的直流电平，他的PDF将服从均值$\mu=A$的高斯分布。PDF的极值点就在$A$附近。若估计量为$\hat \theta$，对其直流电平进行最大似然估计，那么能让似然函数$p(\mathbf{x};\theta)$达到极大值的$\hat ...

贝叶斯估计在前面学习的VMUE、BLUE、MLE、SLE估计中，都假设感被估计的参数是已经确定但未知具体数字的一个常数。但参数可能本身就是一个随机变量，而贝叶斯估计就是为了处理这样的估计量而诞生的。 贝叶斯估计使用一个初始的“先验概率”来表达被估计的参数，然后根据当前观测的数据得到“后验概率”。这次的后验概率会作为下一次估计的先验概率，因此贝叶斯估计可以使用序列数据进行迭代。 贝叶斯估计为最小方差无偏估计（MVUE）提供了另一种替代方法。当 MVUE 无法找到时，这很有用。 贝叶斯定理设(\hat{\theta}(\mathbf{x}))为信号观测(\mathbf{x})的参数(\theta)的估计器。假设观测和随机参数的联合概率密度函数$p(\mathbf{x},\theta)$是已知的。贝叶斯定理告诉我们： p(\mathbf{x},\theta) = p(\mathbf{x}|\theta)p(\theta) = p(\theta|\mathbf{x})p(\mathbf{x})还可以把它写成： p(\theta|\mathbf{x})=\frac{p(\mathbf{x}| ...

引入-最小二乘估计最小二乘估计的特性前面介绍的估计器通常都是以最优或者次优为目标，但是最小二乘估计器通常与“优”无关，但是对特定的问题特别有意义。 最小二乘估计不依赖数据的概率假设，只需要假定一个 “信号模型（signal model）”。这一特点让它适用范围更广，但也导致无法在不明确数据概率特性的情况下，评估其统计性能（比如估计的准确性、稳定性等）。而且由于实现简便，在实际操作中被广泛应用。 目标与核心逻辑最小二乘法的优化目标是：最小化 “数据” 与 “假定信号” 之间的平方差。这个平方差被定义为 “最小二乘误差准则（LS error criterion）” 为 J(\theta) = \sum_{n=0}^{N-1} \big( x[n] - s[n,\theta] \big)^2其中，(n = 0,1,\dots,N-1) 是观测区间，(x[n]) 是观测到的数据，(s[n,\theta]) 是基于参数 (\theta) 的假定信号。能让 (J(\theta)) 最小的 (\theta)，就是最小二乘估计量（LSE, Least Squares Estimator）。 因为这 ...

引入本章关注的问题是：在加性高斯噪声中检测已知的确定性信号（即信号形式已知、噪声是高斯分布且统计特性已知）。信号和噪声的PDF已知，这类问题只属于简单检测问题。 对于这类问题： 若要在 “虚警概率 (P_{FA}) 恒定” 的约束下最大化检测概率 (P_D)，使用 奈曼 - 皮尔逊（NP）准则。 若要最小化平均代价，使用 贝叶斯风险准则。 由于假设噪声是高斯的，在这种简单场景下，检测统计量是数据的线性函数，这让我们能很容易地分析检测器性能。 基于这些假设推导出来的检测器就是匹配滤波器，它在很多 “信号由设计者控制” 的场景中被广泛应用，比如相干通信系统（如数字调制中的信号检测）。 匹配滤波器（Matched Filters）在本章节对匹配滤波器的推导中，将着重推导似然比由似然比得到的统计检验量。后续检验是使用NP方法还是使用贝叶斯方法的，由裁决阈值决定。 假设与推导信号模型假设无信号表示0，有信号表示1，那么决策就是在如下两种情况之间： (\mathcal{H}_0)：观测数据 (x[n] = w[n]) (\mathcal{H}_1)：观测数据 (x[n] = s[n] + w ...