引入

数字通信的优劣

优势

数字通信对噪声和信道失真抵抗力更强
数字通信具有再生能力（中继器检测并重新生成一个新的信号）。可以防止传输噪声的积累。
数字通信更灵活，允许微处理器与大规模集成电路参与其中。
数字通信有极低的错误率和高保真度
数字通信对信道的SNR与带宽使用比模拟通信更高效

劣势

比模拟通信需要更多带宽
数字检测需要多个级别的同步（载波级、比特级、符号级、码级）

数字通信系统

数字通信系统可以简单地概括为下图。

实际数字通信系统可以将上图进一步拆分，下图是一个典型的实际通信系统。有时候，信源编码并不是必要的（例如短距离传输时)，这取决于传输的场景。

性能指标

数字通信系统并不像模拟系统一样使用无限的数据集表达信号，因此相较于SNR，误差概率（probability of error, $P_E$）或许是更合适的指标。

数字信号的类型

确定信号与随机信号：如果一个信号在任意时刻其值都是确定的，则其为确定信号。若有些信号在实际发生之前不确定其值（例如噪声），则其为随机信号。随机信号可以使用统计学来对其进行描述。
周期信号与非周期信号：若数字信号满足$x(t)=x(t+T_0)$，则其为周期信号。
能量信号与功率信号：如果一个信号的总能量是有限的，而平均功率为零，则称为能量信号；如果一个信号的平均功率是有限的，而总能量为无限，则称为功率信号。

能量信号与功率信号可以通过数学表达式来确定，已知信号在某一时刻的功率为（此刻功率只在单位电阻下的功率，就是电压的平方）

$p(t)=|x(t)|^2$

那么，其能量就是功率对时间的积分。其功率是$能量\times \frac{1}{T}$。

因此，能量和功率的计算方法是：

$E_x=\int^\infty_{-\infty}|x(t)|^2dt=\lim_{T\rightarrow\infty}\int^{T/2}_{-T/2}|x(t)|^2dt$ $P_x=\frac{1}{T}\lim_{T\rightarrow\infty}\int^{T/2}_{-T/2}|x(t)|^2dt$

如果$0<E_x<\infty$，则称其为能量信号。如果$0<P_x<\infty$，则称其为功率信号。

一个信号只能是能量信号或功率信号，不能同时为二者。因为能量信号有有限的能量但平均功率为0，功率信号有有限的功率但能量为无穷。

一般而言，周期信号和随机信号是功率信号。非周期确定信号为能量信号。

通信的带宽标准

用于衡量数字信号的带宽有几个不同的标准。通常在对数字信号的功率谱密度进行研究时，采用如下三个标准：

半功率带宽(Half power BW):指功率谱密度（PSD）下降到最大值的一半（即 -3 dB）处的两个频率之间的间隔
等效噪声带宽(Noise Equivalent BW)：将实际频谱替换为一个矩形频谱，使得该矩形频谱在同样的总功率下具有相同的输出噪声功率
零点到零点带宽(Null-to-Null BW): 指主瓣中两个“零交叉点”之间的频率间隔，即频谱从第一个为零的点到下一个为零的点之间的宽度。

功率谱密度与能量谱密度

Recall：傅里叶级数/傅里叶变换

傅里叶告诉了我们两件事：

周期信号都可以表示成谐波关系的正弦信号加权和
非周期信号都可以表示整正弦信号的加权积分

换句话说：对于周期信号，应该使用傅里叶级数拆解；对于非周期信号，应使用傅里叶变换拆解。

使用傅里叶级数拆解出的频域，得到的是一组离散的频率分量，即其系数大小是频率分量的“振幅”；而对于非周期信号，傅里叶变换的结果是一个连续的频率分布函数，这就被称为频谱密度（Spectral Density）

定义式

傅里叶级数的定义式如下：

$f(t)=\sum_{n=-\infty}^{\infty}F_ne^{jn\omega_0t}$

其中$F_n$为复数频谱；$|F_n|$为复数幅度谱；傅里叶级数是将时域$f(t)$拆成数个基波频率倍数的余弦波来表示，纵然$F_n$已经代表了频谱图中的频率振幅，但是它并非位于变换域。要将它转换成频域图像$F(f)$需要对傅里叶变换后的表达式施加FT。

傅里叶变换的定义式如下：

$X(f)=\int_{-\infty}^{\infty}x(t)e^{-j2\pi f t}dt\ \ (正变换,参数f)$ $X(\omega)=\int_{-\infty}^{\infty}x(t)e^{-j\omega t}dt\ \ (正变换,参数\omega)$ $x(f)=\int_{-\infty}^{\infty}X(f)e^{j2\pi f t}df\ \ (反变换,参数f)$ $x(t)=\frac{1}{2\pi}\int_{-\infty}^{\infty}X(\omega)e^{j\omega t}d\omega\ \ (反变换,参数\omega)$

傅里叶变换的性质

时域类型	对应频域类型
连续 + 周期	离散 + 非周期
连续 + 非周期	连续 + 非周期
离散 + 周期	离散 + 周期
离散 + 非周期	连续 + 周期

引入：傅里叶变换的结果

回顾傅里叶变换，通过$X(f)=\int_{-\infty}^{\infty}x(t)e^{-j2\pi ft}dt$我们可以求得信号的频谱。

对于一个特定的频率$f$，这个积分结果是一个复数，可以表示为$|X(t)|(振幅)\times e^{\psi}(相位)$这样的形式。

能量谱密度（Energy Spectrum Density）

连接时域与频域的能量：帕塞瓦尔定理

前面已经提到，谈及信号的能量和功率是它在单位电阻下而言的，因此能量就是信号功率对时间的积分。而信号在某时刻的瞬时功率是$U^2/R$，在单位电阻下就是当前$振幅^2$。

$E_x=\int^\infty_{-\infty}x^2(t)dt$

在频域来看呢？$|X(f)|$代表了当前频率分量的振幅。$|X(f)|^2$是当前频率分量的能量，那么将所有频率分量的能量加起来，理应就是等于这个信号所有的能量。这也就是帕塞瓦尔定理：信号在时间上的总能量 = 信号在频率上的能量总和。如下式：

$E_x=\int^\infty_{-\infty}x^2(t)dt=\int^\infty_{-\infty}|X(f)|^2df$

能量谱密度的定义

如同一条线的质量等于线上每一点的密度对单位长度的积分一样，信号的能量等于单位频率上的能量对频率进行积分。那么，这个“单位频率上的能量”不就是能量在频率上的密度？因此这就有了能量谱密度$\Psi_x(f)$：

$\Psi_x(f)=|X(f)|^2$

对于现实的信号，都是从$t=0$时刻开始的，其傅里叶变换后$-\infty$到$0$与$0$到$+\infty$是对称的，因此有$E_x=2\int^\infty_{0}\Psi (f)df$

功率谱密度

引入：不收敛的积分——周期信号的能量谱

假设$x(t)$是一个周期为$T_0$的周期信号，那么试着求其能量：

$E=\lim_{T\rightarrow\infty}\int_{-T/2}^{T/2}|x(t)|^2dt=\lim_{n\rightarrow\infty}\int_{-nT_0/2}^{nT_0/2}|x(t)|^2dt=\lim_{n\rightarrow\infty}n\int_{-T_0/2}^{T_0/2}|x(t)|^2dt$

可见，因为周期信号都是功率信号，积分结果是$\infty$。因此此时必须要用功率谱密度来分析信号的能量分布。

功率谱密度的定义

前面已经介绍，信号的功率求法为：

$P_x=\frac{1}{T}\lim_{T\rightarrow\infty}\int^{T/2}_{-T/2}|x(t)|^2dt$

与能量信号类似，使用帕塞瓦尔定理将其转到频域视角。因此功率谱密度$S_x(f)$的定义就是：

$S_x(f)=\lim_{T\rightarrow\infty}\frac{1}{T}|X_T(f)|^2$

其中$X_T(f)$是$x_T(t)$的傅里叶变换结果，$x_T(t)$代表原信号在$(-T/2,T/2)$上的截断。

如果是周期信号，那么它是使用傅里叶级数拆解的，拆解后是系数为$c_n$的频域离散图像，间隔为基波$f_0$的n倍。则有：

$S_x(f)=\sum_{n=-\infty}^{\infty}|c_n|^2\delta(f-nf_0)$

同样地，由于在现实中信号都是从$t=0$时刻开始的，其傅里叶变换后$-\infty$到$0$与$0$到$+\infty$是对称的，因此$P_x=2\int_{0}^{\infty}S_x(f)df$

功率与能量信号的自相关计算

自相关是指信号$x(t)$与其延迟版本$x(t+\tau)$之间的相似性。其计算公式为：

$R_{x}(\tau)=\int_{-\infty}^{\infty}x(t)x^*(t+\tau)dt$

其中$x^*$表示共轭，仅当$x(t)$为复信号时需要取共轭（实信号取不取都一样）。

能量信号的自相关性

因为能量信号的$|x(t)|^2$是可积的，因此$x(t)x(t+\tau)$也是可积的，故对于能量信号直接就是原定义式：

$R_{x}(\tau)=\int_{-\infty}^{\infty}x(t)x^*(t+\tau)dt$

其满足以下性质：

$R_x(\tau)$是偶函数：$R_x(\tau)=R_x(-\tau)$
在$\tau=0$时，自相关性最大$R_x(\tau)\leq R_x(0)$
$R_x(0)$等于信号的能量。这个非常好理解：对于实信号$x(t)\cdot x(t)=|x(t)|^2$；对于复信号$x(t)x^*(t)=|x(t)|^2$
能量信号的自相关函数与其能量谱密度是傅里叶变换对$R_x(\tau) \leftrightarrow \Psi_x(f)$，$F\{R_x(\tau)\}=\Psi_x(f)$

这个性质来源于维纳-辛钦定理：对于自相关函数$R_{x}(\tau)=\int_{-\infty}^{\infty}x(t)x^*(t+\tau)dt$，其可以写成卷积形式：

设$u=t+\tau$。根据微分的性质，由于$\tau$为常数：$du=d(t+\tau)=dt$
回顾卷积：$(f*g)(t)=\int_{-\infty}^{\infty}f(\tau)g(t-\tau)d\tau$。将$u=t+\tau$代入原式：

$R_{x}(\tau)=\int_{-\infty}^{\infty}x(t)x^*(t+\tau)dt=\int_{-\infty}^{\infty}x(u-\tau)x^*(\tau)du$

因此自相关函数$R_x(\tau)=xx^$

根据傅里叶变换的性质，时域相卷等于频域相乘，因此：

$F\{R_x(\tau)\}=F\{[x*x^*](\tau)\}=X(f)\cdot X^*(f)=|X(f)|^2$

至此就证明了$F\{R_x(\tau)\}=\Psi_x(f)$

功率信号的自相关性

功率信号的自相关性定义为：

$R_x(\tau)=\lim_{T\rightarrow\infty}\frac{1}{T}\int^{T/2}_{-T/2}x(t)x^*(t+\tau)dt$

对于周期$T_0$的周期信号，其可以被限制在一个周期内计算：

$R_x(\tau)=\frac{1}{T_0}\int^{T_0/2}_{-T_0/2}x(t)x^*(t+\tau)dt$

它的性质与能量信号的性质类似：

$R_x(\tau)$是偶函数：$R_x(\tau)=R_x(-\tau)$
在$\tau=0$时，自相关性最大$R_x(\tau)\leq R_x(0)$
$R_x(0)$等于信号的功率
能量信号的自相关函数与其功率谱密度是傅里叶变换对$R_x(\tau) \leftrightarrow S_x(f)$，$F\{R_x(\tau)\}=S_x(f)$

一个例子：自相关性的用处

考虑有一个方波信号，如下图(1.a)所示，对其计算自相关性，将会得到一个三角波，如下图(1.b)。此时有一个噪声信号，它的时域图像和自相关性如下图（2.a）和(2.b)。将噪声信号叠加到原始信号上如下图(3.a)，可以看到时域信号已经不成样子。而对其进行自相关性计算，如下图（3.b），可以看到是一个三角波。此时就可以发现收到的信号中应当是包含得有一个方波信号的。

随机变量

Recall：随机过程基础

随机变量（Random Variable）：随机变量是一个函数，它将样本空间$\Omega$中每一个可能得结果映射为一个实数。就像是掷骰子的点数，它可能是1-6，这是样本空间；定义掷骰子这个事情为一个随机变量，那么这个随机变量的值就是掷的点数。随机变量的值并非固定的。

在本节课中，随机变量都使用大写字母表示；随机变量的某一特定结果值都使用小写字母表示。

概率分布函数（Cumulative Distribution Function, CDF）：表示随机变量$X$小于或等于某个值$x$的概率：$F(x)=P(X\leq x)$，概率分布函数是单调不减的。概率分布函数是概率密度函数的积分。概率分布函数有如下性质：

$0\leq F_X(x)\leq1$
$F_X(x_1)\leq F_X(x_2), x_1\leq x_2$
$F_X(-\infty)=0,\ \ F_X(\infty)=1$

概率密度函数（Probability Density Function, PDF）：通常使用$f(x)$或者$p(x)$来表示。它表示随机变量取值的概率分布情况，它就像是随机变量的值等于数轴上某一值的概率的“浓度”。或者说，它是概率分布函数的“斜率”，如果概率分布函数的斜率越大，则说明在随机变量落在数轴的这一点的概率越大，落在这一点的概率“越浓”（但PDF数值上并不等于随机变量落在该点的概率，因为它对坐标轴x归一化了）。要求一个连续随机变量在某个区间[a,b]内分布的概率，可以用$\int^b_af(x)dx$得到。

统计均值（Statistical Averages - Expectation）：对于随机变量X，它的值由其概率密度函数$P_X(x)$决定。但是其在统计上有一个出现的“平均值”，这被成为“期望（Expectation）”。期望有以下规则：

$E(aX+b)=aE(X)+b$
$E(X^n)=\int^{\infty}_{-\infty}x^np_X(x)dx$
对于以随机变量X做为参数的函数g，$E[g(X)]=\int^{\infty}_{-\infty}g(x)p_X(x)dx$

中心矩的定义为$E\{[X-E(x)]^n\}$，其中n为阶数。其是用来刻画一个随机变量相对于其均值的分布形状的度量。

方差（Variance）：方差$\sigma^2$提供了随机变量X离散度的度量，其是X的二阶中心矩。方差的计算公式为：$\sigma^2_X=\int^{\infty}_{-\infty}[x-E(X)]^np_X(x)dx$。方差的均方根$\sigma$为标准差（Standard Deviation）。

方差可以转化为期望的形式：
$\sigma^2_X=E(X^2)-E(X)^2$
证明如下：
$\sigma^2_X=E\{[X-E(X)]^2\}=E\{X^2+E(X)^2-2XE(X)\}$ $=E(X^2)+E(X)^2-2E(X)\cdot E(X)=E(X^2)-E(X)^2$

标准差与原始数据单位一致，便于理解。例如：如果平均身高是170cm，标准差是5cm，那我们知道大多数人身高在165–175cm之间。而方差是平方项，便于在公式中展开、求导、优化，虽直观性较差，但在理论建模、算法优化中非常有用。

常用概率模型

二项分布（Binomial Distribution）

假设一次实验有A或B两种结果，若A发生概率为$\varepsilon$，则B的概率为$1-\varepsilon$，二项分布为发生事件A的概率分布。二项分布常记作X~B$(m,\varepsilon)$，表示进行m此伯努利试验，事件A发生的概率为$\varepsilon$。二项分布是数字通信中常见的分布。

1. 二项分布P(N=n)的概率

假设一个随机变量N，它的值为{0,1，…,m}，则N=n的概率为：（其中$\binom{m}{n}$表示$\frac{m!}{n!(m-n)!}$）

$Pr(N = n) = \binom{m}{n} \varepsilon^n (1 - \varepsilon)^{m - n}$

2. 二项分布的概率密度函数

二项分布是离散的，其本来没有PDF，只有PMF（概率质量函数）。但是在数字系统中，为了能友好地对卷积、积分等等操作进行运算，在此使用单位冲击函数$\delta$来对其进行表示：

$p_N(y)=\sum^m_{k=0}Pr(N=k)\delta(y-k)=\sum^m_{k=0}\binom{m}{k} \varepsilon^k (1 - \varepsilon)^{m - k}\delta(y-k)$

这个式子就像是把逐个PMF叠加起来了，如下图：

3. 二项分布的概率分布函数

概率分布函数是$p_N(y)$的求和：

$F_N(y)=Pr(N\leq y)=\sum_{k=0}^{[y]}\binom{m}{k}\varepsilon^k(1-\varepsilon)^{m-k}$

4. 二项分布的方差和期望

$E(N)=m\varepsilon$ $\sigma^2=m\varepsilon(1-\varepsilon)$

二项分布期望推导如下：

$E(N)=\sum_{k=0}^{m}k\cdot Pr(N=k)=\sum_{k=0}^{m}k\cdot\binom{m}{k} \varepsilon^k (1 - \varepsilon)^{m - k}$

把$k=0$这一项单独计算：$0\cdot\binom{m}{0} \varepsilon^0 (1 - \varepsilon)^{m - 0}=0$，因此可以直接从$k=1$开始计算。再因为$k\binom{m}{k}=m\binom{m-1}{k-1}$，将其替换掉，得到下式：

$= \sum_{k=1}^{m}m\cdot\binom{m-1}{k-1} \varepsilon^k (1 - \varepsilon)^{m - k}$

由于$\varepsilon^k=\varepsilon\cdot\varepsilon^{k-1}$，可以进一步化成下式：

$= \sum_{k=1}^{m}m\cdot\binom{m-1}{k-1} \varepsilon\cdot\varepsilon^{k-1} (1 - \varepsilon)^{m - k}=m\varepsilon\sum_{k=1}^{m}\binom{m-1}{k-1}\varepsilon^{k-1} (1 - \varepsilon)^{m - k}$

令$j=k-1,k=j+1$，代入得到：

$=m\varepsilon\sum_{j=0}^{m-1}\binom{m-1}{j}\varepsilon^j(1-\varepsilon)^{m-1-j}$

根据二项式定理：$\sum_{j=0}^{m-1}\binom{m-1}{j}\varepsilon^j(1-\varepsilon)^{m-1-j}=(\varepsilon+1-\varepsilon)^{m-1}=1$，因此：

$E(N)=m\varepsilon\cdot 1=m\varepsilon$

关于$k\binom{m}{k}=m\binom{m-1}{k-1}$这一步，是这样来的：

$k\binom{m}{k}=k\cdot \frac{m!}{k!(m-k)!}$ $m\binom{m-1}{k-1}=m\cdot\frac{(m-1)!}{(k-1)!((m-1)-(k-1))!}=\frac{n\cdot(n-1)!}{(k-1)!(m-k)!}$ $=k\cdot \frac{n\cdot(n-1)!}{k(k-1)!(m-k)!}=k\cdot \frac{m!}{k!(m-k)!}=k\binom{m}{k}$

因此$k\binom{m}{k}=m\binom{m-1}{k-1}$

二项分布方差推导如下：

$E(N^2)=E[N(N-1)+N]=E[N(N-1)]+E(N)$ $E[N(N-1)] = \sum_{k=0}^{m} k(k-1) \cdot \frac{m!}{k!(m-k)!} \varepsilon^k (1-\varepsilon)^{m-k}$

因为$k=0$和$k=1$均会产生0，因此可以从$k=2$开始计算

$= \sum_{k=2}^{m} k(k-1) \cdot \frac{m!}{k!(m-k)!} \varepsilon^k (1-\varepsilon)^{m-k}$ $= m(m-1)\varepsilon^2 \sum_{k=2}^{m} \frac{(m-2)!}{(k-2)! \left[(m-2)-(k-2)\right]!} \varepsilon^{k-2} (1-\varepsilon)^{\left[(m-2)-(k-2)\right]}$

令$i=k-2$，同期望的推导一样用二项式定理将求和化简为1，则有：

$E[N(N-1)]=m(m-1)\varepsilon^2$

则

$E(N^2)=E[N(N-1)]+E(N)=m(m-1)\varepsilon^2+m\varepsilon=m^2\varepsilon^2-m\varepsilon^2+m\varepsilon$

因为$Var[N]=E(N^2)-E(n)^2$，因此：

$\sigma^2=m^2\varepsilon^2-m\varepsilon^2+m\varepsilon-m^2\varepsilon^2=m\varepsilon-m\varepsilon^2=m\varepsilon(1-\varepsilon)$

均匀分布(Uniform Distribution)

1.均匀分布的概率密度函数

均匀分布代表连续的随机变量X在[a,b]内概率密度均匀地分布其中。因此：

$p_X(x) = \begin{cases} {1}/({b - a}) & a \leq x \leq b \\ 0 & \text{otherwise} \end{cases}$

2. 均匀分布的概率分布函数

当$a\leq x\leq b$时：

$F_X(x)=P(X\leq x)=\int_{a}^{x}\frac{1}{b-a}dt=\frac{1}{b-a}(x-a)$

另当$xb$时，$F(x)=1$

3. 均匀分布的期望和方差

$E(X)=(b+a)/2$ $\sigma^2=(b-a)^2/12$

均匀分布期望推导如下：

$E(X)=\int_a^bx\cdot \frac{1}{b-a}dx=\frac{1}{b-a}\int_a^bxdx=\frac{1}{b-a}\cdot\frac{b^2-a^2}{2}=\frac{b+a}{2}$

均匀分布方差推导如下：

$E(X^2)=\frac{1}{b-a}\int_a^bx^2dx=\frac{1}{b-a}\cdot\frac{b^3-a^3}{3}$ $\sigma^2=E(X^2)-E(X)^2=\frac{1}{b-a}\cdot\frac{b^3-a^3}{3}-\frac{(a+b)^2}{4}=\frac{(b-a)^2}{12}$

高斯分布（Gaussian Distribution）

1.高斯分布的概率密度函数

$p_X(x)=\frac{1}{\sqrt{2\pi}\sigma_X}e^{-(x-\mu)^2/2\sigma_X^2}$

其中$\mu$为高斯分布的均值，控制PDF的钟型中心左右平移；$\sigma_X$为方差。控制钟型曲线突出的高度。

2. 高斯分布的概率分布函数

直接对高斯分布的$p_X$进行积分，$\int_{-\infty}^x\frac{1}{\sqrt{2\pi}\sigma_X}e^{-(x-\mu)^2/2\sigma_X^2}$是没有解析解的。在数理统计中一般使用误差函数$erf$来表示：$F(x)=\frac{1}{2}\bigg[1+erf\bigg(\frac{x-\mu}{\sqrt2\sigma}\bigg)\bigg]$。其中$erf$的定义为：$erf(x)=\frac{2}{\sqrt\pi}\int_0^xe^{-t}dt$。

然而在通信系统中，Q函数是更广为使用的（Q函数又称右尾函数）。$Q(x)$ 表示标准正态概率密度函数（$\mu=0$，$\sigma=1$）曲线在 (x = x_0) 右侧的面积。

$Q(x)=\int_x^{\infty}\frac{1}{2\pi}e^{-\frac{t^2}{2}}dt$ $F(x)=1-Q\bigg(\frac{x-\mu}{\sigma}\bigg)$

Q函数的图像如下图，满足：$Q(-x)=1-Q(x)$，$Q(0)=0.5$，$Q(-\infty)=1$，$Q(\infty)=0$

Q函数的值通常通过查表获得。

$Q(x)=\frac{1}{2}[1−erf(\frac{x}{\sqrt{2}})]$

在通信系统中，Q 函数常用于计算误码率，Q 函数值越小，说明误码率越低，信号传输的可靠性越高

3.高斯分布的n阶中心距和原点矩

中心距$E[(X-\mu)^n]=\mu_n$有：

$\mu_n=\begin{cases} 1 \cdot 3 \cdots (n - 1)\sigma^{n} & n \text{ even} \\ 0 & n \text{ odd} \end{cases}$

原点矩$E[X^n]$有：

$\mathrm{E}\left[X^{n}\right]=\sum_{i=0}^{n}\binom{n}{i} \mu^{i} \mu_{n-i}$

其中$\mu$为当前随机变量X的均值；$\mu_{n-i}$为第$n-i$阶中心距。

4.高斯分布的中心极限定理

中心极限定理（Central Limit Theorem）：当一组独立同分布的随机变量数量足够大时，其平均值的分布将趋近于正态分布（高斯分布），无论原始变量的分布是什么。

中心极限定理可以用骰子的例子来形象地理解。如果手上只有一个骰子，那么它的结果应该是均匀分布的，因为掷到每一面概率相等。但假如手上有2个骰子，将他们的结果加在一起，掷到6，7的概率会增加到最高。因为他们可能是3+3=6，可能是4+2=6，可能是5+1=6…。同时掷到2或12的概率将会变成最低，因为只能是1+1和6+6能得到这两个结果。这样就形成了中间高两端低的PDF，而非原来的均匀分布。当手上的骰子更多时，他们的结果将会越趋近于高斯分布。

在系统分析中，若噪声的统计特性不是高斯分布，则对噪声的处理将变得极其困难。因此，即使实际噪声并不服从高斯分布，为了获得一些有用的分析结果，通常也需要将噪声近似为高斯分布。

(现实中的噪声可能是脉冲噪声、均匀分布、甚至是非线性干扰。但这些分布往往难以建模或求解，尤其在接收机设计、误码率分析、信道容量估算等方面。即使真实噪声不是高斯，只要其统计特性接近高斯（如均值为零、方差有限），我们仍可以用高斯模型进行近似分析。这种近似能带来可计算性和理论上的清晰性，使我们能推导出误码率公式、设计滤波器、评估系统性能等。)

在工程设计中，例如三个电阻串联的情况。纵然可能不知道每个电阻的误差分布，但是他们加起来的$R=R_1+R_2+R_3$将符合高斯分布。

随机变量PDF的转换

假设有随机变量Y和随机变量X，Y与X之间有关系$Y=g(X)$。当 $g$ 是单调函数（即严格递增或递减），且可微，且其反函数 $x=g^{-1}(y)$ 存在时，若X的PDF是$f_X(x)$，则Y的PDF有：

$f_Y(y)=f_X(x)\bigg|\frac{dx}{dy}\bigg|$

其中$f_X(x)$中的$x$需要以$g^{-1}(Y)$来表示，以消除$f_Y(y)$中含$x$

举个例子：设$Y=g(X)=X^3$，已知X的PDF为$f_X(x)=e^{-x}u(x)$，求Y的PDF

$dx/dy$是对$g(X)$的反函数求导，即对$x=y^{1/3}$求导$dx/dy=\frac{1}{3}y^{-2/3}$

由于$X^3$是单增的，因此不需要绝对值，$f_Y(y)=e^{-y^{1/3}}u(y^{1/3})\cdot\frac{1}{3}y^{-2/3}$。由于其中$u$为单位阶跃函数，$u(y^{1/3})$与$u(y)$相等，因此使用$u(y)$代替。最终得到：

$f_Y(y)=\frac{e^{-y^{1/3}}}{3}y^{-2/3}u(y)$

随机过程（Random Process）

Recall：随机过程基础

随机过程：随机过程是随机变量随时间变化的集合，其被表示为$X(\omega,t)$或$X_\omega(t)$。其中$\omega$是随机变量在样本空间$\Omega$中的随机值，$t$是时间。通常，省略$\omega$使用$X(t)$来表示一个随机过程。当$\omega$为确定的值时，$X(t)$为关于时间波动的函数。当$t$为确定的值时，$X(t)$为一个随机变量。

联合概率密度函数(joint PDF)：用来描述两个或多个连续型随机变量在某个区域内同时取值的概率密度。以常见的$f_{X,Y}(x,y)$这个二维联合概率密度函数为例，可以想象一个三维坐标，Z是当前概率密度的值，即$f_{X,Y}(x,y)$；x-z表示是当Y一定时，x的概率密度图像；y-z是当X一定时，y的概率密度图像。

随机过程的工程常用统计特征：要完整描述一个随机过程 $X(t)$，理论上需要知道它在多个时间点上的联合概率密度函数。这个联合 PDF 描述了随机过程在所有时刻的联合行为，比如$ P(X(t1),X(t2),…,X(tn))$。但这个函数通常非常复杂，尤其当时间是连续的，意味着要处理无限多个随机变量的联合分布。因此其在工程中不可行。在工程中，通常使用部分统计特征来近似描述随机过程，他们有：

期望：$\mu_X(t)=E[X(t)]$，用于描述过程在每个时刻的平均值。
自相关函数：$R_X(t_1,t_2)=E[X(t_1)X(t_2)]$用于描述不同时间点之间的相关性。

平稳随机过程（Stationary Random Process）

严平稳和宽平稳

如果随机过程$X(t)$是平稳的，则其不会受起始时间比那换的影响。及$X(t)$和$X(t+\tau)$具有同样的统计特性。平稳随机过程可以分为严平稳随机过程和宽平稳随机过程。

严平稳随机过程（strict-sense stationary）：联合分布在任意时间平移下保持不变，则称该过程是严格平稳的，即，所有阶的统计特性（均值、方差、协方差、PDF、联合分布等）都不随时间变化。严平稳随机过程在实际应用中很难验证。
宽平稳随机过程（wide-sense stationary）：宽平稳随机过程只关注一阶和二阶统计量不随时间变化，适用于大多数通信系统分析。

要判断随机过程是否是宽平稳随机过程，需要通过期望和自相关函数：

当该随机过程的期望是一个常数$E[X(t)]=constant$
当其自相关函数只与时间差有关$R_X(t_1,t_2)=R_X(t_1-t_2)$.

随机过程的时间平均（Time Averaging）和遍历性（Ergodicity）

对于随机过程$X(t)$，通过集合平均（ensemble averaging）来计算随机过程的均值和自相关函数，通常是非常困难且繁琐的。但幸运的是，当一个随机过程属于一种特殊类别，称为遍历过程（ergodic process）时，它的时间平均和集合平均是相同的。因此，可以通过单一样本函数来计算时间平均。

集合平均是指：在某个固定时刻，比如 $t = 1$ 秒，观察很多次实验中随机过程的取值，然后对这些值求平均。这样可以估计该时刻的均值或相关性。但现实中要做很多次实验、收集大量数据，成本高、操作复杂。

换句话说：遍历性意味着你不需要多个样本函数，只要观察一个样本函数在足够长的时间内的行为，就能代表整个过程的统计特性。这在通信系统中非常有用，因为我们往往只能观测到一个信号轨迹。

一个随机过程要具有遍历性，必须是严平稳的

常见噪声及其统计特性

热噪声（Thermal Noise）

热噪声（又称约翰逊-奈奎斯特噪声）是由所有耗能元件中电子的随机运动引起的。热噪声是无法消除的。热噪声可以被描述为一个均值为0($\mu=0$)的高斯随机过程 $n(t)$，其概率密度函数（PDF）为

$p(n)=\frac{1}{\sigma\sqrt{2\pi}}\exp(-\frac{n^2}{2\sigma^2})$

其中 $\sigma^2$ 是噪声的方差，决定其强度。

热噪声是一种白噪声

白噪声（White Noise）

白噪声是指在频谱内均匀分布的噪声。它的名字来源于“白光”——白光包含所有频率的光波，类似地，白噪声在所有频率上都有相等的能量密度。白噪声的来源通常有热噪声、量化误差等。

白噪声在时域均值为0。

若其噪声强度为$N_0$，功率谱密度为$G_n(f)=N_0/2 (watts/Hz)$。
由功率谱密度与$R(\tau)$互为变换对可知，$R(\tau)$是原点上的单位冲激函数$R(\tau)=\frac{N_0}{2}\delta(\tau)$

事实上，没有任何一种噪声真正能在频谱上无限地分布，因此没有真真意义上的“白噪声”。然而，只要噪声带宽远大于系统带宽，就可以将其视作白噪声。这极大地简化了系统分析。

系统总览

在已经学习完本节的知识后，再回过头来看一个LTI系统模型：

其中值得注意的是$|H(f)|^2$，这是系统的功率增益，将PSD与功率增益相乘，即可得到系统输出信号的PSD。

补充：相关性

卷积（跟相关性没什么关系的东西）

卷积的数学表达式是：

$f(t)\otimes g(t)=\int_{-\infty}^{\infty}f(t)g(\tau-t)dt$

不难发现，卷积和相关性计算的数学表达式其实有点像，只不过是$g(t+\tau)$变成了$g(\tau-t)$，这相当于将先将$g$关于$x=0$翻转（对称），然后再向左平移时间$\tau$。但是实际他们的物理意义完全不同。

卷积求的在$\tau$时刻，之前的输入+当前输入对系统输出的影响。

引入

数字通信的优劣

数字通信系统

性能指标

数字信号的类型

通信的带宽标准

功率谱密度与能量谱密度

Recall：傅里叶级数/傅里叶变换

定义式

傅里叶变换的性质

引入：傅里叶变换的结果

能量谱密度（Energy Spectrum Density）

连接时域与频域的能量：帕塞瓦尔定理

能量谱密度的定义

功率谱密度

引入：不收敛的积分——周期信号的能量谱

功率谱密度的定义

功率与能量信号的自相关计算

能量信号的自相关性

功率信号的自相关性

一个例子：自相关性的用处

随机变量

Recall：随机过程基础

常用概率模型

二项分布（Binomial Distribution）

均匀分布(Uniform Distribution)

高斯分布（Gaussian Distribution）

随机变量PDF的转换

随机过程（Random Process）

Recall：随机过程基础

平稳随机过程（Stationary Random Process）

严平稳和宽平稳

随机过程的时间平均（Time Averaging）和遍历性（Ergodicity）

常见噪声及其统计特性

热噪声（Thermal Noise）

白噪声（White Noise）

系统总览

补充：相关性

相关性在求什么？

相关函数有什么用？

卷积（跟相关性没什么关系的东西）