智能系统设计

引入GA简介遗传算法（Geneic Algorithm, GA）是基于“物竞天择，适者生存”而提出的。它首先确定参数和优化目标，然后经历以下步骤来模拟这些参数的自然演化过程： 随机地生成一些答案，称之为种群（Populaition） 对他们进行评价 选择较好的，作为parents（父母） 使得父母重新组合（交叉） 使得他们的孩子产生一些变异，随机地选择一些参数替代原有 对他们产生的孩子进行评价 剔除掉太差的，重复步骤3-7 直到满足优化目标，“物竞天择，适者生存”的优化结束。 这整个步骤可以被简略概括为：选种-交叉-变异 基于GA的工作原理，以下方面都可以影响GA结果： Representation：对个体的表示，即，参数的选择（比如一个人，得有胳膊，有腿，有眼睛等等） Evaluation function (fitness function)：评价函数，用于“天择” Population: 种群 Parent Selection Machanism: 父母选择机制 Variation operators: 变异算子（包含交叉(crossover)和变异(mutation)） ...

引入在前面的ANN中，机器可以自己通过学习来找到“机器认为”的答案。 但是在现实世界中也有一群专家，他们解决问题靠的是“已有知识”，他们先学习并储备了一些知识库，在遇到对应问题的时候就调用对应的知识库。 将这种解决问题的方式在计算机中进行描述和调用，就是所谓模糊系统（Fuzzy System）。 但是专家在判断是什么问题时，通常接受的是模糊的描述。例如这个人非常高，那么你大可能觉得这个人在一米八往上接近一米九。说这个天很热按你大可能觉得现在有30度往上。这些描述都是基于人类语言的模糊描述，指明的是大概率的一个区间。同样地，在解决问题上，专家也是靠着不精确的输入，去猜测套用什么方法解决的可能性最大，然后去尝试。 但是这样就出现问题了，计算机使用的是布尔逻辑，即非黑即白的逻辑，它可以以180为一个界限，认为180以上的人算作高，180以下的人算作矮，但是如果有一个人有179,它其实也是算高的，但是会被传统的布尔逻辑和160判到一桌上去。 模糊逻辑，模糊集和隶属度模糊系统就是为了来解决这个问题的，它提出了“模糊逻辑（fuzzy logic）”的概念，在模糊逻辑下，事情不是非黑即白，而是具有一 ...

人类视觉系统 在自然界中，可见光只在全谱段中的非常小一段。但是图像处理是针对于全光谱而言的。 人眼系统感光细胞 人眼系统如上图所示，眼中视网膜上有视椎细胞（Cones）和视杆细胞（Rods）两种。视椎细胞对颜色和黑暗（Dark）敏感；视杆细胞对明光（Brightnes）敏感。 从上图可以看到，视椎细胞在中心分布较多，这就是为什么人眼在看东西时希望把东西放在眼中心，因为该处视椎细胞更多，可以更好地感知物体。视杆细胞在整个视网膜上都有分布，这就是为什么余光可以感知到周围的东西。 这张图是Weber ratio，它说明人眼在低亮度条件下，需要更大的光强差异才能感知到差异（也就是上图左边的$\Delta I$）；但在亮光环境下，只需要很小的亮度差异就可以感知到（右侧的$\Delta I$） 马赫带效应（Mach band effect） 人眼在观察两块亮度不同的区域时，边界处亮度对比加强，使轮廓表现得特别明显。如上图所示，当你观察上图时，会感觉每一个灰度小格子的左侧都比右侧亮。 相机成像 相机成像可以被看成两个过程：sampling 和 quantization。sampling过程发生在连 ...

引入图像的冗余信息编码冗余（encoding redundancy）:下图这个图像中，只有4种颜色，如果采用8bit色深编码，则会有252种值从未被使用。 空间冗余（spatial redundancy）：下图每一行都是一样的像素点，如果每一个像素都独立记录值，则会浪费很多空间。如果能记录256个像素的一条线，再记录这条线重复256次，那么将会剩下很多的空间。 无关信息（irrelevant information）：下图的灰度值差异很小很小，肉眼不可查（下图左）。除非使用直方图均衡等算法（下图右），否则图像信息不可见。因此其为可压缩信息。 主流音视频压缩格式 图像编码的总体流程图像存储在设备上，可以总地分为如下几个步骤： 映射器（Mapper）：将原图像的$f(x,…)$变换为减少空间和时间冗余的格式，这一操作是可逆的，但并不会减少数据量。在后续介绍JPEG压缩时会介绍DCT变换。 量化器（Quantizer）：上一步中，mapper将图像转化到变换域，量化就是将变换域中的数根据存储的比特要求量化成特定值。这一过程会损失信息，如果是无损压缩，则需要舍弃这一步。 符号编码 ...

当时忙期末ANN部分笔记未整理，网站笔记不全，建议参考mirror。其余部分笔记完整。 引入Artificial Neural Network (ANN)是人工智能学科的分支，其由人类大脑结构仿生而来。其具有自我学习，适应新环境，从已有经验学习解决新问题的能力。 人类神经元与仿生神经元 人类神经元上，一个细胞可以通过轴突（Axon）发送信号给另一个细胞，另一个细胞使用树突(Dendrites) 接收并汇聚所有收到的信号后，进行处理。人类大脑中约有100亿个神经元，每个神经元有约1万个突触与其他神经元相连。（具体数据与解刨学有关，不一定准确）。 在人脑系统中，采用低频（约100Hz）并行计算的策略，这与高频但是核心数少的现代计算机有所差异。 人工神经元与人类神经元类似，它接受多个输入，且针对每个输入有一个权重值，将输入加权求和后，放入“激活函数”中，计算本神经元的输出，将其输出给下一神经元。 y_i=f(\sum_jw_{ij}y_j)其中这个激活函数是非线性的。为什么需要这个“激活函数”呢？因为早在信号与系统就学过，线性系统无法通过加减乘除变为非线性系统，因此一旦需要输出结果具有 ...

ANNANN停止的标准 特定次数的迭代(iteration)之后 输出的误差低于阈值（threshold） 独立验证集（separate validation set）上的错误小于某些标准(criteria)。 ANN各项参数的影响学习率：过小，迭代（iteration）过多；过大，可能错过最优解，在损失函数（lossfunction）最低点震荡（oscillate） 动量（momentum）：过小，陷入局部最优解(local minima)；过大，造成下降方向与梯度方向差异较大，产生震荡。 *附：动量的作用： 1.使得训练时穿过（rolling through）局部最优（local minima）* ​ 2.加大梯度不变时的步长（step size），提升收敛速率 迭代次数（learning iterations）：过小，欠拟合，无法捕捉数据集的通用特征（characteristic）。过多，浪费计算资源，导致过拟合(overfitting)。 *附：防止过拟合的方法：1. 使用验证数据集（validation data set），当误差增加时，则 ...

灰度变换-像素处理像素处理是最简单、理解最直观的。是对每个像素点的值直接进行变换。像素处理可以只对图像的一部分执行。 在像素处理中，变换函数被记为T，某个像素点变换前的值为r，后的值为S，$S=T(r)$。 熟悉PS的小伙伴会知道PS里面有个曲线，这个曲线其实就是变换函数的函数图像。当曲线是下图这样时，会增强对比度。 如果拖着曲线的中点朝左上或者右下移动（变成指数函数），则可以调整整体的曝光值（$s=r^\gamma$）。这里的指数参数$\gamma$就是曝光值。 如果将曲线两头反向，则图片就会反相。 当然，你也可以只对一部分亮度的图像进行增强，其变换函数图像如下 灰度变换-直方图处理直方图用于统计一张图片中各值的像素点数量。其横轴为值，纵轴为数量。可以通过直方图看出来图像的整体亮度，直方图偏高代表图像中高亮度像素较多，偏低代表低亮度像素较多。 直方图均衡从上面可以知道，直方图偏高或者偏低都有问题，能让它均匀分布才能创造不死黑，不过曝，对比度正常的图像，如下图。因此需要进行直方图均衡。 归一化的直方图对于一个分辨率 ...