多层局部感知卷积神经网络的高光谱图像分类

针对高光谱图像分类中光谱特征的高度非线性问题,提出一种基于多层感知器卷积层和批标准化层的改进卷积神经网络模型,提高模型在光谱域处理的非线性特征提取能力. 该算法通过构建七层网络结构,实现多层局部感知结构,逐个像素对光谱信息开展分析,区分不同目标物的光谱信息,将全光谱段集合作为输入,舍去空间信息,利用动量梯度下降训练算法对多层局部感知卷积神经网络训练,实现对不同目标物体光谱特征的提取与分类. 实验中,采用两组高光谱遥感影像进行对比分析,以Pavia University数据集为例,在3 600个训练样本情况下,测试集为1 800个样本,本文方法正确率为90.23%,LeNet-5正确率为87.94%,Linear-SVM正确率为90.00%;在21 000个训练样本情况下,测试集为全部样本,本文方法正确率为97.23%,LeNet-5正确率为96.64%,Linear-SVM正确率为92.40%. 实验结果表明,在训练集较小的情况下,本文方法优于传统神经网络,能有效提取数据特征,并且在精度上和计算成本上略优于在小样本分类中具有高效和鲁棒性良好的SVM算法. 在大规模训练集时,本文方法表现出良好的学习能力,在分类精度上优于LeNet-5. 本文提出的多层局部感知网络结构增强了对非线性特征的学习能力,无论训练集规模大小,都比传统的SVM和一般的深度学习网络更能有效的利用高光谱图像中的逐像素点的光谱域信息,能有效提高分类精度.

结合卷积神经网络与多层感知机的渐进式多阶段图像去噪算法

现有基于深度学习的图像去噪方法中,在网络架构层面存在单阶段网络特征表达能力不足而难以在复杂场景下重构清晰图像,以及多阶段网络内部特征连接不紧密而容易丢失原始图像细节的问题。在基础构建块层面,存在卷积层难以处理较大噪声级别下的跨层次特征,以及全连接层难以捕获图像邻域空间细节的问题。为解决以上问题,从两方面提出解决方法:一方面,在架构层面提出新颖的跨阶段门控特征融合,从而更好地连接一阶段网络的浅层特征与二阶段的深层特征,促进信息流的交互并使得去噪网络内部关联更为紧密,同时避免丢失原始像素细节;另一方面,在基础构建块层面提出结合卷积神经网络和多层感知机特性的双轴特征偏移块,作用于低分辨率多通道数的特征图,从而缓解卷积网络在复杂噪声场景下难以捕获跨层次特征依赖关系的问题,对于高分辨率、少通道数的特征图,使用卷积网络以充分提取噪声图像的空间邻域依赖关系。大量定量与定性实验表明,所提算法在真实世界图像去噪和高斯噪声去除任务中,都以较小的参数量和计算代价取得了最佳的PSNR和SSIM。

融合卷积神经网络与多层感知器的鞍部识别方法

针对传统鞍部识别方法中特征选择困难及未考虑鞍部与其它地形要素的共生关系等问题,利用深度卷积神经网络的特征自学习性能,提出了一种卷积神经网络与多层感知器相结合的混合模型实现DEM数据中的鞍部要素识别.首先设计改进的卷积神经网络模型自动提取鞍部的深度特征,经过Softmax分类器得到候选鞍部点,再运用多层感知器对候选鞍部点的位置进行精细回归,标识出最终的鞍部要素坐标.通过自建的鞍部样本集SADDLE-100训练网络模型,并在三种不同的山地样区进行实验,实验结果表明该方法比其它鞍部识别方法的漏提率减少约50%,正确识别率提高6.7%,在一定程度上避免了人工选择特征造成的鞍部语义信息缺失现象,为DEM中的点状要素识别提供了新的技术途径.

基于卷积神经网络的钢轨螺孔裂纹识别算法研究

钢轨由于长时间负载会出现各种伤损,对铁路运输安全造成威胁。螺孔裂纹是钢轨接头处的主要伤损,如果不及时发现很容易造成安全事故。已有钢轨伤损检测方法是使用超声波检测,人工回放检测数据进行伤损判别,该方法效率较低。基于机器学习的伤损判别方法提高了钢轨伤损判别效率,但准确率不高。因此,针对该类钢轨伤损,利用卷积神经网络(CNN)与多层感知机(MLP)结合的模型,将螺孔超声波B扫图像作为识别对象,识别钢轨螺孔是否存在裂纹,提升螺孔裂纹的判别效率和准确率。经过数据集训练,在测试集上该模型的识别准确率达96.25%,在测试数据集以外的图像上进行应用,取得了很好的识别效果,证明该模型在钢轨螺孔裂纹识别问题上的可行性和模型的实用性。

基于ResNet卷积神经网络的机场能见度预测

机场能见度是飞机安全运行的重要保障。本文选用ResNet卷积神经网络提取机场视频数据的特征向量,并添加多层感知器(MLP)分类提取的特征向量,充分挖掘视频中的时空信息,以增强能见度的分类效果。结果表明,该模型对机场能见度的预测精度达到80.3%,可用于处理类似机场能见度预测的情景。

基于残差卷积神经网络的开关柜局部放电模式识别

传统的开关柜局部放电模式识别方法缺乏一定的泛化性能且识别准确率低,难以在实际工程中应用。提出了一种基于残差卷积神经网络的开关柜局部放电模式识别方法,通过在网络中加入残差模块以解决随着网络层数加深导致准确度饱和后出现退化的问题,并综合利用开关柜局部放电数据的浅层与深层特征融合学习,实现模式识别。通过开关柜不同绝缘缺陷类别的局部放电模拟实验与配电站现场检测,构建了开关柜局部放电数据样本库,并进行了实验分析。实验结果表明:所提方法的识别正确率达96.06%,相比传统识别方法至少提高了20.22%,且随着训练集样本数量的增加,识别率有更大提升。综合使用特征层融合模块和残差模块,显著提升了模型的泛化性能,更适用于实际工程。

基于卷积神经网络的手势识别初探

提出一种用于手势识别的新算法,使用卷积神经网络来进行手势的识别.该算法避免了手势复杂的前期预处理,可以直接输入原始的手势图像.卷积神经网络具有局部感知区域、层次结构化、特征抽取和分类过程等特点,在图像识别领域获得广泛的应用.试验结果表明,该方法能识别多种手势,精度较高且复杂度较小,具有很好的鲁棒性,也克服传统算法的诸多固有缺点.

基于卷积神经网络的孤立词语音识别

为有效减少模型训练参数和训练时间,提高孤立词语音识别正确率,提出将卷积神经网络应用到语音识别中的方法。该网络中的局部感知野、权值共享与池化等特殊结构,能够在保证识别性能的前提下,极大地压缩训练模型的尺寸,深入分析卷积层卷积器个数与尺寸和池化层池化参数对识别结果的影响情况;经过动态时间规整网络,将发音单元不同长度帧的特征参数规整到同一帧数,输入到网络中进行语音识别。在自建库上的实验结果表明,相比传统的深度神经网络,卷积神经网络的语音识别正确率有12%的提升,是一种优良的语音识别模型。

基于神经网络的降落伞落点散布快速生成方法

为了解决使用蒙特卡洛法计算降落伞落点散布慢的问题,提出了组合使用降落伞运动模型和神经网络产生落点散布,并利用硬件加速神经网络推理过程的方法。降落伞运动模型用于产生散布中心,神经网络用于产生相对于散布中心的落点。验证了两种不同结构的神经网络:多层感知器和转置卷积神经网络。发现降落伞运动模型结合多层感知器计算得到的降落伞落点散布和使用蒙特卡洛法计算得到的落点散布最为接近。同时,降落伞运动模型和多层感知器或者转置卷积神经网络组合使用都可以达到实时计算降落伞落点散布的效果。因此,提出的方法可以较好地应用于高时效性场景下的降落伞落点散布计算。

全卷积神经网络的字符级文本分类方法

传统卷积神经网络文本分类模型全连接层参数过多易引发过拟合问题,为此,将图像分割中的全卷积思想首次引入字符级文本分类任务中,不仅避免了过拟合问题,而且通过卷积层替换全连接层减少了参数数量,从而加快了模型收敛速度。文本分类问题中单词、短语等层面的处理方式存在获取文本信息不充分的问题。使用字符级全卷积神经网络进行文本分类,充分获取文本信息,并在卷积池化层后添加局部响应归一化层(LRN),提高了模型的总体性能。通过使用多指标在测试数据集中进行模型评估,充分验证了该模型的有效性,与其他模型相比,提出的模型在二分类与多分类任务中具有更好的分类性能。

针对图像隐写分析的卷积神经网络结构改进

针对目前图像隐写分析准确率较低的问题,构建一个基于多层感知卷积层的卷积神经网络隐写分析模型。使用多层感知卷积层代替传统的线性卷积层,提高模型的非线性能力,提取载体/隐写图像更抽象的特征。采用全局平均池化层代替全连接层,以减少网络的参数并提高模型的训练效率。实验结果表明,相比传统的图像隐写分析算法和现有的卷积神经网络隐写分析模型,该模型能够有效提高隐写分析的检测准确率,对S-UNIWARD嵌入算法的隐写分析检测准确率达到90. 87%。

比例融合与多层规模感知的人群计数方法

针对密集场景下人群图像拍摄视角或距离多变造成的多尺度特征获取不足、融合不佳和全局特征利用不充分等问题,提出一种比例融合与多层规模感知的人群计数网络。首先采用骨干网络VGG16提取人群密度初始特征;其次,设计多层规模感知模块,获得人群多尺度信息的丰富表达;再次,提出比例融合策略,根据卷积层捕获的特征权重重构多尺度信息,提取显著性人群特征;最后,采用卷积回归策略进行密度图的回归。同时,提出一种局部一致性损失函数,通过区域化密度图的方式增强生成密度图与真实密度图的相似度,提高计数性能。在多个人群数据集上的试验结果表明,所提模型优于近年人群计数的先进方法,且在车辆计数上有较好推广性。

基于改进的卷积神经网络的肺结节良恶性分类

为提高肺结节良恶性分类的准确率,降低误诊率,提出一种基于改进的卷积神经网络的肺结节良恶性分类方法。采用多层感知器卷积层来提取肺结节特征;利用卷积层代替全连接层,减少网络参数,将提取到的特征输入至分类器进行分类;从网络深度、参数优化算法、学习率衰减策略、激活函数4个方面分析对分类效果的影响,构建改进的卷积神经网络模型。在LIDC-IDRI数据集上的实验结果表明,该模型的准确率、敏感性、特异性和AUC值分别为95.5%、0.96、0.95和0.96,该方法比传统卷积神经网络有更高的分类准确率和低误诊率,取得了较好的分类效果。

基于双向循环卷积神经网络的网络异常流量监测

由于对网络流量特征的提取结果存在偏差,导致对应的监测结果可靠性较低,为此,提出一种基于双向循环卷积神经网络的网络异常流量监测方法。在构建双向循环卷积神经网络阶段,通过感知器单元激活流量数据后,利用交叉熵代价函数对流量数据在神经网络各神经元之间的传递进行约束,并将卷积神经网络中的卷积层替换为循环卷积层,通过在卷积层的输出结果中添加空数据,实现对网络流量特征的循环迭代计算,将最终提取到的特征参量作出异常流量判断标准输出到池化层。当待监测的网络流量数据输入到循环卷积神经网络后,通过拟合其特征参量与池化层特征之间的关系,判断其是否存在异常,并根据时间标签计算网络异常流量的规模。测试结果表明,设计方法可以实现对异常流量的准确监测。

基于混合结构深度神经网络的HTTP恶意流量检测方法

针对HTTP恶意流量检测问题,提出了一种基于裁剪机制和统计关联的预处理方法,进行流量的统计信息关联及归一化处理。基于原始数据与经验特征工程相结合的思想提出了一种混合结构深度神经网络,结合了卷积神经网络与多层感知机,分别处理文本与统计信息。与传统机器学习算法(如SVM)相比,所提方法效果提升明显,F1值可达99.38%,且具有更低的时间代价。标注了一套由45万余条恶意流量和2000万余条非恶意流量组成的数据集,并依据模型设计了一套原型系统,精确率达到了98.1%～99.99%,召回率达到了97.2%～99.5%,应用在真实网络环境中效果优异。

基于可感知网络模型的多尺度特征图像重构研究

为重点解决深度重构模型多尺度特征表示不足和自适应性处理能力不强问题,本研究设计了压缩感知多尺度图像重构深度网络模型。以引入深度卷积神经网络模型提取图像特征为前提,利用空间金字塔池化提高多尺度特征描述能力,设计噪声滤波器强化噪声控制,改进非局部神经网络结构以提高模型的自适应性能。对比实验结果表明,本研究设计的图像深度重构模块,压缩编码后解码重构图像的方差、变异系数和信噪比控制良好;图像相位一致性特征和梯度特征质量评价较高;在采样率为50%~60%时,峰值信噪比值最高;初始图像和解码重构图像之间的相对范数l_(2)误差在0.16左右,峰值信噪比大于46dB,图像余弦相似度评价的余弦值为0.91左右、余弦夹角值为0.13°左右,特征相似性为0.80左右,结构相似比值为0.86左右,说明该模型提取的图像多尺度特征准确性和精细性较高,深度重构模块自适应性较强,误差控制准确,组成模块之间实现了高度融合。

基于MLP改进型深度神经网络学习资源推荐算法

针对在线学习过程中出现的知识过载及传统推荐算法中存在的数据稀疏和冷启动问题,提出了一种基于多层感知机(MLP)的改进型深度神经网络学习资源推荐算法。该算法利用多层感知机对非线性数据处理的优势,将学习者特征和学习资源特征进行向量相乘的预测方式转换为输入多层感知机的方式,改进了DN-CBR神经网络推荐模型。为验证模型的有效性,以爱课程在线学习平台数据为样本构建数据集,通过对比实验表明,在该数据集上,改进后模型相较于DN-CBR模型在归一化折损累积增益和命中率指标上分别提升了1.2%和3%,有效地提高了模型的推荐性能。

融合评分矩阵和评论文本的深度神经网络推荐模型

针对个性化推荐中用户评分矩阵数据集稀疏,用户和项目描述信息未充分利用的问题,提出融合评分矩阵和评论文本的深度神经网络推荐模型(deep neural network recommendation model,DeepRec)。首先将通过数据预处理得到的用户偏好特征和项目属性特征的文本集合分别输入到卷积神经网络进行训练,得到用户和项目的深层次非线性特征,同时将评分矩阵输入多层感知机得到用户偏好隐表示,并对两种模型提取的用户偏好隐表示进行融合;其次利用多层感知机建模用户和项目隐表示对用户进行个性化推荐;最后基于三组数据集以均方根误差为评估指标进行对比实验。结果表明DeepRec的预测误差更低,有效提高了推荐的精准度。

基于多层感知融合网络的图像去雾模型研究

针对雾天环境下智能视觉系统采集图像严重降质,基于卷积神经网络提出了一种多层感知融合网络(multi layer perceptual fusion network,MLPFN)用来重建清晰图像。MLPFN通过下采样成三条不同分辨率特征流,其中多尺度感知模块用于增大网络感知域,残差密集连接模块强化特征提取能力,特征融合模块将来自不同层次的特征映射以自适应权重方式融合,有效结合高低层特征。除此之外,模型在监督策略上采用平滑损失和感知损失作为联合损失函数,保证恢复的图像在视觉感官上与原始清晰图像接近。实验结果表明,与其他图像去雾方法相比,所提的MLPFN不管在主观还是客观图像质量评价指标上都表现优异,去雾效果显著。

基于多层感知卷积和通道加权的图像隐写检测

针对目前图像隐写检测模型中线性卷积层对高阶特征表达能力有限,以及各通道特征图没有区分的问题,该文构建了一个基于多层感知卷积和通道加权的卷积神经网络(CNN)隐写检测模型。该模型使用多层感知卷积(Mlpconv)代替传统的线性卷积,增强隐写检测模型对高阶特征的表达能力;同时引入通道加权模块,实现根据全局信息对每个卷积通道赋予不同的权重,增强有用特征并抑制无用特征,增强模型提取检测特征的质量。实验结果表明,该检测模型针对不同典型隐写算法及不同嵌入率,相比Xu-Net,Yedroudj-Net,Zhang-Net均有更高的检测准确率,与最优的Zhu-Net相比,准确率提高1.95%~6.15%。