带旋转与尺度估计的全卷积孪生网络目标跟踪算法

针对目标跟踪任务中,全卷积孪生网络(SiamFC)跟踪算法存在因目标的旋转、尺度变化而造成跟踪错误或跟踪结果不准确的问题,提出一种带旋转与尺度估计的SiamFC跟踪算法。该算法由定位模块与旋转、尺度估计模块两部分组成。首先在定位模块中,利用SiamFC算法获得跟踪位置,并结合旋转与尺度信息对该位置进行调整;其次在旋转、尺度估计模块中,鉴于图像的旋转和尺度变化在对数极坐标系下变成了平移运动,将目标搜索区域从笛卡儿坐标系变换到对数极坐标系下,由此便可利用相关滤波技术估计待跟踪目标的尺度和旋转角度;最终实现了一个能同步估计目标位置、旋转角度以及尺度变化的目标跟踪模型。在对比实验中,该算法在OTB2015数据集上的成功率与准确率分别达到57.7%和81.4%;在包含目标旋转和尺度变化的POT数据集上的成功率与准确率分别达到51.8%和53.3%。与SiamFC算法相比,所提算法的成功率和准确率分别提高了13.5个百分点和13.4个百分点。实验结果表明,所提算法能有效应对目标旋转与尺度变化带来的跟踪挑战。

基于多尺度细节的孪生卷积神经网络图像融合算法

图像融合将来自不同捕获条件或不同传感器的互补图像进行融合以提高图像的视觉质量。针对这一任务,本文提出一种改进的滚动引导滤波与神经网络相结合的多尺度融合算法。首先,使用孪生卷积神经网络学习图像特征,并以此获得包含源图像显著特征的权值映射图。随后,使用改进的滚动引导滤波对图像进行多尺度分解,结合信息熵使滚动引导滤波权重参数自适应化来实现多尺度自适应分解,并结合非线性映射增强图像细节信息。最后,采用局部能量与权值图相结合的自适应调整融合模式对多尺度图像进行融合。经实验对比,所提方法能够避免出现图像边缘圆晕效应,且能够更好地突出图像边缘、细节纹理特征。另外,与其他算法相比,本文所提出的算法在平均梯度、信息熵、视觉信息保真度以及空间频率等客观评价指标项上均取得了更优的性能表现。

引入感知模型的改进孪生卷积神经网络实现人脸识别算法研究

针对非限定性条件下人脸识别困难问题,设计了一种引入感知模型的改进孪生卷积神经网络结构(Inception Module Incorporated Siamese Convolutional Neural Networks,IMISCNN),在充分利用孪生结构有效减少外界干扰并避免过拟合等优点的基础上,为其增加感知模型实现更丰富特征的提取.为寻找最优学习率引入了循环学习率策略,加速模型收敛.在CASIA-webface和Extended Yale B标准人脸数据库上的仿真实验表明,所提IMISCNN算法提升了人脸识别精度.

孪生压缩激励全卷积网络的目标跟踪方法

为提升目标跟踪的准确性并保证其实时性,提出一种基于改进孪生全卷积网络的新方法——孪生压缩激励全卷积网络(siamese squeeze and excitation fully convolutional networks,Siam-SEFC).Siam-SEFC通过添加具有少量参数的压缩激励网络结构融合空间通道信息,为跟踪对象添加空间信息,并通过调整训练数据尺度进行尺度不定的数据增强,提取多尺度特征,有效提升目标跟踪的准确性.为提升多尺度训练速度,网络采用单一尺度预训练的权重进行初始化.与MDNet,SENet,DAT三种算法相比,Siam-SEFC在保证目标跟踪准确性的同时具有实时性;而与Siamese-FC相比,Siam-SEFC跟踪准确性提升了2.2%,参数量仅增加1.01%,且未损失实时性,验证了改进方案的有效性.

样本重构多尺度孪生卷积网络的化工过程故障检测

基于数据驱动的故障检测已成为工业过程故障检测的重要手段,但其在实际应用时受限于过程历史数据的规模,往往难以取得令人满意的检测精度。针对这一问题,提出了一种样本空间重构策略,该策略基于随机采样构造同类、异类样本对,在扩充数据规模的同时,将复杂的分类建模问题转化为样本间的相似度对比问题,降低了任务的复杂度。在此基础上,引入并改进孪生卷积神经网络(Siamese CNN)结构,提出了一种基于多尺度孪生卷积神经网络(Multi-scale Siamese CNN)的化工过程故障检测方法。田纳西-伊斯曼(TE)过程数据测试结果表明,所提算法的平均故障检测准确率达到89.66%,相对于常规数据驱动的故障检测算法提高8%以上。

基于几何约束孪生卷积网络的相机6DOF定位研究

视觉定位技术是视觉导航和自动驾驶领域的重要组成部分。提出一种基于几何约束孪生卷积网络的相机六自由度(6 degree of freedom, 6DOF)定位方法,采用卷积网络、以学习查询图像与参考图像之间相对位姿关系的几何约束方式,获得查询图像的绝对位姿;并使用性能优异的主干特征提取网络,以及多任务联合损失函数同时训练的策略,进一步提高方法的定位精度、稳定性以及泛化能力。同时,设计了特征距离度量损失函数,增强了对于相似图像的区分性。在室内及室外公开数据集上的验证数据表明,与同类型方法相比,所提方法更具竞争力。

一种低参数的孪生卷积网络实时目标跟踪算法

针对基于深度学习的目标跟踪算法模型参数多、难以部署于嵌入式设备上的问题,提出一种改进的孪生卷积网络实时目标跟踪算法。设计一个非对称卷积模块来构建整个网络框架,通过非对称卷积模块的压缩层减少模型参数量,利用非对称层进行特征融合,以在保证精度的同时压缩模型大小。使用三元组损失函数代替逻辑损失函数进行模型训练,在输入不变的情况下提取表达性更强的深度特征,从而完成目标跟踪任务并提高模型的跟踪精度。在GOT-10K、OTB100和VOT2016基准上对算法性能进行测试,结果表明,该算法能够将模型大小降为3.8×106,且速度与精度均优于SiamFC、KCF和DAT等跟踪算法。

基于预判式学习更新策略孪生全卷积网络的目标跟踪

针对孪生全卷积网络缺乏有效的模型更新策略,跟踪目标周围存在相似目标干扰容易出现跟踪丢失的问题,提出一种基于预判式学习更新策略孪生全卷积网络的目标跟踪算法。确定目标模板和搜索区域的直方图置信度估计;模拟学习率的自重启机制,由给定正确标注初始化学习模块;根据置信度估计决定预判式学习模块更新,实现跟踪目标和相似目标的有效区分。实验结果表明,该算法具有良好的跟踪效果,在满足实时性跟踪的基础上,具有很好的跟踪精度和成功率。

基于卷积孪生神经网络的滚动轴承故障定位方法

在不同设备及不同工况的条件下,滚动轴承的振动数据分布存在差异,采用传统的深度学习模型难以应对数据集分布不一致的状况,针对这一问题,提出了一种基于卷积孪生神经网络的轴承故障定位方法。首先,选择孪生网络作为基本框架,对预处理后的设备数据进行了扩充,使之达到了数据增强的目的;然后,选择随机池化-ELU-CNN(SE-CNN)模型作为特征提取器,对设备运行数据进行了深度特征提取,利用反向传播算法更新模型参数,使模型的特征提取性能和分类性能达到了最优;最后,利用训练好的网络模型,通过集合两种数据集的混合数据集进行了实验,得到了滚动轴承的故障定位结果。研究结果表明:采用基于卷积孪生神经网络的轴承故障定位方法,其故障定位的各项评价指标均在95%以上,且其综合数据指标达到0.9863;与其他先进方法相比,在跨设备多工况下,该模型的故障定位准确度提高0.0246;模型能有效适应数据分布的差异性,且具备良好的泛化性能。

基于孪生卷积神经网络的手机型号识别方法

针对废旧手机回收过程中型号难以精确识别的问题,提出一种基于孪生卷积神经网络的废旧手机型号识别方法.首先,利用基于最大类间差分的边缘检测算法解析手机图像的区域特征,构建手机型号识别数据库;其次,构造一种共享权值孪生卷积网络(siamese convolutional neural network,S-CNN)的手机识别模型,实现废旧手机图像特征的快速提取;最后,设计一种自适应学习率的识别模型参数更新策略,提高手机型号识别的精度.将其应用于不同场景下废旧手机的分拣,实验结果表明该方法具有较好的快速性和准确性.

基于均值中心孪生卷积神经网络的DGA域名识别

相比于大多数仅依赖域名的特征进行DGA域名识别方法的特征值选取有限、分类准确度较低的问题,提出了利用数字证书和域名共同解析的特征向量识别DGA域名的方法.另外,为了提升计算准确度和时间效率,提出了带有均值中心的孪生卷积神经网络——MCSCNN模型,用于DGA域名的分类识别中.将所提出的方法应用于20种DGA域名的分类识别中,得到的准确度(A),精确度(P),召回率(R)以及F1值(F1)结果分别是98.35%,98.11%,98.38%以及98.42%,比对比算法的最优值分别提高了5.68%,4.76%,7.24%以及4.2%.在时间效率上MCSCNN所用时间只是对比算法最优时间的1/108,极大地提升了运算效率.

基于孪生卷积神经网络的图像融合

传统的图像融合算法多有计算复杂程度高、不能有效提取图像纹理等不足,为了弥补以上传统算法,提出了一种基于孪生卷积神经网络(Siamese Convolutional Neural Network,Siamese CNN)的图像融合方法.首先,用孪生卷积神经网络生成一个权重图,该权重图包含了来自两个待融合图像的全部像素信息.然后,用图像金字塔对像素以多尺度的方式进行融合,并且采用了局部相似性策略自适应调整分解系数的融合模式.最后,和现存的几种图像融合的方法进行了对比.实验证明,该方法有较好的融合效果,具有一定的可实用性.

基于孪生卷积神经网络的车辆一致性判别方法

目前,高速公路一般通过车牌与收费卡信息匹配的方式进行换卡逃费的判别,该方法对于无牌车辆则无法判别。本文基于孪生卷积神经网络从车辆外形特征出发,对于同一张收费卡的出入口车辆进行识别,判断是否为同一辆车,可以有效打击无牌车辆换卡逃费行为。

基于孪生并行注意力网络的包装印刷品商标真伪鉴别研究

为了借助手机精确快速地鉴别微小篡改的包装印刷品商标真伪,提出孪生并行注意力卷积神经网络判别模型。通过孪生网络的共享权重机制降低网络系统的表征偏差,通过并行注意力机制提高对微小篡改变化特征的提取能力,最大程度降低打印拍照引入的噪声对篡改特征提取的影响。在2种印刷纸张、2种拍摄光源和2种拍摄手机组合的8种开放场景中,拍摄多组真伪商标的印刷图像,建立篡改面积0.4%~0.7%的商标真伪数据集。模型在该打印拍照数据集上鉴别准确率为94%以上,在真实山寨商标上的鉴别准确率为100%。本文提出的孪生并行注意力卷积神经网络模型,具有较高的细粒度鉴别精度和较强的泛化能力,能够在开放场景下有效地实现基于图像微小篡改的包装印刷品商标真伪的鉴别。

基于孪生网络的仿真模型智能排序评估方法

针对动态输出多样本条件下的多备选仿真模型择优问题,提出了一种基于孪生卷积神经网络(siamese convolutional neural network,SCNN)的仿真模型智能排序评估方法。首先,将仿真数据和参考数据的一致性度量问题转化为二者特征一致性度量问题。其次,在分析评估数据特点和对比试验结果的基础上,确定采用SCNN实现评估数据的特征提取。接下来,给出基于SCNN的仿真模型排序评估方法,包括网络结构初步设计、网络参数训练调优和仿真模型排序评估三部分。最后,通过实例应用,验证了该方法在评估数据特征提取和仿真模型排序评估方面的有效性。

基于卷积神经网络的遥感图像变化检测

主要研究了针对目标区域的基于卷积神经网络的变化检测方法,对比了两种卷积神经网络的方法,包括使用以VGG16为网络结构,将图像裁剪为16×16的图块,以这些图块为单元,为每个图块做变化或不变化的标签,最终生成基于图块的变化图像。基于这种方法适合用于大面积变化明显的区域,对于变化范围较小的图像则不能很好地判断是否变化,其次是由于设置的图像块比较大,因此在提高训练速度的同时,难以保证良好的视觉效果。第二种是以Siamese Network为网络框架,基于编码解码的网络结构对其进行改进,通过两个通道分别输入前后时相的图像,每一次卷积后相减并利用跳跃连接与解码端的图像叠加提取特征,获得了良好的测试结果。

少量样本下基于孪生CNN的SAR目标识别

针对深度学习中的有监督学习需要大量的标注数据,提出了一种少量训练样本下的SAR目标识别方法,解决了SAR图像人工标注成本较高、标注样本不足的问题。首先通过构建正负样本对的策略对数据集进行样本扩充,大幅增加数据量;其次,设计了一种基于度量学习和深度学习的孪生卷积神经网络(孪生CNN),用于衡量样本之间的相似概率;然后采用多任务联合学习的方法训练模型,有效缓解了相干斑噪声对SAR图像的影响,降低了噪声过多易引起的过拟合风险;最后,设计了一种基于孪生CNN的识别样本具体类别的加权投票模型。实验采用了MSTAR和OpenSARShip数据集,在小规模训练集上通过上述方法取得了较好的识别效果。

基于深度对比网络的印刷缺陷检测方法

基于传统图像处理技术的印刷缺陷检测方法鲁棒性差,而基于深度学习的目标检测方法则不完全适用于印刷缺陷检测任务的问题。为解决上述问题,将模板匹配方法中的对比思想与深度学习中的语义特征结合,提出用于印刷缺陷检测任务的深度对比网络(CoNet)。首先,提出基于孪生结构的深度对比模块(DCM)在语义空间提取并融合检测图像与参考图像的特征图,挖掘二者间的语义关系;然后,提出基于非对称双通路特征金字塔结构的多尺度变化检测模块(MsCDM),定位并识别印刷缺陷。在公开的印刷电路板缺陷数据集DeepPCB与立金缺陷数据集上,CoNet的平均精度均值(mAP)分别为99.1%和69.8%,与同样采用变化检测思路的最大分组金字塔池化(MP-GPP)和变化检测单次检测器(CD-SSD)相比,分别提升了0.4、3.5个百分点和0.7、2.4个百分点,CoNet的检测精度更高。此外,当输入图像分辨率为640×640时,CoNet的平均耗时为35.7 ms,可见其完全可以满足工业检测任务的实时性要求。

基于S-MCLSTM和DANN的滚动轴承剩余寿命预测方法

针对在不同工作条件和不同故障形式下,滚动轴承剩余寿命预测泛化能力差和精确度不高的问题,提出一种基于孪生多卷积长短时记忆网络(S-MCLSTM)和域对抗网络(DANN)的剩余寿命预测方法。首先针对不同的工作条件对退化过程的影响,提出基于S-MCLSTM的差异化特征提取器以提取一定时间间隔的两个样本之间的差异化特征。同时,进一步使用工作条件判别器与差异化特征提取器进行对抗训练,减少由于工作条件的原因产生的冗余特征。之后针对故障形式对退化过程的影响,设计了故障诊断器用于和差异化特征提取器对抗训练。最后,考虑到滚动轴承一般退化过程中,不同阶段的退化过程与特征之间的映射关系可能存在的差异,提出了阶段判别器,并在不同阶段应用不同的剩余寿命预测器进行预测。最终在西安交通大学XJTU-SY轴承数据集上的实验表明,该方法在多种工作条件和故障形式下都能较准确地预测剩余寿命,有较为广泛的应用前景。

紫外吸收光谱法的水质参数预测模型研究

紫外吸收光谱法是一种快速、简便且无二次污染的水质检测技术,借助孪生卷积神经网络构建的水质化学需氧量和浊度预测模型,在小样本情况下能够实现高精度的预测。在实际水样的预测中,R2值可高达0.97,相较于其他模型,具有更高的预测精度和更广泛的适用范围,为在线监测水体中化学需氧量和浊度的污染程度提供了一种全新的技术支持。