融合自监督对比学习的雾天街景语义分割算法

针对雾天环境能见度低导致街道物体识别困难、分割速度慢等问题,提出了一种融合自监督对比学习的雾天街景语义分割算法。该算法选用轻量级网络MobileNetV2作为主干网络,设计深度聚合空洞空间金字塔池化模块,并使用带有扩张系数的深度可分离卷积替换普通卷积丰富特征多样性。然后通过融合对比学习框架,增加语义相似像素的相似度,保持不同语义像素之间的距离,从而提高模型对小目标物体细节边缘的表达能力和辨别能力。最后提出一种新的融合损失函数,采用监督学习和自监督学习共同指导网络训练,学习深度特征表示。实验结果表明,该模型在Foggy Cityscapes数据集上的平均交并比可达到74.35%,类别平均像素准确率为83.59%,像素准确率可达到95.85%,相比语义分割网络DeepLabV3+模型分别提高了3.82%、3.99%和1.02%,同时模型参数量为2.88M,比DeepLabV3+模型的参数量缩减近55%,优化了网络计算消耗。该算法在雾天语义分割中拥有良好的性能,在降低模型参数量的同时保持了高分割精度,具有良好的鲁棒性。

零故障样本下小波知识驱动的工业机器人故障检测

针对零故障样本问题,现有方法大多从迁移学习、样本生成等开展研究,然而该类方法依赖相近故障样本,难以保证训练样本与真实故障信号在数据分布上保持对齐,导致模型泛化性不足。针对上述问题,提出了基于连续小波变换知识库和ViT网络的故障检测方法。采用了多种母小波函数构建连续小波变换知识库,从不同时-频角度对机械装备监测数据进行分析;设计了一种基于多模态时-频特征的对比损失函数,实现了ViT的有效训练;开发了基于余弦相似性分析的故障检测算法,检测机械装备各类异常状态。使用工业机器人实验平台对方法进行验证。结果表明,所提方法能够在零故障样本下构建高性能的特征提取网络,并能对各类故障状态进行准确检测。

采用边界对比学习的三维激光点云场景分割算法

针对传统三维激光点云场景分割算法容易忽略目标边界模糊的问题,采用边界对比学习算法设计了三维激光点云场景分割网络,旨在通过对比学习提升模型在边界处的预测性能。首先采用PointNet++作为主干网络,通过多尺度的降采样特征编码和上采样特征解码来学习点云中不同类别的语义特征,并逐点预测目标类别,实现场景整体分割;然后引入对比学习算法,采用迭代的方式捕获子场景点云的边界,并挖掘出模糊的边界点;最后在网络训练阶段利用对比学习损失函数实现边界类别增强,大幅提升了对三维激光点云场景分割的精度。在公开的三维激光点云场景分割数据集上进行了大量实验,结果表明:所提分割算法在19个语义类别的点云中有15个的分割性能是最佳的,整体的指标性能均优于对比算法,消融实验和可视化结果也验证了所提算法可以有效改善三维激光点云场景分割任务中边界的预测性能,充分说明了所提算法的优越性。

融合注意力机制的SegFormer遥感影像道路识别

道路信息在遥感影像中具有重要意义和价值,因此准确提取道路对于许多应用非常关键.然而,在进行道路识别时存在两个主要问题.首先,卫星影像的背景复杂多变,而道路的形态也是复杂多样的,这给道路的自动识别带来了挑战.其次,道路像素只占整个影像的很小一部分,导致类别不平衡的问题.为了解决上述问题,本文提出了一种基于改进的SegFormer模型的卫星影像道路自动识别算法.该算法采用了两个主要策略来改进识别效果.第一,在SegFormer编码器的各个阶段的输出端添加了空间注意力模块.这个模块有助于减弱复杂背景的干扰,同时增强对道路区域的关注.通过引入空间注意力机制,模型能够更好地捕捉到道路的特征,从而提高识别准确性.第二,采用了一种混合损失函数,结合了像素对比损失和交叉熵损失.这样的损失函数能够更好地处理类别不平衡的问题,使得模型更加关注道路类别的训练.通过优化训练过程,模型能够更好地学习到道路的特征表示,从而提升识别准确率.通过对比实验分析,改进后的模型在测试集上的mIoU指标提升了约3.3%.

结合对比监督和排序树的轨迹数据差分隐私保护方案

随着各种具有位置定位服务设备的普及,用户享受设备带来便利的同时,也会引发位置隐私泄露的问题。针对这一问题,提出了一种结合对比监督和排序树的轨迹数据差分隐私保护方案(SDTS)。首先,利用监督学习模型对轨迹数据进行预处理,使用模型中的损失函数对轨迹数据进行轨迹相似度计算;其次,基于二叉排序树结构对轨迹数据进行存储,提高轨迹查询效率;最后,利用差分隐私技术和等比隐私预算分配方式对排序树节点中移动用户的统计值进行加噪处理,保护节点中存储的敏感信息,保证数据隐私安全的同时提高数据的可用性。实验结果表明,该方案能有效保护用户的数据隐私安全,并能保证轨迹数据的可用性。

具有个人信息的对话生成模型研究

赋予聊天机器人个人信息对于提供自然的对话至关重要,对此提出具有个人信息的对话模型,包括问题分类、个人信息回复和开放域对话三个模块。在问题分类模块中,分析测试不同分类方法的效果;个人信息回复模块利用BiLSTM进行语义信息编码,训练采用对比损失函数,同时实验对比多种匹配模型;开放域对话模型以最大互信息为目标函数,减少无意义回复。实验表明该对话模型的自然性、逻辑性、多样性和一致性均优于传统模型。

融合注意力机制的CS-BiLSTM深度回声消除算法

在全双工通信系统中,声学回声会降低用户的体验,针对在双向通话场景下自适应滤波算法消除声学回声效果不理想以及非线性声学回声难以消除的问题,提出一种注意力机制与BiLSTM网络相结合的CS-BiLSTM深度声学回声消除算法。首先通过构建BiLSTM网络提取语音的时序特征,之后引入通道和空间注意力机制提取回声信号的空间特征信息,并融合均方根误差与平均绝对误差提出一种新的损失函数,提高模型的鲁棒性。改进后的CS-BiLSTM网络模型能够获得清晰的语音信号,具有更好的回声消除性能。仿真结果表明,在非线性回声和双向通话环境下,与其他几种参考算法相比,所提出的CS-BiLSTM算法在感知语音质量评价方面明显优于其他算法,更有效地实现了回声消除,此外,该算法结构简单且模型参数量更少。

基于生成对抗网络的长短兴趣推荐模型

传统的推荐系统中,用户的兴趣被认为是稳定不变的,而事实上,用户的兴趣会因为各种因素产生变化。为了更加有利地跟踪用户兴趣偏好变化进行内容推荐,提出了一种基于生成对抗网络的推荐算法L-GAN(long short-term memory via generative adversarial networks),利用长期和短期的兴趣偏好,通过生成对抗的训练策略来训练推荐模型,使推荐模型产生的推荐列表更加准确。在对抗训练过程中,将数据分为多个行为周期,按照时间顺序依次输入每个行为周期内的用户-项目评价矩阵,生成器模型产生推荐列表,而判断器模型则区分输入的推荐列表是否与真实历史记录的特征相似。最终,通过在两个公开的数据集上与多个推荐模型进行对比实验,结果表明在不同稀疏度的数据集上,L-GAN算法在推荐精度方面有较明显的提高,更善于挖掘数据的隐层特征。

基于Faster-YOLOv7的带式输送机异物实时检测

基于深度学习的目标检测算法在异物检测中具有较好的识别效果,但模型内存需求大,检测速度慢;轻量化深度学习网络能够大幅减少模型内存需求,提升检测速度,但在井下弱光环境中检测精度低。针对上述问题,提出了一种基于Faster-YOLOv7的带式输送机异物实时检测算法。通过限制对比度自适应直方图均衡化算法(CLAHE)进行图像增强,提高弱光环境中异物对比度;基于Mobilenetv3对YOLOv7主干网络进行轻量化设计,减少YOLOv7模型的计算量、参数量;添加有效通道注意力机制,缓解因特征通道数减少而导致的高层特征信息丢失问题;采用Alpha-IoU作为损失函数提高异物检测精度。实验结果表明:(1)Faster-YOLOv7的初始损失为0.143,最终稳定在0.039左右。(2)Faster-YOLOv7的检测速度可达42帧/s,较YOLOv5、YOLOv7分别提升了17,20帧/s;Faster-YOLOv7内存为14 MiB,较YOLOv5、YOLOv7分别降低了29,57 MiB;检测准确率达91.3%,较YOLOv5提升了8.8%。(3)将SSD、YOLOv5、轻量化YOLOv7、Faster-YOLOv7目标检测算法应用到煤矿井下带式输送机运煤图像及视频中,发现SSD在视频检测时发生了漏检现象,YOLO系列模型均有效地识别出待测异物,且Faster-YOLOv7识别结果的置信度更高。

基于改进YOLOv3算法的钢板缺陷检测

针对目前钢板缺陷检测精度和速度的不足,提出了一种改进的YOLOv3检测算法。首先使用小波-中值滤波处理缺陷图像,清除图像里的噪声使图像更平滑。然后在原有网络中的密集连接网络(Darknet-53)上增加一个尺度输出增强算法对小目标缺陷的识别能力。最后为了增强算法模型的准确性对算法原有的损失函数进行优化,得到改进版的YOLOv3算法模型。改进的算法在测试集上的mAP值可以达到64.31,比原有的YOLOv3网络提高了7.9,结果表明了改进算法在钢板缺陷上具有较好的检测效果。

基于轻量化视觉Transformer的花卉识别

由于不同种类花卉之间的相似性以及同种花卉的差异性,提取局部特征信息的卷积神经网络(CNN)在花卉图像的识别上取得的结果不够理想。在Swin Transformer(Swin-T)网络的基础上,提出了一种轻量型的Transformer网络LWFormer。首先,该网络将基于移动窗口的PoolFormer模块引入Swin-T网络的第一、二阶段,对网络进行轻量化。其次,引入了双通道注意力机制,2个独立的通道分别关注了特征图的“位置”和“内容”,提高网络提取全局特征信息的能力。最后,使用了对比损失函数,进一步优化了网络的性能。在Oxford 102 Flower Dataset和104 Flowers Garden of Eden这2个公开的数据集上对改进的模型进行评估,并与其他方法进行对比,在这2个数据集上,分别得到了88.1%与87.3%的准确率。与Swin-T网络相比,该网络参数量降低了33.45%,FLOPs降低了28.89%,throughtput提高了91.45%,准确率提高了1.8%。实验结果表明,该网络在提升了准确率的同时降低了参数量,得到了速度与精度地提升。

3D脑肿瘤分割的Dice损失函数的优化

脑肿瘤的精确诊断对于提高病人的生存率,提供积极有效的治疗方案有着重要的意义。磁共振(MR)影像检查可提供脑肿瘤诊断结果并增加脑肿瘤诊断率,而精确分割三维脑肿瘤MR图像对于脑肿瘤的诊断,治疗以及术后追踪都有着非常重要的意义。本文针对在三维MR图像上的脑肿瘤分割问题,提出了直接优化评价指标的新损失函数的深度神经网络算法,可直接优化全肿瘤区,肿瘤核心区和增强肿瘤区这三个重要临床所需的分割目标的Sorensen Dice系数。最终测试集在全肿瘤区、肿瘤核心区和增强肿瘤区这三个目标区域的平均Sorensen Dice系数分别达到:0.875、0.829、0.695,全面优于传统的交叉熵损失函数,为脑肿瘤的精确分割提供了新的自动工具。

基于混合网络的异源遥感图像变化检测

为了更加准确地进行异源遥感图像的变化检测任务,提出了一种基于混合网络的异源遥感图像变化检测算法。利用伪孪生网络提取异源遥感图像块间空间维度的变化特征,利用早期融合网络提取异源遥感图像块间光谱维度的变化特征,将2支网络提取的特征进行融合,并将融合后的变化特征输入到sigmoid层进行二分类检测。同时,在伪孪生网络中加入对比损失函数,通过优化对比损失函数,使得在特征空间中,未变化图像对的空间特征差异更小,变化图像对的空间特征差异更大,以提升网络的区分能力和收敛速度。

小样本水下目标识别的孪生网络的设计

由于水下目标获取困难,小样本水声目标识别一直是水声领域的难题。传统网络训练时需要大量的训练样本,并且对样本库外的目标识别率较低。针对这一问题文中提出一种深度卷积孪生网络用于对水下目标的DEMON(Detection of Envelope Modulation on Noise)谱的线谱进行识别。同时,为了适应真实水下识别环境,在训练的同时评估不同多普勒频偏、信噪比和干扰对网络识别性能的影响,进而得到一种具有较高多普勒容限和具有抗噪能力的网络模型。试验结果表明,与传统的神经网络相比,深度卷积孪生网络能够利用交叉熵对比损失函数与设置阈值的方式,判断输入样本对之间的差异,进而实现对新目标的识别。

结合实体关联标注器的中文命名实体识别模型

为了改善在字嵌入层中的字向量嵌入方式单一问题,提出一种结合实体关联标注器的中文命名实体识别模型。在标准命名实体识别模型之前,先利用句向量与句中实体词向量训练实体关联标注器,再将实体关联标注器产生的标记信息融入字嵌入层。最后,通过双向长短期记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)级联条件随机场层(Conditional Random Field,CRF)生成最优标签序列。通过Resume和人民日报数据集进行命名实体识别实验,结果表明,改进模型的准确率、召回率和F_(1)值均高于其他模型,F_(1)值达到了94.81%和90.19%。

数字媒体信息共享系统中的图片质量增强方法研究

由于数字媒体信息共享系统中部分图片存在失真、噪声大、边缘丢失等问题,为此,提出一种图片质量增强方法.构建由INM模块和URM模块组成的双网络模型结构,对低照度图像经过特征提取、融合、重建后,得到正常照度图像;在损失函数的作用下,尽可能多地保留图像边缘细节信息,同时结合对比度增强算法,实现对图像整体质量的增强.经实验验证,创建的方法可在保证图片失真程度最小的前提下,完成高质量的图像增强.

基于深度学习的翻译洗稿抄袭检测算法

为应对多媒体技术和互联网快速发展带来的多样化和新型化洗稿抄袭问题,本文提出了一种基于深度学习的翻译洗稿的抄袭检测算法,该算法通过融合多轮翻译后的特征来增强翻译文本的特征,从而得到高质量的文本表示,并利用对比学习架构拉近原文本在语义向量空间中与翻译文本的距离,同时保持其与负样本的距离。此外,本文通过改进的对比损失函数增强模型检测洗稿文本的能力。最后利用所构建的多元组翻译洗稿数据集来进行训练和验证,使之达到检测翻译洗稿抄袭的能力。实验结果表明,本文所提出的算法产生了质量更高的文本表示,从而在翻译洗稿抄袭检测任务上优于先前的方法,Spearman相关系数的结果也证明了所构建模型的优越性。