基于改进Yolov5s的增强现实文物识别方法

将增强现实技术应用于数字博物馆的文物展览,有助于拉近参观者与文物的距离,使展览更具趣味性。针对增强现实技术在文物展览应用场景中,增强现实设备采集的文物目标图像背景复杂、文物形状纹理丰富而导致的误检、识别准确率低的问题,提出一种基于改进的Yolov5s的文物识别方法。在Yolov5s网络结构中的骨干网络与颈部网络之间引入了CBAM注意力机制,并在骨干网络中的Bottleneck模块中,使用多头注意力机制替换普通卷积,有效捕获局部信息,降低了无用信息的干扰。为了提高识别网络对于目标文物的边界框定位精度,采用DIoU-NMS方法挑选最优的目标识别框作为最终的预测框。实验结果表明,该方法提高了文物的平均识别精度,比原模型更适用于AR应用文物的目标识别。

语义增强的多视立体视觉方法

针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。

深度语义关联学习的基于图像视觉数据跨域检索

基于图像的视觉数据跨域检索任务旨在搜索与输入图像在语义上一致或外形上相似的跨域图像和三维模型数据,其面临的主要问题是处理跨域数据之间的模态异质性。现有方法通过构建公共特征空间,采用域适应算法或深度度量学习算法实现跨域特征的域对齐或语义对齐,其有效性仅在单一类型的跨域检索任务中进行了验证。提出一种基于深度语义关联学习的方法,以适用多种类型的基于图像的跨域视觉数据检索任务。首先,使用异构网络提取跨域数据的初始视觉特征;然后,通过构建公共特征空间实现初始特征映射,以便进行后续的域对齐和语义对齐;最后,通过域内鉴别性学习、域间一致性学习和跨域相关性学习,消除跨域数据特征之间的异质性,探索跨域数据特征之间的语义相关性,并为检索任务生成鲁棒且统一的特征表示。实验结果表明,该方法在TU-Berlin、IM2MN和MI3DOR数据集中的平均精度均值(mAP)分别达到0.448、0.689和0.874,明显优于对比方法。

室内机器人动态SLAM技术

随着计算机视觉、深度学习的发展,基于视觉的静态SLAM研究不断改进,然而大多数SLAM算法存在静态假定不成立和累计漂移。针对上述问题,设计动态BN-SLAM算法,利用深度图像的几何信息对原始掩模进行修正,修正掩膜用于移除运动物体及其影响。设计加权RANSAC方法,求解摄像机局部位姿。在TUM数据集上的实验结果表明,BN-SLAM的ATE、平移RPE和旋转RPE的平均RMSE值分别为95.46%、92.45%和90.88%,平均S.D.值分别为94.88%、94.76%和92.80%,跟踪轨迹点结果的平均率为98.80%。在真实环境的实验结果表明,BN-SLAM能够剔除运动的人造成的地图污染。

基于激光雷达的室内机器人路径规划方法研究

自主移动机器人在室内环境中的导航取得了重大进展,然而地图构建精度较差且路径规划欠佳,限制了这类机器人的实际应用。为了解决这些问题,提出了一种基于引导搜索的路径规划算法,即引力双向快速搜索随机树算法(GBI-RRT),该算法采用目标偏差抽样,有效地引导节点走向目标,减少无效搜索。为了进一步提高导航效率,又提出了一种消除低质量节点,提高路径曲率的路径重组策略,为了验证上述方法的有效性,将其集成到一个基于ROS系统的移动机器人中,并在仿真和真实环境实验中进行了评估。结果表明,GBI-RRT在各种室内环境下的性能均优于现有算法。

融合两级注意力的多机器人强化学习导航

针对多智能体强化学习中因智能体之间的复杂关系所导致的学习效率低及收敛速度慢的问题,提出基于两级注意力机制的方法MADDPG-Attention,在MADDPG算法的Critic网络中增加了软硬两级注意力机制,通过注意力机制学习智能体之间的可借鉴经验,提升智能体之间的相互学习效率.由于单层的软注意力机制会给完全不相关的智能体也赋予学习权重,因此采用硬注意力判断两个智能体之间学习的必要性,裁减无关信息的智能体,再用软注意力判断两个智能体间学习的重要性,按重要性分布来分配学习权重,据此向有可用经验的智能体学习.在多智能体粒子的合作导航环境上进行测试,实验结果表明,MADDPG-Attention算法对复杂关系的理解更为清晰,在3种环境的导航成功率都达到了90%以上,有效提高了学习效率,加快了收敛速度.

融合CNN-BiGRU和注意力机制的网络入侵检测模型

为提高网络入侵检测模型特征提取能力和分类准确率,提出了一种融合双向门控循环单元(CNN-BiGRU)和注意力机制的网络入侵检测模型.使用CNN有效提取流量数据集中的非线性特征;双向门控循环单元(BiGRU)提取数据集中的时序特征,最后融合注意力机制对不同类型流量数据通过加权的方式进行重要程度的区分,从而整体提高该模型特征提取与分类的性能.实验结果表明:其整体精确率比双向长短期记忆网络(BiLSTM)模型提升了2.25%.K折交叉验证结果表明:该模型泛化性能良好,避免了过拟合现象的发生,印证了该模型的有效性与合理性.

基于MQTT协议的轻量化文本信息分发技术研究

随着卫星通信网络的发展,基于卫星通信网络实现手机、平板电脑等移动通信设备之间的通信成为研究的热点。由于其采用无线电波进行信号传输,且需要经过多个中继站进行信号的转发和处理,导致存在网络延时大、丢包率高以及信道狭窄等问题。针对文本信息在卫星通信网络下的分发过程存在效率低下、可靠性不高的问题,设计一种基于MQTT(Message Queuing Telemetry Transport)协议的轻量化文本信息分发技术。该技术使用MQTT协议作为消息传输协议,在文本信息分发前对MQTT协议进行主题设计、发布订阅机制设计、设备连接设计以及设备心跳设计,确保设备之间的连通性;在文本信息的分发过程中,设计数据校验加密算法、文本信息轻量化处理方法和离线消息存储机制,保证文本信息分发的安全性、可靠性。实验结果表明:相较于传统的基于JSON数据的文本信息分发技术,该技术在提高文本信息分发效率的同时,可确保信息分发的安全性、完整性和稳定性。

基于共形几何的面部模型插值构建算法

针对传统三维模型构建方法难以获取连续维度的高质量面部模型问题,提出一种以不同表情的多面部模型为数据源基于共形几何的面部模型插值构建技术。利用准共形映射算法将面部模型降维到二维平面;提出一种插值算法对多模型形状特征进行线性插值,为构建过渡模型定义几何约束,同时提出一种自适应模型选择算法在数据源中自适应选择基础模型;通过几何约束引导准共形迭代改变基础模型形状;将变化后的二维模型转化到三维空间,构建具有过渡表情的三维面部模型。实验结果表明,该算法的有效性和运行效率都得到大幅提高。

融合GBWO与ENN的人体尺寸预测模型

为了提高人体尺寸预测的效率和准确性,该文提出了GBWO-ENN(Grey Black Wolf Optimization-Elman Neural Network)的方法。针对传统灰狼算法易于陷入局部最优和无法平衡全局与局部搜索的平衡性问题,提出了GBWO算法。该算法融合黑寡妇优化算法中蜘蛛的运动方式对灰狼优化算法中α狼位置更新进行了优化,通过非线性递减的方法降低了收敛系数,并且提出了按位置等级更新种群的策略。随后采用GBWO算法对Elman神经网络的权值和阈值进行优化,并将GBWO-ENN模型应用于三维人体尺寸预测。实验结果表明,GBWO-ENN模型结构简单,能够准确预测人体尺寸,具有较好的预测能力。

融合编码器多尺度特征的RGB-D图像语义分割

针对语义分割任务中,室内场景中目标物体尺寸变化较大的问题,在ACFNet的基础上,提出融合编码器多尺度特征的RGB-D语义分割网络。首先,为有效利用网络提取的多尺度特征,提出结合池化操作的多尺度特征融合模块(PMFM),选择编码器不同阶段RGB和深度特征的融合特征作为该模块的输入;其次,设计改进的跳跃连接模块(ISCM),使用下一层级包含更多语义信息的特征图辅助修正当前层级的特征图,再经跳跃连接以拼接的方式传输到解码器对应阶段。将提出的网络模型应用到NYUD V2和SUN RGB-D数据集上,平均交并比分别达到了52.6%和48.8%。通过这两项改进,实验结果表明,上述方法达到了较高的分割准确率,优于对比的语义分割方法。

融合混合注意力的自编码器视频异常检测

为提高视频异常检测的准确率,提出一种融合混合注意力的自编码器视频异常检测算法。针对自编码器网络强大的“泛化”能力可能重构异常行为问题,提出一种混合注意力模块(CSCFAM)并将其融合至编码器和解码器之间的跳跃连接层以限制异常行为的生成。为考虑正常样本的多样性,在编码器和解码器之间的瓶颈处引入存储记忆模块(Memory),记录正常样本潜在特征的原型模式。实验结果表明,该算法在UCSD Ped2、CUHK Avenue数据集上帧级AUC分别达到97.3%、87.0%,与当前先进的视频异常检测算法相比,异常检测能力得到有效提升。

交叉特征融合和RASPP驱动的场景分割方法

本文针对场景中目标多样性和尺度不统一等现象造成的边缘分割错误、特征不连续问题,提出了一种交叉特征融合和RASPP驱动的场景分割方法.该方法以交叉特征融合的方式合并编码器输出的多尺度特征,在融合高层语义信息时使用复合卷积注意力模块进行处理,避免上采样操作造成的特征信息丢失以及引入噪声的影响,细化目标边缘分割效果.同时提出了深度可分离残差卷积,在此基础上设计并实现了结合残差的金字塔池化模块——RASPP,对交叉融合后的特征进行处理,获得不同尺度的上下文信息,增强特征语义表达.最后,将RASPP模块处理后的特征进行合并,提升分割效果.在Cityscapes和CamVid数据集上的实验结果表明,本文提出方法相比现有方法具有更好的表现,并且对场景中的目标边缘有更好的分割效果.

顾及多尺度监督的点云语义分割

针对复杂场景点云分割精度不高、神经网络隐藏单元缺乏直接监督,难以提取语义明确的点云特征等问题,提出了一种将多尺度监督和SCF-Net相结合的点云语义分割网络。首先构建了一个类别信息生成模块,记录编码器中隐藏单元感受野内的类别,用于解码器中辅助分类器的监督学习。其次将解码阶段的点云类别预测任务分解成一系列点云感受野类别预测任务,通过对解码器中每一层添加辅助分类器,预测当前阶段点云感受野类别,编码阶段生成的类别信息作为标签监督网络学习。模型从粗到细地推理点云感受野类别,最终预测得到点云语义标签。实验结果表明,该方法能够有效提取点云关键信息,提高语义分割精度。

基于YOLOv8L遥感图像旋转目标检测

针对遥感图像复杂背景下的目标(如船舶、飞机等)具有朝向任意、尺度变化较大、数量多、目标排列密集等特点,提出一种基于改进YOLOv8L的旋转目标检测算法,用带有角度的旋转框能够更加精确定位目标。首先,在网络Head部分增加解耦角度预测头,预测目标的角度信息;其次,融合坐标注意力机制模块提高模型抑制噪声的能力;最后,在Neck部分引入自适应空间特征融合模块,抑制不同尺度特征图之间融合特征信息时的不一致性,保留有效的信息并进行融合。实验结果表明,所提算法在DOTA数据集上的检测精度达到了73.85%,较原有YOLOv8L模型提升了3.53%。

基于全局双线性注意力的红外视频行为识别

针对红外视频缺少纹理细节特征以致在人体行为识别中难以兼顾计算复杂度与识别准确率的问题,提出一种基于全局双线性注意力的红外视频行为识别方法。为高效计算红外视频中的人体行为,设计基于两级检测网络的关节点提取模块来获得人体关节点信息,创新性地将所形成的关节点三维热图作为红外视频人体行为识别网络的输入特征;为了在轻量化计算的基础上进一步提升识别准确率,提出一种全局双线性注意力的三维卷积网络,从空间和通道两个维度提升注意力的建模能力,捕获全局结构信息。在InfAR和IITR IAR数据集上的实验结果表明,该方法在红外视频行为识别中的有效性。

复合主干融合的图像增强算法

基于深度学习的微光图像增强算法所生成的图像普遍存在噪声凸显和细节丢失等问题,而端对端深度学习算法的性能又在很大程度上依赖于骨干网络的提取能力,因此,通过探索更有效的骨干网络结构可以提升微光增强任务的性能收益.本文提出了一种复合主干网络融合策略的图像增强算法,将不同图像增强算法中的主干网络进行融合,以提高整体网络的特征提取能力.该算法通过逐层融合来自不同主干网络的特征信息,将复合特征引导到解码器中,再充分利用不同的上采样方法,将主干网络融合的特征进行堆叠,最终生成正常光照条件下的图像.通过与现有的主流算法进行定量与定性的对比实验,结果显示,本文方法显著提升了微光图像的亮度,同时保留图像的细节特征,在峰值信噪比和结构相似性客观指标上,在LOL-V2数据集上达到了24.35 dB和0.871,有效解决了图像增强后的噪声凸显和细节丢失问题.

基于空间可变形Transformer的三维点云配准方法

针对低重叠场景下点云配准方法鲁棒性差、配准精度低的问题,提出一种基于空间可变形Transformer(SDT)的三维点云配准方法。设计多级分辨率特征的提取与融合方法,显式计算点云的局部空间关系。利用SDT模块增强点云空间特征的表达能力,聚合局部与全局的特征得到特征矩阵。计算两个特征矩阵的相似度矩阵并额外地为其添加边缘松弛块,有效降低了不可行匹配对配准鲁棒性的影响,同时对相似度矩阵进行归一化等计算得到软对应置信度矩阵,根据预测的对应点空间特征是否一致来寻找点云在低重叠场景下更精确的对应关系,使用直接定义在对应关系上的损失来训练网络,将软对应关系转换为一对一的硬匹配关系,最终通过随机抽样一致性刚性变换求解器执行配准。实验结果表明,在重叠率低于30%的3DLoMatch场景中,该方法的特征匹配召回率和配准召回率相比于高度关注重叠区域的成对点云配准等方法至少提高了3.7和3.9个百分点,并且具有较强的鲁棒性。

三标度层次分析法下的智慧城市指标体系裁剪方法

随着全国范围内智慧城市建设工作的加速推进,评价工作已成为智慧城市建设中一个重要的环节。该文梳理了国内外智慧城市评价方法和实践经验,并提出面向评价指标体系的裁剪方法,即构建主题指标体系,以制定出突出城市特色的评价指标体系用于城市测评工作。该方法主要包括四个部分:指标项管理、指标体系构建、主题评价体系初步框架构建和指标裁剪方法。并在2016版指标体系的基础上,构建了具有针对性的文明城市主题指标体系,用于国内中部6个省会城市的文明城市建设的评价分析。结果表明,与原始测评成绩相比,对于符合主题特点的城市,其成绩或排名有所提升,较为贴切地展现出城市发展的真实水平与城市特点。同时其测评结果可为城市发展提供辅助支撑,并为各级地方政府制定新型智慧城市的发展战略和规划提供数据支持。

基于优化LSTM网络的多区域协同流感预测方法

流感通常表现出季节性、急性起病和传播速度快的特点,因此对流感的准确预测至关重要。针对流感预测精度不佳和长短期记忆网络参数寻优困难导致耗时耗力的问题,提出了一种基于皮尔逊相关系数和采用蜣螂优化算法(DBO)优化长短期记忆网络(LSTM)的多区域协同流感预测方法(MRC-DBO-LSTM)。该模型不仅学习本地的历史数据,还学习与其强相关的区域的历史数据。首先,通过皮尔逊相关系数筛选与预测地强相关的区域,以得到更高维度的输入特征;其次,通过LSTM的门机制衡量这些区域数据的权重来进行特征融合;最后,引入蜣螂优化算法对长短期记忆网络的超参数(如隐藏层数、隐藏层节点数和迭代次数等)寻优,进而生成预测结果。对山西省流感发病率预测的实验结果表明,学习多区域历史数据的DBOLSTM模型的均方误差(MSE)仅为0.0038,与差分整合移动平均自回归(ARIMA)模型相比,MSE降低了99.6%;与季节性差分自回归滑动平均(SARIMA)模型相比,MSE降低了98.7%;与LSTM模型相比,MSE降低了71.0%,与仅使用本地历史数据的DBO-LSTM模型相比,MSE降低了48.6%。结果证明所提模型能够有效提高流感的预测精度。