基于DDE-BIT的无人机高速公路护栏损坏检测

针对现有方法对无人机高速公路护栏损坏检测存在边缘信息提取效果差、识别精度低的问题,提出一种基于深度学习的变化检测模型DDE-BIT。首先,采用深度可分离卷积优化主干网络Resnet18,减少模型的参数数量,降低计算成本;然后,在主干网络输出部分引入ECA注意力模块,在仅增加少量参数的情况下提高模型的跨通道信息捕捉能力;最后,通过跳跃连接方式对BIT双时空图像转换器的输出特征进行堆叠,提高模型的上下文信息理解能力。以采集的无人机高速公路护栏损坏图像为实验数据,实验结果表明:DDE-BIT模型的交并比和F1分数分别为90.99%、95.28%,相较于原始模型分别提高了2.71%、1.51%,能够有效地提取护栏损坏的边缘信息。

UMTransNet:结合U-Net和多尺度感知Transformer的图像拼接定位方法

当前基于深度学习的图像拼接定位方法大多只关注深层次特征,且感受野有限,忽略了浅层次特征,影响图像拼接定位的准确性。针对上述问题,文中提出一种结合改进U-Net和多尺度多视角Transformer的图像拼接定位网络UMTransNet。改进U-Net模型的编码器,将编码器中的最大池化层替换成卷积层,防止浅层次特征的流失;将多尺度多视角Transformer嵌入到U-Net的跳跃连接中,Transformer的输出特征与U-Net的上采样特征进行有效融合,实现深层次特征与浅层次特征的平衡,从而提高图像拼接定位的准确性。通过可视化检测结果图显示,所提方法在定位拼接篡改区域方面表现得更加出色。

融合注意力机制的YOLOv8-TS交通标志检测网络

道路交通标志识别是自动驾驶、车联网的重要组成部分,为进一步提高交通标志检测的精度和速度,提出一种基于YOLOv8s改进的YOLOv8-TS道路交通标志检测网络。首先,对YOLOv8s进行了整体的轻量化设计,并设计了Conv-G7S和CSP-G7S模块,减少了网络的参数量;其次,设计了CSP-SwinTransformer模块,强化了模型利用窗口内的特征信息进行上下文感知和建模的能力;然后,在颈部网络融合了卷积注意力机制(CBAM),强化了模型对不同通道、空间权重信息的学习;最后,对损失函数进行了改进,提升了边界框回归性能。实验结果表明,在中国道路交通标志TT100K数据集上,精确率(Precision)、平均精度(mAP@0.5)分别提高了6.9%、3.7%,而改进后模型的参数量下降了75.4%,模型的大小仅为5.8 MB,平均精度(mAP@0.5)达到96.5%,检测速度由126.58 f/s提升至136.99 f/s。

遥感军事坦克轻量化检测的MSG-YOLOv7算法

针对遥感图像下军事坦克检测模型体积大、计算量大等问题,提出一种轻量化的遥感军事坦克目标检测算法MSG-YOLOv7。首先,MSG-YOLOv7采用MobileNetv3作为主干网络,利用倒残差结构和自适应缩放的方法对特征进行提取,以减小模型的体积大小与运算量;其次,设计SD-MP结构来提高细节特征表达能力,解决因下采样操作导致的小目标特征丢失问题;最后,基于GCNet和深度可分离卷积设计出GD-ELAN模块,通过全局上下文建模来增强模型对长距离关系的感知,在轻量化的同时更有效地捕捉全局信息,提高模型的性能。实验结果表明,MSG-YOLOv7在公开的Google Earth遥感军事坦克数据集上的平均检测精度(AP)达到了99.02%,体积较原模型下降了60%,计算量为18.59 GFlops,FPS达到41,证明该模型适用于要求高性能、高速度和较小模型体积的遥感军事坦克检测场景中。

DCFF-Net:基于人体骨骼点的双流跨级特征融合动作识别网络

在基于骨骼的动作识别任务中,骨骼点特征对于动作识别来说至关重要。针对现有方法存在输入特征不足、特征融合策略粗糙、参数量大等问题,提出一种基于人体骨骼点的双流跨级特征融合网络。首先,针对特征输入,用欧氏距离骨架特征(EDSF)和余弦角度骨架特征(CASF)两种局部关节特征来表征人体骨骼序列,帮助网络识别不同体态和体态相似的人体动作;其次,考虑到部分动作类别的运动轨迹与全局运动的相关性,引入全局运动特征(GMF)弥补局部关节特征在此类动作上识别精度不足的问题;此外,为了加强不同特征之间的信息交互,提出一种跨级特征融合模块(CLFF),对不同特征层、不同属性的动作特征进行特征互补,丰富了网络的特征形式;最后,网络采用一维卷积(Conv1D)进行搭建,减轻了模型的计算负担。实验结果表明,所提模型在JHMDB身体动作数据集上获得了84.1%的识别准确率,在SHREC手势动作数据集上分别获得了97.4%(粗糙数据集)和95%(精确数据集)的识别准确率,取得了与先进方法相当的性能。

多头自注意力机制的Faster R-CNN目标检测算法

文中提出一种融合多头注意力机制、ROIAlign和Soft-NMS的FasterR-CNN目标检测算法,旨在解决原始Faster R-CNN目标检测网络中存在的检测精度低、漏检、误检的问题。首先,为了提高Faster R-CNN的感知能力,提取特征图中的重要特征并降低对无关特征的提取,在网络中嵌入注意力机制;接着,针对共享全连接层的降维操作导致的一些区域的细节信息被忽略,造成局部信息的丢失,采用一维卷积代替共享全连接层实现权重计算的任务,以捕捉更广泛的空间信息;然后为了提供更丰富的特征表达能力,在注意力机制中引入多头机制分别对特征的不同部分进行重要性的加权;为了减少在特征提取时原图信息的丢失,使用ROI Align替换ROI Pooling算法;最后,在算法后处理中引入Soft-NMS替换传统非极大抑制(NMS)算法以减少漏检和误检情况。实验证明,改进后的Faster R-CNN目标检测网络对感兴趣目标的定位能力得到提高,漏检和误检情况减少,平均检测精度得到显著提升。

改进YOLOv7-tiny与D-S理论结合的实验室人员行为检测研究

针对目前实验室场景缺少对人员行为检测的方法,且主流算法精度低、误检率高的问题,文中提出一种改进YOLOv7-tiny的人员行为检测算法,并通过多源信息融合,提高人员行为在实际实验室场景中的识别准确率。首先,在检测算法主干网络引入GhostNetV2轻量化网络,进一步降低模型计算量和复杂度;其次,在颈部网络嵌入改进后的CBAM_E注意力模块,加强目标重要特征的提取;再次,在预测端使用SIoU替换原有的损失函数,减少角度因素和边界框回归精度的影响。检测结果表明,相较于YOLOv7-tiny,文中算法精度提升10.08%,模型参数量和复杂度分别下降36.45%和46.76%。最后通过将检测数据与传感器采集数据运用D-S证据理论进行信息融合后发现,人员不规范行为检测的误检率得到有效降低。结果表明,该方法可实现对实验室人员不规范行为的有效检测。

基于K-SVD算法的数字图像自适应修复方法

为了提升数字图像的完整性和清晰度,提出一种基于K-SVD算法的数字图像自适应修复方法。通过FCM算法将数字图像划分成不同的图像块,将不同类别的数字图像依据K-SVD算法的稀疏编码和字典更新模块进行训练,获取各个不同类别数字图像块的字典,求出其稀疏系数,结合字典和稀疏系数更新数字图像中的每一类图像块,完成数字图像中每一类图像块的修复或重构,将修复好的图像块放回原数字图像中,实现数字图像的自适应修复。实验结果表明,该方法能够有效地恢复图像的细节和结构,修复后的数字图像均方根误差低,并且具有较高的峰值信噪比,同时,修复后的数字图像与原图像的结构相似性高达0.95,且在数字图像修复效率方面具备显著优势。

基于CB-ViT的青少年视线估计算法研究

视线估计技术在人机交互、虚拟现实和医学辅助诊断等领域有着广泛应用。然而,现有的公开数据集主要针对成年人,导致基于这些数据集训练的视线估计算法在应用于青少年群体时效果通常不尽如人意。为了解决这一问题,收集了一个名为“Young-Gaze”的青少年视线数据集,涵盖了107位青少年的视线数据。还提出了一种2D视线估计算法,该算法基于ViT并引入了一个名为上下文广播的模块,同时通过融合左眼和右眼的不同层次特征,显著增强了网络模型在特征表达上的能力。在实验中,该算法在Young-Gaze数据集上展现了出色的性能,达到了5.42 cm的误差,性能优于当前其他同类2D视线估计算法。除了在Young-Gaze数据集上取得显著性能外,该算法同样在公开的2D视线估计数据集如GazeCapture和MPIIFaceGaze上进行了训练和测试,也展现了良好的性能,表明该算法不仅适用于青少年群体,也能够在成人群体中得到有效应用。

基于改进EfficientNetB0模型的葡萄叶部病害识别方法

为了高效、准确地识别葡萄叶部病害,文中提出了LE-EfficientNet模型,在EfficientNetB0模型基础上,采用大核注意力(LKA)机制替换原模型部分MBConv模块中的压缩激励网络(SENet),接着利用跳跃连接在最后一层卷积层后面融入高效通道注意力机制(ECA),结合三种注意力机制让网络更高效地提取葡萄叶部病害的局部重要信息,并引用Adam优化器替换原模型的SGD优化器,提升了分类模型的泛化能力。在PlantVillage葡萄叶部病害数据集上训练,结果表明,LE-EfficientNet模型相比原模型准确率提升了1.58%,总体精度提升了1.62%,召回率提升了1.46%,F_(1)分数提升了1.53%,并且参数量仅有10.18 MB,比原模型参数量降低2.7 MB,与其他经典网络模型相比,性能评估指标均有不同程度的提升,该研究为葡萄叶部病害识别提供了新的参考与借鉴。

基于PSN-YOLOv7的光学遥感图像目标检测

针对光学遥感图像因目标尺度差异大,小目标特征信息不足导致的检测精度低、误检、漏检问题,文中提出一种基于PSN-YOLOv7的光学遥感图像目标检测方法。首先,增加一个160×160的小目标检测层,增强网络的多尺度目标检测能力;其次,提出改进的ELAN-P和ELAN-WS模块,在减少计算量和参数量的同时,增强全局理解能力减少目标特征信息的损失,有效改善误检;最后,提出MNI损失函数改进YOLOv7的CIoU位置损失函数,抑制小目标造成网络损失不平衡的影响,从而减少目标漏检的情况。在DIOR公开遥感图像数据集上进行训练与测试,实验对比结果表明,所提方法检测精度mAP@0.5为92.3%,比YOLOv7网络提高了3.2%,且计算量和参数量与原YOLOv7网络相当,提升检测精度的同时保证了网络的性能平衡。

基于短距离跳跃连接的U2-Net+医学图像语义分割

医学图像分割是保障发展智慧医疗系统的先决条件之一。由于原U2-Net+网络的跳跃连接只关注同分辨率所提取的特征,所以在设计时借鉴FR-UNet网络加入中间层,接收深层的上下文信息与浅层提取的高分辨率特征进行整合;并在中间层的下采样使用非对称空洞空间卷积金字塔代替,增加网络模型训练时对边缘信息的关注,并在结构最后加入阈值增强模块,加强对细小特征边缘的识别与分割;同时加入到上采样中,帮助网络更好地提取多尺度特征,增加上下文语义关联。根据正负样本不均衡和难易不同的问题设计了组合的损失函数来监督网络优化。实验结果表明,所提算法在DRIVE、STARE+CHASE_DB1数据集上的F1分数分别提高了1.8%与4.2%,在ISIC2018数据集上的DSC分数提高了2.3%。对分割结果进行可视化后表明,该网络在样本较小的情况下可以充分提取到更加精确的边缘信息和细小的特征信息,提高语义分割的效果,所提算法在医学图像语义分割任务上有更好的表现。

基于双目立体视觉的多分辨率图像匹配方法研究

在双目立体视觉系统中,面对复杂场景时噪声会损害图像特征,增加提取难度,导致匹配精度和鲁棒性下降。因此,文中提出基于双目立体视觉的多分辨率图像匹配方法,旨在从不同尺度图像中有效获取信息并实现高精度匹配。该方法利用双目立体视觉模型的双目旋转相机扫描目标并进行成像,根据内、外空间标定提升双目旋转相机的位置精度,保证目标的多分辨率成像效果;将其输入金字塔立体匹配网络中,通过网络中的类金字塔多空洞卷积操作提取双目图像特征,在此基础上,基于可变卷积增强其纹理特征细节;结合细粒度特征和互注意力机制完成双目图像匹配。测试结果显示,空间标定后,左、右两个相机的成像误差最小值分别为0.6 Pixel和0.4 Pixel;匹配点坐标偏差均值和坐标偏差方差值分别低于0.012和0.011,匹配效果良好。

基于细节增强和多颜色空间学习的联合监督水下图像增强算法

由于水下特殊的成像环境,水下图像往往具有严重的色偏雾化等现象。因此文中根据水下光学成像模型设计了一种新的增强算法,即基于细节增强和多颜色空间学习的无监督水下图像增强算法(UUIE-DEMCSL)。该算法设计了一种基于多颜色空间的增强网络,将输入转换为多个颜色空间(HSV、RGB、LAB)进行特征提取,并将提取到的特征融合,使得网络能学习到更多的图像特征信息,从而对输入图像进行更为精确的增强。最后,UUIE-DEMCSL根据水下光学成像模型和联合监督学习框架进行设计,使其更适合水下图像增强任务的应用场景。在不同数据集上大量的实验结果表明,文中提出的UUIE-DEMCSL算法能生成视觉质量良好的水下增强图像,且各项指标具有显著的优势。

改进RRPN模型的遥感图像目标检测

针对遥感目标背景复杂、易受外界环境干扰,传统方法无法满足复杂场景下的检测高精度与实时性要求的问题,提出基于改进RRPN模型的遥感图像目标检测方法。首先,将特征金字塔(FPN)架构引入到了模型的残差网络中,使得遥感图像的高、低层特征得到了有效融合;其次,在特征提取网络中添加了通道和空间相融合的注意力机制(CBAM),提升了模型在遥感图像目标特征提取方面的跨通道和空间处理能力;此外,将剔除重叠建议框时的原始NMS算法优化为DIoUNMS算法,综合考虑遥感图像候选框之间的重叠度、距离、尺度大小等因素,使目标框的回归过程更加稳定。对比实验与消融实验显示,所提方法在公共数据集DOTA和HRSC2016上获得的平均精度均值mAP分别可高达77.30%、90.24%,较原始RRPN模型分别提高了8.29%、11.16%,且优于其他几种较新的经典模型,表明所提方法对于复杂环境下的遥感图像目标检测是合理且有效的。

光照不均匀条件下无人机航拍低照度图像增强方法

增强图像时高低频参数未增强,没有更好地保留图像的细节和平衡图像的亮度,因此,提出一种光照不均匀条件下无人机航拍低照度图像增强方法。首先通过高斯滤波预处理无人机航拍图像,实现无人机航拍图像中的噪声抑制,将预处理后的图像通过小波分解得到图像的高频参数和低频参数,分别通过双边滤波算法、软阈值方法和直方图对图像的低频参数和高频参数进行增强,采用小波重构对增强后的图像高频参数和低频参数进行重构,得到增强后的无人机航拍图像。通过实验验证,该方法能够实现一种效果较好的图像增强,在原始图像基础上,通过文中方法增强原始亮度8.14%、对比度提高了37.90%以及清晰度增加了31.01%,使得图像的整体质量得到了显著提升,为后续的图像分析、处理提供了更加准确、丰富的信息。

基于SIFT-GMLBP的动态图像视觉信息提取研究

为了精确地提取动态图像特征,为动画设计师提供更全面、更准确的视觉信息,文中提出基于SIFT-GMLBP的动态图像视觉信息提取方法。以关键点为像素中心,采用局部二值模式(LBP),通过比较其与邻域的灰度值获取LBP码,实现动态图像局部纹理特征捕捉;根据网格化LBP(MLBP)进一步将动态图像中的像素邻域划分为多个网格,使每个网格产生一个LBP值,降低特征向量的维数;结合Gabor滤波器,通过多尺度和多方向的纹理分析,提取动态图像在不同频率和方向上的局部结构信息,整合所有Gabor滤波器响应图像的GMLBP特征,形成包含原始动态图像在不同尺度和方向上的丰富纹理信息的特征向量。实验结果表明:该方法提取的关键点数量和分布非常合理,具有较高的稳定性和动态信息捕获能力,且该方法每秒能够处理高达30帧的图像。

USformer-Net:基于U-Net和Swin Transformer的脑部MRI图像质量评价方法

针对现有的脑部MRI图像质量评价方法准确率低、难以应用于实际临床环境中的问题,提出一种基于提取感兴趣区域的脑部MRI图像质量自动评价模型USformer-Net,并创建了带有主观质量评价标签的脑部MRI图像数据集。USformer-Net模型基于U-Net和Swin Transformer模型构建并针对脑部MRI图像的特殊性进行了改进。首先,利用轻量化的U-Net网络对具有临床诊断价值的大脑主要区域进行分割,提取出感兴趣区域;其次,利用Swin Transformer的串联窗口自注意力运算(W-MSA)、滑动窗口自注意力运算(SW-MSA)以及其特征融合方式,将特征金字塔(FPN)、兴趣区域匹配(ROI Align)及全连接网络(FC)结合在Swin Transformer骨干特征提取网络中进行图像质量评价。USformer-Net模型能够忽略无关噪声,准确提取出影响诊断的主要区域并进行图像质量评价。实验结果表明,在MRI图像质量评价任务中该模型准确率为87.84%,精度为91.84%,召回率为92.05%,F1-score为91.99%,相较于其他评价方法各项指标均有不同程度提升。最终结果显示该模型能够有效保证脑部MRI图像质量评价的准确性,创建的带有主观质量评价标签的数据集也为该领域的研究提供了更好的数据支持。

基于Faster R-CNN的航拍图像中绝缘子识别

为了解决传统绝缘子识别方法存在适用性不强、识别效率低的问题,结合深度卷积神经网络思想,提出一种从电网巡检航拍图像中自动识别绝缘子的方法。应用Faster R-CNN框架,结合电网巡检航拍图像数据库,构建绝缘子识别系统,自动识别航拍图像中的绝缘子,并分析不同模型和参数对识别精确度的影响。实验结果表明,相比于传统航拍绝缘子识别方法,采用深度卷积神经网络对航拍绝缘子进行学习和识别,具有较高的识别准确率和效率,可以很好地识别各种类型的绝缘子,识别性能大幅度提高。

基于RGB-D的深度图像修复算法研究

针对Kinect设备获取的原始深度数据不稳定的缺点,尤其是存在较大噪声及空洞的问题,文中提出结合彩色图引导填充空洞并滤波的深度修复算法。利用灰度图分离出空洞区域,并进行区域标记;分析判断空洞点的位置,结合彩色图对空洞进行填充;针对图像边缘部分的噪声,采用改进的中值滤波算法,滤除噪声。与目前主要的深度滤波修复的方法相比,所提算法充分利用了深度数据与彩色图,并在处理过程中使用大量的基本图像处理算法。实验结果表明,所提算法很好地解决了空洞与噪声的问题,能够较好地修复深度数据。