双清一号(珞珈三号01星)多模式成像样例数据集

针对当前多数高分辨遥感卫星面向用户服务存在获取数据种类单一问题,该文公开了双清一号(珞珈三号01星)多模式成像样例数据集,涵盖了面阵推扫、面阵推帧和视频凝视等多种成像模式,包含城市、水体、山区、机场等不同目标区域的典型数据样本。该数据集由信号数据解码、Bayer插值、相对辐射校正、几何定位、视频稳像和3维重建等步骤处理构建;同时,对在轨定标、兴趣区产品快速生产、高清视频几何稳像和多角度3维重建等关键算法做了深入探讨和研究。最后,对样本数据集从图像标准产品、凝视视频产品和实景3维产品等3个方面进行了可视化展示和定量化精度评价。

基于双阶段元学习的小样本中医舌色域自适应分类方法

舌色是中医(TCM)望诊最关注的诊察特征之一。在实际应用中,通过一台设备采集到的舌象数据训练得到的舌色分类模型应用于另一台设备时,由于舌象数据分布特性不一致,分类性能往往急剧下降。为此,该文提出一种基于双阶段元学习的小样本中医舌色域自适应分类方法。首先,设计了一种双阶段元学习训练策略,从源域有标注样本中提取域不变特征,并利用目标域的少量有标注数据对网络模型进行微调,使得模型可以快速适应目标域的新样本特性,提高舌色分类模型的泛化能力并克服过拟合。接下来,提出了一种渐进高质量伪标签生成方法,利用训练好的模型对目标域的未标注样本进行预测,从中挑选出置信度高的预测结果作为伪标签,逐步生成高质量的伪标签。最后,利用这些高质量的伪标签,结合目标域的有标注数据对模型进行训练,得到舌色分类模型。考虑到伪标签中含有噪声问题,采用了对比正则化函数,可以有效抑制噪声样本在训练过程中产生的负面影响,提升目标域舌色分类准确率。在两个自建中医舌色分类数据集上的实验结果表明,在目标域仅提供20张有标注样本的情况下,舌色分类准确率达到了91.3%,与目标域有监督的分类性能仅差2.05%。

一种基于多尺度的目标检测锚点构造方法

目标检测是计算机视觉领域的研究热点和基础任务,其中基于锚点(Anchor)的目标检测已在众多领域得到广泛应用。当前锚点选取方法主要面临两个问题:基于特定数据集的先验取值尺寸固定、面对不同场景泛化能力弱。计算锚框的无监督K-means算法,受初始值影响较大,对目标尺寸较单一的数据集聚类产生的锚点差异较小,无法充分体现网络多尺度输出的特点。针对上述问题,本文提出一种基于多尺度的目标检测锚点构造方法(multi-scale-anchor,MSA),将聚类产生的锚点根据数据集本身的特性进行尺度的缩放和拉伸,优化的锚点即保留原数据集的特点也体现了模型多尺度的优势。另外,本方法应用在训练的预处理阶段,不增加模型推理时间。最后,选取单阶段主流算法YOLO(You Only Look Once),在多个不同场景的红外或工业场景数据集上进行丰富的实验。结果表明,多尺度锚点优化方法MSA能显著提高小样本场景的检测精度。

二阶逐层特征融合网络的图像超分辨重建

针对一些超分辨网络忽略了对网络各层次特征的复用以及融合的问题,构建了具有较强特征复用和融合能力的二阶逐层特征融合超分辨网络,以获得具有高分辨率、高保真度的重建图像。网络的核心是逐层特征融合模块,该模块通过特征融合操作增强特征的重用。此外,还提出了二阶特征融合机制,该机制在网络的局部和全局层次上采用逐层特征融合方法进行特征融合。实验结果表明该网络的重建图像在线条和轮廓上更清晰,并且在峰值信噪比和结构相似度上也取得了更好的结果。例如当缩放尺度因子为2时,各测试集上的峰值信噪比/结构相似度依次为38.20 dB/0.9612、33.81 dB/0.9195、32.28 dB/0.9010、32.65 dB/0.9324、39.11 dB/0.9779,相比其他模型有一定提升,从客观标准和主观角度证明了二阶逐层特征融合超分辨网络具有一定的优越性。

基于特征复用机制的航拍图像小目标检测算法

针对无人机(UAV)航拍图像检测存在的小目标检测精度低和模型参数量大的问题,提出轻量高效的航拍图像检测算法FS-YOLO.该算法以YOLOv8s为基准网络,通过降低通道维数和改进网络架构提出轻量的特征提取网络,实现对冗余特征信息的高效复用,在较少的参数量下产生更多特征图,提高模型对特征信息的提取和表达能力,同时显著减小模型大小.在特征融合阶段引入内容感知特征重组模块,加强对小目标显著语义信息的关注,提升网络对航拍图像的检测性能.使用无人机航拍数据集VisDrone进行实验验证,结果表明,所提算法以仅5.48 M的参数量实现了mAP0.5=47.0%的检测精度,比基准算法YOLOv8s的参数量降低了50.7%,精度提升了6.1%.在DIOR数据集上的实验表明,FS-YOLO的泛化能力较强,较其他先进算法更具竞争力.

基于视觉图像与激光点云融合的交通标志快速识别方法

交通标志对车辆交通起到重要作用和意义,而智能交通中交通标志识别由于标志特征提取效果差,导致识别率低、识别时间长,因此,提出一种新的基于视觉图像与激光点云融合的交通标志快速识别方法。采用双边滤波方法预处理原始激光点云数据;通过归一化处理得到视觉图像激光点云融合的目标空间激光点云位置测距数值;通过测距值获取目标图像位置,归一化处理交通标志视觉图像,引入k均值聚类算法二聚类处理图像,采用制作的切割模板切割图像感兴趣区域,提取交通标志图像的深度特征,结合卷积神经网络二次过滤特征,重新标定二次过滤后的特征,最终利用卷积神经网络模型实现交通标志快速识别;经实验对比证明,采用所提方法提取各个类型交通标志特征的提取效果较好,并且识别率达到89.74%,识别时间仅为13.1 s,干扰下识别时间最高仅为15.1 s,验证了该方法可以快速且准确识别各个类型的交通标志。

全局感知与稀疏特征关联图像级弱监督病理图像分割

弱监督语义分割方法可以节省大量的人工标注成本,在病理全切片图像(WSI)的分析中有着广泛应用。针对弱监督多实例学习(MIL)方法在病理图像分析中存在的像素实例相互独立缺乏依赖关系,分割结果局部不一致和图像级标签监督信息不充分的问题,该文提出一种全局感知与稀疏特征关联图像级弱监督的端到端多实例学习方法(DASMob-MIL)。首先,为克服像素实例之间的独立性,使用局部感知网络提取特征以建立局部像素依赖,并级联交叉注意力模块构建全局信息感知分支(GIPB)以建立全局像素依赖关系。其次,引入像素自适应细化模块(PAR),通过多尺度邻域局部稀疏特征之间的相似性构建亲和核,解决了弱监督语义分割结果局部不一致的问题。最后,设计深度关联监督模块(DAS),通过对多阶段特征图生成的分割图进行加权融合,并使用权重因子关联损失函数以优化训练过程,以降低弱监督图像级标签监督信息不充分的影响。DASMob-MIL模型在自建的结直肠癌数据集YN-CRC和公共弱监督组织病理学图像数据集LUAD-HistoSeg-BC上与其他模型相比展示出了先进的分割性能,模型权重仅为14 MB,在YN-CRC数据集上F1 Score达到了89.5%,比先进的多层伪监督(MLPS)模型提高了3%。实验结果表明,DASMob-MIL仅使用图像级标签实现了像素级的分割,有效改善了弱监督组织病理学图像的分割性能。

基于编解码多尺度特征优化的图像去雾算法

真实雾气不均匀分布的特点会导致基于合成数据集训练的网络对真实雾气下拍摄的图像的复原质量不佳.此外,现有去雾模型较大的网络参数量会影响去雾的实时性.针对这两个问题,提出一种参数量较低的基于编解码多尺度特征优化的图像去雾算法以去除真实场景下图像的雾气.首先,在编码部分利用跨通道上下文注意力隐式地建模像素间的关系,以恢复去雾后图像中物体的结构.然后,设计信息调节子网弥补编码器遗漏的浅层信息,解决细节恢复粗糙的问题.最后,在解码部分设计特征矫正子网,采用相减式残差结构减少噪声,保证输出结果的正确性.在多种真实雾数据集上,对所提方法的普适性进行实验.实验结果表明:在REVIDE真实雾数据集中,与MSBDN方法相比,所提方法在参数量降低46%的基础上获得了PSNR 1.25dB的提升;在OHaze、I-Haze以及RTTS多种室内外真实雾测试集中,与其他去雾方法相比,所提方法都取得了更好的PSNR结果和视觉效果.

Dual-Path Vision Transformer用于急性缺血性脑卒中辅助诊断

急性缺血性脑卒中是由于脑组织血液供应障碍导致的脑功能障碍,数字减影脑血管造影(DSA)是诊断脑血管疾病的金标准。基于患者的正面和侧面DSA图像,对急性缺血性脑卒中的治疗效果进行分级评估,构建基于Vision Transformer的双路径图像分类智能模型DPVF。为了提高辅助诊断速度,基于EdgeViT的轻量化设计思想进行了模型的构建;为了使模型保持轻量化的同时具有较高的精度,提出空间-通道自注意力模块,促进Transformer模型捕获更全面的特征信息,提高模型的表达能力;此外,对于DPVF的两分支的特征融合,构建交叉注意力模块对两分支输出进行交叉融合,促使模型提取更丰富的特征,从而提高模型表现。实验结果显示DPVF在测试集上的准确率达98.5%,满足实际需求。

小样本元学习网络在海上船舶识别中的应用

为提高多场景环境下的海上船舶目标识别的准确率,提出了一种基于小样本元学习网络的海上船舶识别算法。首先,利用一组共享权重的卷积神经网络VGG-16和Swin Transformer网络将海上船舶图片映射到深度全局和局部特征空间,构造多尺度特征;然后,借助船舶图片的真实mask分离目标船只的前景和背景,并利用一种粗细结合的语义学习策略获取前景和背景区域中目标的类特定语义表示;最后,利用一种无参数的度量学习计算所学类特定语义表示与查询图片中目标映射特征之间的相似度,根据相似度值预测目标特征图对应的目标区域。通过在构建的远洋船舶数据集和开源数据集HRSC2016上进行测试,所提模型分别可以实现81.64%和78.93%的平均交并比(Mean Intersection over Union, mIoU),相比主流的海上船舶识别模型具有更好的性能。

基于内外混合图像先验与图像融合的DIP改进降噪模型

为提高无监督深度图像先验(DIP)降噪模型的降噪性能,该文提出了一种基于内外混合图像先验与图像融合的DIP改进降噪模型(IDIP),该模型由样本生成和样本融合两个相继执行的模块组成。在样本生成阶段,首先利用2个分别来自内部和外部先验且有代表性的降噪算法(模型)处理噪声图像以产生2张初始降噪图像。基于这2张初始降噪图像,使用空间随机混合器按照各自50%混合比例随机生成足够多的混合图像作为DIP降噪模型的第2目标图像并与第1目标图像(即噪声图像)构成双目标图像。然后,每次使用不同的随机输入和双目标图像,多次执行标准DIP降噪流程生成多张具有互补性的样本图像;在样本融合阶段,首先为了获得更好的随机性和稳定性,随机丢弃50%的样本图像。然后,采用无监督融合网络在样本图像上完成自适应融合,获得的融合图像的图像质量相对参与融合的样本图像得到再次提升,作为最终降噪图像。在人工合成噪声图像上实验表明:IDIP降噪模型较原DIP降噪模型在峰值信噪比评价指标上有约2 dB的提升,且较大幅度超过了其他无监督降噪模型,逼近了有监督降噪模型。而在实际真实噪声图像上,其降噪性能较各对比方法更具鲁棒性。

一种融合个性化细胞关系和背景信息的宫颈细胞分类方法

宫颈细胞分类在宫颈癌辅助诊断中发挥着重要的作用。然而,现有的宫颈细胞分类方法未充分考虑细胞关系和背景信息,也没有模拟病理医生的诊断方式,导致分类性能较低。因此,该文提出了一种融合细胞关系和背景信息的宫颈细胞分类方法,由基于细胞关系的图注意力分支(GAB-CCR)和背景信息注意力分支(BAB-WSI)组成。GAB-CCR采用细胞特征间的余弦相似度,首先构建相似和差异细胞关系图,并利用GATv2增强模型对细胞关系建模。BAB-WSI使用多头注意力模块捕捉涂片背景上的关键信息并反映不同区域的重要性。最后,将增强后的细胞特征和背景特征融合,提升了网络的分类性能。实验表明,相比于基线模型Swin Transformer-L,所提方法在准确率、敏感度、特异性和F1-Score分别提高了15.9%,30.32%,8.11%和31.62%。

结合特征融合与增强注意力的少样本目标检测

为了更充分地利用支持特征和查询特征中的关键信息,提出一种基于特征融合和增强注意力的少样本目标检测方法FFA-FSOD(Feature Fusion and enhanced Attention Few-Shot Object Detection)。首先引入迭代注意力特征融合(iAFF)模块,以有效融合支持图像和查询图像的关键特征;其次在iAFF模块后添加特征增强操作,充分利用支持特征信息对查询图像中的目标特征进行增强。为避免上述两次处理可能导致的查询图像特征部分细节信息的丢失,对iAFF模块中的多尺度通道注意力模块(MS-CAM)进行改进,以捕获更多的上下文信息。在MS COCO数据集上的实验结果表明,在2-way 10-shot条件下,与小样本目标检测(FSOD)方法相比,加入iAFF模块、特征增强操作并改进MS-CAM后,FFA-FSOD的平均精度均值(mAP)提升了8.0%。实验结果验证了所提特征融合增强方法充分关注到了特征中的细节信息,从而实现了更好的少样本目标检测效果。

基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估

与从现实场景中拍摄的自然图像不同,屏幕内容图像是一种合成图像,通常由计算机生成的文本、图形和动画等各种多媒体形式组合而成.现有评估方法通常未能充分考虑图像边缘结构信息和全局上下文信息对屏幕内容图像质量感知的影响.为解决上述问题,本文提出一种基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估模型.首先,使用高斯拉普拉斯算子构造由失真屏幕内容图像高频信息组成的边缘结构图,然后通过卷积神经网络(Convolutional Neural Network,CNN)对输入的失真屏幕内容图像和相应的边缘结构图进行多尺度的特征提取与融合,以图像的边缘结构信息为模型训练提供额外的信息增益.此外,本文进一步构建了基于Transformer的多尺度特征编码模块,从而在CNN获得的局部特征基础上更好地建模不同尺度图像和边缘特征的全局上下文信息.实验结果表明,本文提出的方法在指标上优于其他现有的无参考和全参考屏幕内容图像质量评估方法,能够取得更高的主客观视觉感知一致性.

改进U_Net网络的钢结构表面锈蚀图像分割方法

为实现锈蚀图像分割网络模型轻量化,同时消除非单一特征背景和锈液等类似特征背景干扰,本文将U_Net网络模型的编码部分替换为MobilenetV3_Large网络,导入基于ImageNet数据集的MobilenetV3_Large网络预训练权重,将U_Net网络模型解码部分的普通卷积替换为深度可分离残差卷积,并在上采样的过程中添加注意力导向AG模块和Dropout机制。经实验验证表明,本文设计的改进U_Net网络模型在非单一特征背景和锈液等类似特征背景干扰下,具有明显的锈蚀图像分割优势,相比于原U_Net网络模型,模型大小减少了81.18%,浮点计算量减少了98.34%,检测效率提升了3.27倍,即从原来不足6 fps,提升至19 fps。网络模型实现轻量化的同时,网络模型的准确率达95.54%,相比于原U_Net网络模型提升了5.04%。

综合孔径微波辐射计的射频干扰源空间角度稀疏贝叶斯估计方法

该文提出一种综合孔径微波辐射计射频干扰源(RFI)空间稀疏贝叶斯估计方法。首先建立了综合孔径微波辐射计可见度函数干涉测量模型,观测数据表示为综合孔径天线基线对相关导向矢量观测矩阵与视场亮温的乘积,由于相关导向矢量观测矩阵的正交性和RFI空间角度分布的稀疏性,亮温在基线对相关导向矢量观测矩阵正交基所构成的支撑域中的变换系数是稀疏的。该文在稀疏贝叶斯学习(SBL)框架下对亮温进行稀疏重构。该方法在无需稀疏度和正则化参数等先验信息前提下也能获得较高的重构性能。计算机仿真验证了该方法的有效性。

沉浸式视频编码技术综述

随着虚拟现实、增强现实等沉浸式媒体技术的发展,沉浸式视频的表示、存储、传输和显示等各个环节都受到了科研及产业界的广泛关注。沉浸式视频更复杂的视频特性和庞大的数据量,对传统视频编码技术提出了挑战,新的编码技术应运而生。该文从视频自由度(DoF)出发,分别从3DoF和6DoF两个方面介绍沉浸式视频编码技术的最新成果。3DoF视频相关编码技术包括投影模型、运动估计模型和3DoF视频编码标准。6DoF视频相关编码技术包括视频表示形式、虚拟视点合成技术、6DoF视频编码技术及运动图像专家组沉浸式视频(MPEG,MIV)编码标准。最后,对沉浸式视频及其编码技术的发展进行总结和展望。

基于深度学习的视频修复方法综述

视频作为常见的媒体信息之一,目前已在各个领域得到广泛应用。尤其是以抖音等为代表的短视频软件的兴起,使得与视频相关的技术不断迭代更新。其中,视频修复技术是视频处理研究中的一个热点。视频修复技术是利用视频帧内的像素信息和帧间的时域参考信息对视频帧受损的区域进行内容推理并修复,在补全缺损视频、物体移除及视频伪造检测等场景中具有广泛应用前景。该技术可追溯到二十世纪末的老电影修复技术,该任务通常由专业的技术团队逐帧修复完成。而随着数字技术的发展,近年来已有一些人工智能技术用于视频修复,让老电影重获新生。目前,视频修复技术可分为传统方法和基于深度学习的两类方法。其中,传统方法由于缺少对高层语义信息的理解,在场景复杂、缺失区域较大的情况下修复效果不佳;而基于深度学习的方法随着算法框架的优化和图形处理器性能的提升展现了出色的效果,对修复结果的语义结构准确性和时间一致性都有明显的提升。本文在简要回顾传统视频修复方法的基础上,重点分析四类基于深度学习视频修复方法的网络结构、参数模型、性能表现与优缺点;介绍视频修复领域中常用的数据集和评价指标;最后,对视频修复领域现存的问题进行总结并展望未来可能的研究方向。

基于多尺度分解的双曝光图像融合方法

为了有效地提高可见光成像设备的动态范围,降低融合图像的质量对源图像数量的依赖,提出了一种基于多尺度分解的双曝光图像融合算法。该方法只需要一组欠曝光和过曝光图像作为源图像,通过曝光融合即可得到一幅包含丰富信息的图像。首先,依据欠曝光图像和过曝光图像自身的特点,分别进行了自适应曝光调整,充分挖掘图像中潜在的细节信息。然后,提取图像序列的边缘强度、曝光适宜度和色彩饱和度作为评价指标,进而构建出融合权重图。最后,通过金字塔多尺度分解和加权融合得到融合图像。实验选取了15组图像序列,分别从主观和客观两个方面与4种具有代表性的算法进行了对比。实验结果表明,本文算法相比于其他算法,图像质量综合提升了4.9%,具有更强的细节信息保留能力。

高分辨率特征保持的头部姿态软阶段回归算法

针对在头部姿态估计推理过程中由于上下采样操作而导致的姿态特征损失问题,提出了一种高分辨率特征保持的头部姿态软阶段回归算法。该算法首先利用编码器HR-Net对原始人脸图像进行高分辨率特征保持的多尺度特征编码,并在其卷积块中加入TA维度交互模块以捕获更多空间与通道之间的交互信息;然后使用解码器SSR-Net算法对HR-Net输出的不同尺度特征图进行关键参数解码和头部姿态软阶段回归,并引入了高效通道注意力ECA以加强特征通道间的信息交互,减少冗余特征。实验结果表明,所提算法在公开数据集AFLW2000和BIWI上均有优秀表现,其MAE分别降低至4.19和3.00。