基于多尺度3D-CT特征预测肾细胞癌组织亚型和WHO/ISUP分级模型的构建与验证

目的 探讨基于多尺度3D-CT特征构建的模型能否为肾细胞癌(RCC)组织亚型和WHO/ISUP分级提供稳健的预测。方法 回顾性分析来自4个医疗中心的507例经术后病理证实为RCC的患者,将其分为训练集(中心1~3,346例)、内部验证集(中心1~3,87例)和外部测试集(中心4,74例)。构建的预测模型包含以下模块:由3D-UNet构建的肾脏-肿瘤语义分割模型、基于感兴趣区域的多尺度特征提取器以及由XGBoost算法构建的2个分类器。另外,采用五折交叉验证和多中心外部测试的策略验证和测试模型的稳定性和泛化能力。最后,通过计算单一特征的SHAP量探索每个特征对模型决策的贡献。结果 无论RCC组织亚型还是WHO/ISUP分级预测,相比单期相CT模型,多期相CT模型的准确率和效能都更加优秀。在预测RCC组织亚型模型中,五折交叉验证的AUROC分别为0.86、0.85、0.88、0.88和0.89,最优模型的内部验证集和外部测试集AUROC分别为0.89和0.75。而对于WHO/ISUP分级的预测模型,五折交叉验证的AUROC分别为0.81、0.82、0.79、0.73和0.81,最优模型的内部验证集和外部测试集AUROC分别为0.82和0.73。在模型的可解释性分析上,一阶统计量和灰度矩阵特征分别为RCC组织亚型预测模型贡献量排名第一、二的特征;而在WHO/ISUP分级预测模型中一阶统计量则发挥了最重要的作用。结论 基于多尺度3D-CT特征构建的模型可为术前评估RCC组织亚型和WHO/ISUP分级提供一个强有力的预测。

基于多尺度特征融合的YOLOv3行人检测算法

随着深度学习技术在计算机领域的普及与推广,行人检测技术得到进一步的提升,但在一些场合仍然存在较大的问题,例如行人大小尺度不一、密集行人的检测,在以上两种情况下,行人检测性能剧烈下降,存在较多的漏检、错检的情况。针对行人大小尺度问题,论文提出在YOLOv3算法的特征提取网络中引入多尺度特征融合模块,改变原来多个卷积层堆叠的残差单元,增加特征提取网络深度,提升网络对不同尺度的行人特征提取能力,从而提升行人检测算法的检测精度和鲁棒性。实验表明,在Caltech、On_merge数据集进行训练,改进算法的平均精准率比基准算法分别高出其5.49%,2.26%。

改进YOLOv3的多尺度高分辨率特征增强图像目标检测

针对目标检测存在背景复杂,遮挡严重,尺度大小不一的问题,本文基于YOLOv3进行改进,提出了一种多尺度高分辨率的特征融合网络YOLOv3-F.首先,在backbone和neck之间添加空间金字塔池化结构(Spatial Pyramid Pooling),特征图经过局部特征与全局特征相融合后,丰富了特征图的表达能力,有利于待检测图像中目标大小差异较大的情况;其次,三尺度检测层增加为四尺度检测层,通过高分辨率特征图位置信息的保留,提高小目标识别的精度.最后,将YOLOv3损失函数改为CIoU,提高目标检测框回归的效率,降低目标漏检率.将改进算法在自制数据集COCO-CT6上进行试验,误检率降低1.8%,精度提高了3.6%.

基于点云稀疏空间特征聚合激励的单阶段3D目标检测模型

针对目前基于点云的3D目标检测中单阶段体素法存在感受野固定、特征尺度单一,导致模型对点云特征学习不够充分、模型检测效果存在瓶颈等问题,提出了一种可端对端训练的基于体素的单阶段3D目标检测模型.首先,利用多尺度稀疏空间特征聚合模块,聚合点云在不同稀疏空间尺度上的特征,使特征充分保留点云的空间信息;然后,对特征进行分层激励,通过多尺度感受野对特征进行分层学习,强化特征的表达能力,降低噪声信息对检测结果的影响;最后,将特征输入检测头进行候选框的分类和回归.在公开的自动驾驶数据集KITTI上与主流单阶段3D目标检测模型进行了对比实验,包含对3类目标共9个的难度等级目标的检测.所提模型在其中5个等级中的平均准确率有明显提升,尤其对点云稀疏的目标,表现出较好的检测效果.实验结果表明,所提模型能够充分提取点云空间信息并有效地学习点云多尺度特征.

多尺度3D智慧城市建筑智能检测方法创新研究

为应对智慧城市、智能导航、自动驾驶的快速发展,提高3D智慧城市建筑检测。研究建立基于时空数据的多尺度模型,以应用于城市建筑检测。结果表明,将平均坡度阈值设为53°,以识别和去除小植被,提高建筑检测精度。当特征阈值为62时,误差最小;当特征阈值为78时,误差较特征阈值62仅增加0.1%,因此建议将特征阈值选取范围设定为62~78,以保证建筑模型的检测精度。建筑物检测的平均完整率、正确率和精度分别为88.9%、94.1%和90.6%,在区域2中的检测性能较好。

基于多尺度特征融合的轻量化道路提取模型

针对当前用于遥感图像道路提取领域的语义模型存在计算复杂度较高、道路提取效果不佳的问题,提出基于多尺度特征融合的轻量化道路提取模型(MFL-DeepLab V3+).为了减少模型参数量并降低模型的计算复杂度,骨干网络选用轻量化Mobilenet V2网络代替原模型的Xception网络,在空洞空间金字塔池化(ASPP)模块中引入深度可分离卷积.为了增强模型的道路提取能力,优化对细小路段的提取效果,在解码区提出联合注意力的多尺度特征融合(MFFA).基于Massachusetts roads数据集的各项实验表明,MFL-DeepLab V3+模型的参数规模显著降低,较原模型参数量压缩了88.67%,道路提取图像完整,边缘清晰,精确率、召回率和F1分数分别达到88.45%、86.41%和87.42%,与其他模型相比取得了更好的提取效果.

多尺度交叉注意力特征融合的语义分割网络

针对DeepLabv3+语义分割模型在解码阶段仅融合单尺度低级特征,高级与低级特征融合效果差,导致目标分割精度低的问题,本文基于注意力特征融合(AFF)结构和DeepLabv3+网络,提出了CAAF-DeepLabv3+分割网络。首先,该网络引入不同阶段的多尺度浅层特征来优化空间位置信息。其次,采用交叉方式改进AFF,获得交叉注意力特征融合(CAFF)结构,提高特征间的信息交互,且通过学习高级和低级特征在通道上的重要程度,增强显著性特征,克服语义和尺度不一的特征融合问题,以获取高分辨率和高语义信息的融合特征。在道路标线数据集上进行训练和测试的结果表明,对于目标轮廓复杂、小尺寸分布较多的情况,该网络与UNet、PSPNet、DeepLabv3+、MobileNetv2-DeepLabv3+、AFF-DeepLabv3+网络相比较,平均交并比(MIoU)值和平均像素准确率(MPA)值达到最高,漏分割和错误分割明显降低。

基于边界极限点特征的改进YOLOv3目标检测

目标数量多、尺度较小与高度重叠等问题导致目标检测精度低、难度大。为提升目标检测精度,尽可能避免漏检、误检情况,提出一种基于边界极限点特征的改进YOLOv3目标检测算法。首先,引入边界增强算子Border,从边界的极限点中自适应地提取边界特征来增强已有点特征,提高目标定位准确度;然后,增加目标检测尺度,细化特征图,增强特征图深、浅层语义信息的融合,提高目标检测精度;最后,基于目标检测中目标实例特性及改进网络模型,引入完全交并比(CIoU)函数对原YOLOv3损失函数进行改进,提高检测框收敛速度以及检测框召回率。实验结果表明,相较于原YOLOv3目标检测算法,改进后的YOLOv3目标检测算法的平均精度提高了3.9个百分点,且检测速度与原算法相近,能有效提高模型对目标的检测能力。

MF-Net:结合残差网络的多尺度特征点云补全网络

针对目前点云补全网络只关注全局特征造成的语义信息丢失问题,提出了一个基于残差网络的多尺度特征提取的点云补全网络。网络采用端到端的思想,为避免单一特征不全面问题,将原始输入采样为三种不同尺度的点云;利用级联方式递归式融合不同方法提取的低分辨率点云的全局特征和原始点云的局部特征,形成特征向量并输入全连接网络,实现粗点云的预测;将拼接后的原始点云和粗点云送入精细重构单元,再在精细重构单元中融合注意力机制并利用残差网络进行由粗略到精细的补全;通过计算粗点云、稠密点云与真实点云之间的联合损失函数以提高补全性能。在ShapeNet数据集和KITTI数据集上的实验证明,无论是定性比较还是定量比较,提出的方法对残缺点云均具有较好的补全效果,同时也体现了该方法具有泛化能力。

基于改进Deeplabv3+算法的滚珠丝杠驱动表面点蚀缺陷检测

针对滚珠丝杠驱动表面背景环境复杂、点蚀缺陷目标小因而难以检测的问题,提出改进的Deeplabv3+滚珠丝杠驱动表面缺陷分割算法。本算法采用Re2Net-50替换Deeplabv3+的主干网络,显著提升了对小尺寸缺陷目标的识别能力。此外,通过在主干网络中融合特征金字塔网络FPN,能够加强多尺度信息的提取,从而增强了对缺陷目标的精确定位。最后,本研究在Deeplabv3+网络的ASPP模块之后引入了Coordinate Attention机制,能够增强模型对图像中空间和维度的关注,有效地捕获了图像中的长距离空间依赖关系。实验结果表明,与原始的Deeplabv3+相比,所提算法在平均交并比MIoU指标上提高了4.38%,准确率Accuracy提高了5.52%,F1-score提高了2.74%。同时,与其他经典的语义分割算法相比,所提算法也展现出了一定的优越性。

基于改进DeepLabv3的自然图像语义分割算法

针对DeepLabv3模型对自然图像语义分割时存在的图像局部细节信息丢失导致的误分割和物体边缘分割不完整的问题,提出了一种改进DeepLabv3模型的自然图像语义分割网络,能够以更高的准确率实现自然图像的语义分割.首先,使用ResNet101作为骨干网络进行特征提取,把ResNet101网络最后两层提取到的特征图输入到设计的ACMix多重融合模块(ACMix Multiple Fusion Module,AMFM)中,有效获取不同尺度的空间特征信息,将融合之后的结果作为空洞空间金字塔池化模块(Atrous Spatial Pyramid Pooling,ASPP)的输入.其次,添加辅助分支模块(Auxiliary Branch Module,ABM),将ResNet101网络第三层提取到的特征图输入到ABM中,有效提取更丰富的边缘特征信息.最后,将主分支和辅助分支的结果融合作为输出,融合后的输出不仅追踪到了不同尺度的空间特征信息,而且提取到了完整的边缘特征信息,从而使模型更有效地提高分割精度.PASCAL VOC 2012数据集的结果表明,改进后的模型相比于原模型分割精度提升了3.21%,与其它网络模型相比,也具有较好的分割精度.

基于改进DeepLabv3+的轻量化作物杂草识别方法

为在存储资源与计算能力有限的设备上实现田间作物和杂草的识别,本文提出一种基于改进DeepLabv3+的轻量化语义分割网络。首先,以MobileNet v2作为DeepLabv3+的特征提取骨干网络,提出双分支残差模块替换倒残差模块,并删除后两层卷积以降低模型参数量。其次,在空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块中引入分组逐点卷积,使用深度扩张卷积替换标准卷积,并将卷积后的特征图进行多尺度特征融合增强对作物和杂草深层特征的提取能力。最后,将原有的非线性激活函数替换为Leaky ReLU激活函数来提升分割精度。实验结果表明:改进后网络的mIOU达到86.75%,参数量仅为0.69M,FPS达到了98,与原始DeepLabv3+以及3个典型轻量化语义分割网络的相比,参数量最小,在对比的轻量化网络中具有最高的分割精度。

基于FS-YOLOv3及多尺度特征融合的棉布瑕疵检测

为解决传统棉布生产工艺中瑕疵检测成本高、精度低、速度慢等问题,提出一种FS-YOLOv3(Four Scales YOLOv3)网络来自动检测棉布瑕疵.该网络结合K-Means++聚类算法,以交并比为距离度量获取较好尺寸的锚框,提高检测速度.设计了4个不同尺度的卷积特征图与深度残差网络中相应尺度的特征图进行融合,有效地学习样本特征.将Softer NMS算法作为预测框过滤机制,使得高分类置信度的边框位置更为准确.实验结果表明:使用FS-YOLOv3网络能有效提高低对比度、小尺度目标的棉布瑕疵检测精度,整体性能优于传统的检测方法.

基于高深约束与边缘融合的单目3D目标检测

单目3D目标检测旨在通过单目图像完成3D目标检测,现有的单目3D目标检测算法大多基于经典的2D目标检测算法。针对单目3D目标检测算法中通过直接回归的实例深度估计不准,导致检测精度较差的问题,提出了一种基于高深约束与边缘特征融合的单目3D目标检测算法。在实例深度估计方法上采用几何投影关系下的实例3D高度与2D高度计算高深约束,将实例深度的预测转化为对目标的2D高度以及3D高度的预测;针对单目图像存在图像边缘截断目标,采用基于深度可分离卷积的边缘融合模块来加强对边缘目标的特征提取;对于图像中目标的远近造成的目标多尺度问题,设计了基于空洞卷积的多尺度混合注意力模块,增强了对最高层特征图的多尺度特征提取。实验结果表明,所提方法在KITTI数据集上的汽车类别检测精度相比基准模型提升了7.11%,优于当前的方法。

嵌入注意力机制的并行多尺度点云上采样方法

目前,基于深度学习的点云上采样方法缺失对局部区域特征关联性的关注和对全局特征的多尺度提取,导致输出的密集点云存在异常值过多、细粒度不高等问题。为解决上述问题,提出了嵌入注意力机制的并行多尺度点云上采样网络(Parallel Multi-scale with Attention mechanism for Point cloud Upsampling),网络由特征提取器、特征拓展器、坐标细化器和坐标重建器4个模块级联组成。首先给定一个N×3的稀疏点云作为输入,为了获得点云的全局和局部特征信息,设计了一个嵌入注意力机制的并行多尺度特征提取模块(PMA)用于将三维空间的点云映射到高维特征空间。其次使用边缘卷积特征拓展器拓展点云特征维度,得到高维点云特征,以更好地保留点云特征的边缘信息,将高维点云特征通过坐标重建器转换回三维空间中。最后使用坐标细化器精细调整输出点云细节。在合成数据集PU1K上的对比实验结果表明,PMA-PU生成的密集点云在倒角距离(CD)、豪斯多夫距离(HD)和点面距离(P2F)上都有显著提升,分别比性能次优的网络模型优化了7.863%,21.631%,14.686%。可视化结果证明了PMA-PU具有性能更好的特征提取器,能够生成细粒度更高、形状更接近真实值的密集点云。

融合Transformer和DeepLabv3+的电力线语义分割网络

为解决目前语义分割算法在电力线分割领域存在预测速度缓慢和分割精度不高的双重问题,提出一种电力线分割网络STDC-DeepLabv3+。首先,为提升网络预测速度,在编码器部分采用Swin Transformer V2设计轻量化的主干特征提取网络;其次,为提高分割精度,针对电力线的细长结构以及贯穿整幅图片的特点,提出动态蛇形空间金字塔池化(DSASPP)模块,同时,在解码器部分设计多尺度特征融合模块,使网络更好地利用不同层次的语义信息提取电力线特征,减少网络对电力线的漏分割现象;最后,引入坐标注意力(CA)机制减少背景干扰,进一步提升分割的准确率。实验结果表明,改进后的算法平均交并比(MIoU)和平均像素精度(MPA)分别达到了84.18%和92.85%,与现有分割算法相比,分割精度和预测速度均有所提升,预测速度与DeepLabv3+相比提升了93.92%。

改进的DeepLabV3+指针式仪表图像分割算法

针对现有的仪表自动化读数算法占用空间大、推理速度较慢以及不能有效分割图像中密集细小目标的问题,提出改进的DeepLabV3+指针式仪表分割算法。首先以轻量化的MobileNetV2来构建网络主干达到降低参数量和推理权重、提高检测速度的目的。其次通过分块并归策略设计CSP-ASPP结构,在保证网络性能的同时降低参数量。之后使用改进后的SKFF模块通过自注意力机制以非线性方式融合多尺度特征,将原网络解码器中的二尺度特征融合变为四尺度特征融合。最后使用交叉熵损失联合加权的Dice损失作为网络的总损失函数,解决仪表分割中各类别像素分布不均的问题。最后通过实验证明,改进后的DeepLabV3+算法在仪表分割数据集上的平均交并比(mIoU)和平均像素准确率(mPA)达到了89.3%和94.8%,相对原网络分别提高了0.7%、0.6%,参数量和推理权重却仅有原网络的约7%,同时在GPU和CPU上的推理速度分别达到91和16 fps,解决了嵌入式设备部署困难的问题,达到了实时检测的要求,提高了仪表自动化读数的效率。

一种DeepLabv3+结构改进的高分遥感影像红树林边界识别方法

针对红树林自动监测与保护的迫切需求,文章提出一种DeepLabv3+改进模型的高分辨率遥感影像红树林的识别方案。改进方案主要包括在DeepLabv3+的ASPP(Atrous Spatial Pyramid Pooling)结构中,引入深度可分离卷积和SE(Squeeze and Excitation)注意力机制,以及在解码端加入CBAM(Convolutional Block Attention Module)注意力机制和多尺度融合技术,以提高模型对红树林关键特征的捕捉和表征能力,从而减少漏检和误检现象。经过严格的精度评价,改进后的DeepLabv3+模型在总体精度上达到了99.60%,在召回率、红树林类交并比(Mangrove-IoU)和类F1-score上也分别达96.05%、95.31%和97.60%。与原始DeepLabv3+、HRNet和PSPNet模型相比,改进模型在所有主要评价指标上表现更优,红树林的识别准确性和边界提取能力明显提升。应用分析也进一步验证了模型的泛化能力和应用潜力。研究成果可优化红树林的实时监测技术。

3D UNeXt:轻量级快速脑提取网络

为了解决现有脑提取网络结构复杂、参数量大且推理速度不高的问题,受UNeXt启发,提出一种基于3D卷积、3D多层感知机(multilayer perception,MLP)和多尺度特征融合的轻量级快速脑提取网络3D UNeXt,极大地减少了参数和浮点运算量,取得了令人满意的结果。3D UNeXt以U-Net为基本架构,在编码阶段使用3D卷积模块获取局部特征;在瓶颈阶段通过3D MLP模块获取全局特征和特征之间的远程依赖;在解码阶段借助多尺度特征融合模块高效融合浅层特征和深层特征。特别地,3D MLP模块在三个不同特征轴向进行线性移位操作,以获取不同维度特征的全局感受野并建立它们之间的远程依赖。在IBSR、NFBS和HTU-BrainMask三个数据集上进行实验,以和先进网络进行对比。实验结果表明,3D UNeXt在网络参数、浮点运算量、推理精度和速度等方面显著优于现有模型。

多尺度特征融合的煤矿救援机器人目标检测模型

传统目标检测模型采用人工设计的目标特征,造成检测精度较差。基于深度学习的目标检测模型具有较高的检测精度,然而针对实时性和精度要求比较高的煤矿救援机器人应用场合,获取的图像信息较少且目标特征不明显,造成目标检测效果较差。为提高目标检测精度和速度,基于YOLO V3模型提出了一种多尺度特征融合的煤矿救援机器人目标检测模型。该模型主要包括特征提取和特征融合2个模块:特征提取模块采用空洞瓶颈和多尺度卷积获得更加丰富的图像特征信息,增强目标特征表达能力,提高了目标分类精度和检测速度;特征融合模块在特征金字塔中引入空间注意力机制,对含有丰富语义信息的高层特征图和含有丰富位置信息的低层特征图进行有效融合,弥补了高层特征图位置信息表达能力不足的缺点,提高了目标定位精度。将该模型部署在煤矿救援机器人嵌入式NVIDIA Jetson TX2平台上进行灾后环境目标检测实验,检测精度为88.73%,检测速度为28帧/s,满足煤矿救援机器人目标检测的实时性和精度需求。