集成注意力增强和双重相似性引导的多模态脑部图像配准

目的医学图像配准是医学图像处理和分析的关键环节,由于多模态图像的灰度、纹理等信息具有较大差异,难以设计准确的指标来量化图像对的相似性,导致无监督多模态图像配准的精度较低。因此,本文提出一种集成注意力增强和双重相似性引导的无监督深度学习配准模型(ensemble attention-based and dual similarity guidance registration network,EADSG-RegNet),结合全局灰度相似性和局部特征相似性共同引导参数优化,以提高磁共振T2加权图像和T1加权模板图像配准的精度。方法 EADSG-RegNet模型包含特征提取、变形场估计和重采样器。设计级联编码器和解码器实现图像对的多尺度特征提取和变形场估计,在级联编码器中引入集成注意力增强模块(integrated attention augmentation module,IAAM),通过训练的方式学习提取特征的重要程度,筛选出对配准任务更有用的特征,使解码器更准确地估计变形场。为了能够准确估计全局和局部形变,使用全局的灰度相似性归一化互信息(normalized mutual information,NMI)和基于SSC(self-similarity context)描述符的局部特征相似性共同作为损失函数训练网络。在公开数据集和内部数据集上验证模型的有效性,采用Dice分数对配准结果在全局灰质和白质以及局部组织解剖结构上作定量分析。结果实验结果表明,相比于传统配准方法和深度学习配准模型,本文方法在可视化结果和定量分析两方面均优于其他方法。对比传统方法 ANTs(advanced normalization tools)、深度学习方法 voxel Morph和ADMIR(affine and deformable medical image registration),在全局灰质区域,Dice分数分别提升了3.5%,1.9%和1.5%。在全局白质区域分别提升了3.4%,1.6%和1.3%。对于局部组织结构,Dice分数分别提升了5.2%,3.1%和1.9%。消融实验表明, IAAM模块和SSC损失分别使Dice分数提升1.2%和1.5%。结论本文提出的集成注意力增强的无监督多模态医学图像配准网络,通过强化有用特征实现变形场的准确估计,进而实现图像中细小区域的准确配准,对比实验验证了本文模型的有效性和泛化能力。

多注意力集成的图像检索

针对图像检索方法中二阶注意力模块使用全局特征之间的联系所生成的特征存在大量冗余信息,以及集成机制中各分支不能充分训练的问题,提出一种基于多注意力集成的图像检索方法。该方法利用在图像分类任务中表现良好的独立自注意力模块捕捉局部特征之间的联系,生成质量更高的特征以用于图像检索。该方法提出一个多注意力集成框架,在各注意力分支中分别利用独立自注意力模块产生相应的高效图像特征,并通过有效结合产生最终的图像特征。多注意力集成框架利用最终图像特征的排序损失、各注意力分支之间的差异损失及各分支的图像分类损失对模型进行联合训练,使各分支能得到充分训练。在CUB200-2011及CARS196图像检索数据集上的实验表明,所提方法可以有效提高检索精度。

基于实时视频流的3D人体姿势和形状估计

为满足元宇宙、游戏及虚拟现实等应用场景中对实时视频流3D人体姿势和形状估计准确性和真实性的要求,提出了一种基于时间注意力机制的3D人体姿势和形状估计方法。首先,提取图像特征,并将其输入运动连续注意力模块以更好地校准需要注意的时间序列范围;随后,使用实时特征注意力集成模块以有效地组合当前帧与过去帧的特征表示;最后,通过人体参数回归网络得到最终结果,并使用基于图卷积的生成对抗网络判断模型是否来自真实的人体运动数据。相较于之前基于实时视频流的方法,在主流数据集上加速度误差平均减少了30%的同时,网络参数与计算量减少了65%,在实际测试中实现了每秒55~60帧的3D人体姿态和形状估计速度,为元宇宙、游戏及虚拟现实等应用场景提供更好的用户体验和更高的应用价值。

Ghost引导UNet++的高分遥感影像变化检测

目的 随着遥感观测技术的飞速发展,遥感影像的分辨率越来越高,如何从高分遥感影像中有效提取具有鉴别性的特征进行地物变化检测成为一个具有挑战性的问题。卷积神经网络广泛应用于计算机视觉领域,但面向遥感影像变化检测时仍存在图像语义或位置信息的丢失及网络参数量过大等缺陷,导致检测性能受限。为此,提出一种新型GUNet++(Ghost-UNet++)网络,用于遥感影像的精准变化检测。方法 首先,为了提取双时相遥感影像更具判别性的深度特征,设计具有多分支架构的高分辨率网络HRNet替换传统UNet++的主干网;其次,采用UNet++解码结构进行差异判别时,引入鬼影(Ghost)模块代替传统卷积模块以降低网络参量,并设计密集跳跃连接进一步加强信息传输,以减少深层位置信息的丢失;最后,设计一个集成注意力模块,将网络的多个语义层次特征进行聚合和细化,抑制语义和位置信息的丢失,进一步增强特征表征能力用于最终的精准变化检测。结果 在LEVIR-CD(LEVIR change detection data set)和Google Data Set两个公开数据集上进行实验,结果表明本文算法变化检测精度高达99.62%和99.16%,且网络参数量仅为1.93 M,与现有主流变化检测方法相比优势明显。结论 提出方法综合考虑了遥感图像中语义和位置信息对变化检测性能的影响,具有良好的特征抽取和表征能力,因此变化检测的精度和效率比现有同类方法更高。

Dialectical thinking in engineering management

Modem engineering management activities have all become more complex, being far beyond the economic and technological areas, due to their growing grand scales, increasingly complex structures and integrated systems. Therefore, we need focus our attention on engineering management activities by resorting to dialectical thinking and take full account of them based on the height of the new era. This paper described and analyzed engineering management activities from the following 5 aspects ： the cyclic promotion between engineering management theory and engineering management practice, the in-depth integration of engineering management concepts with engineering management methods, the coordinated harmonization of engineering management system with engineering management details, the mutual promotion between engineering management standardization and engineering management innovation, the common enhancement between engineering management team and engineering management system.