多模态协同感知与融合技术专题前言

与人类利用视觉、听觉、触觉等多种感官信息来感知世界相似,计算机智能系统也可通过不同的传感器,如摄像头、雷达、麦克风、触觉传感器等,来获取人类和物理世界中的数据与信息.随着智能终端和多模态传感设备的普及,可用于感知世界的数据来源、维度和数据量都在快速增长,单独模态数据所提供的信息已经不能满足智能系统感知与理解世界的需求.因此智能系统在感知世界时,需要从更多模态数据的差异化获取、动态适配、互补融合、协同感知等角度开展深入研究,这也是多媒体领域的一个非常重要和具有挑战性的问题.本专题强调多模态的协同交互与有机融合,研究多模态协同感知与融合技术,重点关注视觉语言多模态交互理解技术、多模态交互生成与重建技术和多模态智能融合与协同学习技术,旨在促进多模态特征表示、自适应融合、协同学习和交互生成等相关理论与方法的研究进展.

双能量CT非线性融合技术在双下肢CTA检查中的应用

目的:探讨双能量CT非线性融合(NLB)技术在双下肢CTA检查中的应用价值。方法:回顾性收集疑似双下肢血管病变并行双能量CTA检查的患者52例,扫描后分别行线性融合(LB)技术和NLB技术重建,得到LB和NLB图像。对比LB、NLB及原始图像低kV(80 kV组)3组图像质量,包括客观评价(CT值、SD、SNR、CNR)和主观评分,以及图像优良率和图像可诊断率。结果:3组图像主观评分差异有统计学意义(P<0.05),NLB组评分最高。80 kV组、LB组、NLB组图像可诊断率分别为61.54%(32/52)、38.46%(20/52)、65.38%(34/52),优良率分别为30.77%(16/52)、0(0/52)、38.46%(20/52)。3组图像对应部位血管CT值、SD及CNR组间比较差异均有统计学意义(均P<0.05),NLB组CT值最高,且CT值、SD及CNR均高于LB组(均P<0.05)。3组图像对应部位血管SNR差异均无统计学意义(均P>0.05)。结论:双能量CT的NLB技术可提高双下肢CTA检查的图像质量,有望增加双下肢血管疾病的检出率及诊断准确率,值得临床深入研究。

超融合技术在高校数字化校园建设中的应用研究

在高校数字化校园建设中,超融合技术的应用是提升效率和优化资源管理的关键。技术整合了计算、存储和网络功能,实现数据中心的简化和自动化管理。首先,概述超融合技术的基本原理和特点。其次,详细探讨其在高校数字化校园建设中的应用,包括对高校数字化需求的分析,以及基于超融合技术的数据中心设计。设计方面,涉及总体拓扑、资源池、分布式存储模块、应用交付模块式、容灾设计。最后,分析了超融合技术应用后的实际效果,其融合了X86架构服务器统一计算系统(unified computing system,UCS)和存储区域网络(storage area network,SAN)系统,优化了校园的数字化基础设施,保证原有设备的投资价值,并为未来的技术升级提供强有力的支撑。

脑机融合技术的哲学审思

本文所研究的脑机融合技术,是建立在脑机接口技术基础上的,是一种包含不同信息传输方式的技术统称。脑机融合系统理想状态应该是大脑与电脑相互适应,协同工作,是一种计算与处理完美结合的系统。该项技术虽然尚处在探索试验阶段,但其巨大的现实空间与应用前景已经彰显着人类对未来美好的向往,因此,在还未完全实现技术应用的过程中,应该立足于哲学视角,针对该项技术手段进行深度的深思与审视,避免发生类属关系混乱的问题。

3D打印联合影像融合技术在主动脉腔内治疗教学中的应用

探讨3D打印联合影像融合技术在血管外科主动脉疾病腔内治疗教学中应用的效果。2020年3月至2023年10月在解放军总医院第一医学中心血管外科进行住院医师规范化轮转培训的60名学员的教学结果显示,该方法能提升学员学习兴趣,使其快速掌握主动脉瘤的解剖结构,了解腔内治疗的基本原理和技能,为血管外科临床教学模式改进提供新的思路。

基于深度学习特征融合技术的小麦病虫害图像识别准确性研究

小麦病虫害在植株上的分布是不均匀的,导致图像中病虫害的特征不一致,降低了病虫害图像识别的准确性。深度学习特征融合技术能够自动从原始数据中学习到多层次的特征表示,并且能够有效地处理和融合这些特征。基于此,提出一种基于深度学习特征融合技术的小麦病虫害图像识别方法,旨在提升识别准确性。利用图像分割技术精准地识别出病虫害的目标区域。借助深度学习技术,构建了一个病虫害图像识别模型,从已分割的病虫害目标区域中提取关键特征。这些特征包括目标区域的边缘特征和区域梯度特征,对于准确识别病虫害至关重要。为了更全面、更细致地描述病虫害的多维特征,采用特征融合技术,整合了不同尺度的图像特征,以捕捉病虫害的多层次信息。这些融合后的特征作为模型输入,通过深度学习模型的训练和学习,实现对病虫害图像的精准分类。将模型的识别结果与真实的标签进行匹配,通过对比识别结果与真实标签的一致性来准确评估识别的准确性。实验结果表明,与传统方法相比,采用所提出的方法可以实现99%~100%的识别准确率,并在F1分数上展现出显著优势,接近理想值1。这一结果显著优于传统方法,为小麦的健康种植提供了可靠的技术保障。

基于多传感器数据融合技术的小麦病虫阈值决策算法设计

小麦病虫害种类繁多,且不同病虫害的症状可能相似,导致在小麦病虫阈值决策过程中可能出现数据信息的丢失、误判或冗余,进而影响阈值设定的准确性。传感器数据融合技术具有准确区分不同病虫害类型的潜力,其小麦病虫阈值的准确性较高。鉴于此,设计了一种基于多传感器数据融合技术的小麦病虫阈值决策算法。通过选择和布设多种探测传感器,利用多传感器数据融合技术,将来自不同传感器的数据进行整合,实现了对小麦病虫害的危害程度与产量损失率的精确测定。基于这些测定结果,制定了计算小麦病虫阈值的规则,并通过混合方法优化了小麦病虫害阈值决策过程,最终确定了更加准确合理的小麦病虫害的阈值。案例分析表明,所设计的算法响应时间较短,能够更快地处理数据并作出决策;所得结果与实际结果的误差平均值仅为3.4%,显示出小麦病虫害检测结果的高度准确性和可靠性,通过所提出的方法能够有效提升决策的效率和精确度。

基于图表映射融合技术的大电网运行业务平台化人机交互设计

为更好满足大电网运行业务中高效感知电网状态的需求,开展了软件前后端数据组织和接口设计方面的研究。在融合海量人机交互技术关键要素的基础上,提出一种大电网分析模型图模一体化与多关系表数据映射与融合的平台化技术方案,并通过2669个厂站大电网案例验证方法的有效性。结果表明,所提方法在实现诸多功能需求基础上具备较高的模型检索效率与优秀的前端渲染性能,可为大电网运行业务人机交互设计提供参考。

“多传感器信息融合技术”研究生课程案例库建设与教学实践

案例教学是推动研究生培养模式改革的重要手段。文章以“多传感器信息融合技术”课程作为切入点,在与学科前沿紧密结合的基础上,进行了课程案例库的建构与内容设计,通过在教学环节中复现实际的工程情境,促进研究生对具体问题进行主动思考和深入分析,进而实现知识和能力的充分融合。实施效果调查显示,案例教学有利于拓宽研究生的科研视野,提升研究生的创新能力和工程实践能力。

电气工程自动化中的多传感器融合与数据融合技术研究

文章旨在深入探讨电气工程自动化领域中多传感器融合与数据融合技术的核心要点,剖析各类传感器的运作机制,探讨其在电气工程领域的广泛应用潜力。同时,对多传感器融合的基本原则与实践应用进行研究,分析层级模型与算法分类的技术优劣以及面临的挑战。此外,文章还探讨了数据整合的内涵、类别、基础方法、策略、实际运用场合,以及相关的难题与演变概况。研究范围涵盖了多传感器融合与数据融合技术在电气工程自动化领域的应用,包括电力系统状态监测、故障诊断、电气设备性能评估、优化、智能制造、工业自动化生产线、智能电网及能源互联网等多个领域。

多模态知识图谱融合技术研究综述

多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构。随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好的表示和应用能力。为了深入研究多模态知识图谱,对多模态知识图谱价值及类别进行了详细的分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术分类叙述。对多模态知识图谱的应用进展进行了分析,并探讨了多模态知识图谱的局限性,提出了多模态知识图谱领域今后的研究方向。

多模态影像融合技术在显微血管减压术治疗原发性舌咽神经痛中的应用

目的探讨多模态影像融合技术在显微血管减压术(MVD)治疗原发性舌咽神经痛中的作用。方法回顾性分析2019年1月至2020年1月MVD治疗的3例原发性舌咽神经痛的临床资料。术前均行3D-TOF-MRA和3D-FIESTA检查,利用BrainLab软件进行多模态影像融合,根据影像融合结果行MVD。结果多模态融合影像清晰显示责任动脉与神经的关系,3例均顺利完成手术,术中责任血管位置与术前多模态融合影像结果一致,术后即刻疼痛明显缓解,术后无出血、颅内感染、脑脊液漏。结论原发性舌咽神经痛进行MVD时,多模态影像融合技术可清晰显示责任血管,有利于提高手术的准确性、安全性、有效性,减少手术创伤。

基于电子鼻与GC-MS融合技术的优质红茶和缺陷红茶香气品质评价

依据专家感官审评结果将14个红茶样本按香气品质的优劣划分为优质红茶与缺陷红茶2组,基于快速气相电子鼻(fast gas chromatography-electronic-nose,GC-E-Nose)和气相色谱-质谱(gas chromatography-mass spectrometry,GC-MS)融合技术结合多元统计分析对2组茶样进行判别分析,筛选影响两类茶样分类的关键差异组分。结果显示:GC-E-Nose(44维)和GC-MS(73维)相融合可以得到117维融合数据集,用其建立的正交偏最小二乘判别分析模型可以实现两类红茶的准确分类,其模型解释能力和预测能力(R_(Y)^(2)=0.976,Q^(2)=0.959)较单一的GC-E-Nose或GC-MS数据模型更优。基于变量投影重要性>1.6和P<0.05双变量原则,共筛选出二甲基硫醚(B3、B25)、β-紫罗酮(A59)、(3E)-4,8-二甲基壬-1,3,7-三烯(A20)、二氢猕猴桃内酯(A64)、芳樟醇(A17)、苯乙醇(A19)、δ-辛内酯(A41)和γ-壬内酯(A45)8个关键香气组分对分类起重要作用。研究结果表明,GC-E-Nose与GC-MS融合技术可以实现缺陷红茶和优质红茶的快速、准确分类,该方法可作为传统感官审评方法的补充,为红茶品质控制和质量提升提供技术支撑。

基于深度学习与仿人眼视觉成像的图像融合技术研究

近年来,针对导航避障、勘探救援等领域的需求,城市环境下遮蔽目标的成像技术成为研究热点。该文首先分析目前三维成像的技术现状,之后针对城市环境的特殊性,重点研究基于深度学习与仿人眼视觉成像的图像融合技术,并对该方法进行测试验证,实验结果表明,该方法明显提高对目标图像的识别效率。

影像融合技术在颅内动脉瘤诊疗中应用的研究进展

颅内动脉瘤是全世界范围内致残和致死的一个重要原因,动脉瘤的筛查、诊断、治疗决策、手术方式及预后情况等均是减少其术后并发症和不良反应事件发生的重点。随着影像技术的不断发展,影像融合技术逐步出现在颅内动脉瘤诊疗的舞台中,能够丰富影像学信息,辅助医师对疾病进行判断及手术决策选择。本文对目前影像融合技术在颅内动脉瘤诊疗中应用的研究进展进行综述。

多模态数据融合技术及其在眼科领域的应用研究进展

多模态数据融合技术(MDF)是人工智能领域中的一种数据处理技术,是指利用计算机对多模态数据,如图片、文字、音频与视频等进行综合处理的技术。与传统单模态数据处理相比,MDF对描述对象的分析有更高的准确性与可靠性。近年来,该技术在眼科领域的应用研究取得了较大进展,研究表明该技术能提高人工智能辅助诊断的准确性。本文综述了MDF的原理与优势、发展简况、架构与主要技术难点、MDF在眼科临床的应用现况以及目前存在的尚待解决的问题。

基于有限无创测量信息与心血管系统模型融合技术的个体化生理学和血流动力学参数估测

目的在体测量主动脉僵硬度、中心动脉血压等受成本、风险或技术可靠性等限制难以在临床上广泛开展。本研究的主要目的是发展可测临床数据与心血管系统计算机模型的融合技术,实现对关键生理学、血流动力学参数的量化评估。方法构建心血管系统的0-1维几何多尺度模型,通过随机参数抽样生成表征不同个体的模型,开展数值仿真生成虚拟个体信息库。在信息库中提取多处动脉的血流波形和肱动脉血压作为虚拟测量数据,以人群平均化模型为初始模型,采用LevenbergMarqurdt算法自动调整模型参数,使模型模拟结果与测量数据匹配,进一步使用优化后的模型模拟主动脉血压、血流波形等,并与原模型模拟结果对比。结果对50例虚拟个体开展的测试表明,基于多个动脉血流波形的特征值和肱动脉血压开展模型参数优化,可使模型模拟结果与测量结果高度匹配(均方根误差<1%),估测的模型参数值与预期值的误差小于3%,利用估测的模型参数开展数值模拟得到的主动脉血压、血流波形与原模型输出结果的差异小于5%。结论将可无创测量的血流、血压等信息融入心血管系统模型不仅可以实现对主要生理学参数的量化评估,也为临床上难以无创测量的中心动脉血压等重要血流动力学参数的估测提供有效的手段。

静脉3D融合技术辅助评估DAVF引流静脉是否兼具脑静脉回流功能

目的探讨静脉3D融合技术在确定硬脑膜动静脉瘘(DAVF)的引流静脉是否兼具脑静脉回流功能中的应用价值。方法回顾性分析2021年9月至2023年3月收治的6例伴有皮层静脉引流的DAVF的临床资料。行DSA后,在后处理工作站用“3D双血管融合技术”进行病变引流静脉与正常脑静脉3D融合,分别标记白、蓝色区别,通过血管融合技术可以看到两者有无共同的通路,以确定病变回流静脉是否存在具有正常引流功能。结果6例均获得良好的静脉3D融合影像,双血管融合影像可以清晰看到病变引流静脉(白色)与正常脑回流静脉(蓝色)相重叠,存在共同的通路,即兼具正常脑静脉回流的功能。6例均获得治愈性栓塞,术后复查造影示兼具正常回流功能引流静脉均获得保护,术后未发生颅内出血及脑梗塞等并发症,症状缓解或消失。术后3~6月随访DSA未见DAVF复发。结论应用静脉3D融合技术可帮助判断DAVF引流静脉是否兼具正常脑静脉回流的功能,术中对这类静脉保护可减少手术并发症。

基于融合技术的中长期电力负荷预测方法

当前电力负荷预测模型在数据复杂性高、数据稀缺、模型泛化和动态社会经济因素适应性方面存在局限,影响了其在复杂电网规划中的应用。为满足电网或者大型风、光、火、储、网、荷能源基地项目的规划调度需求,提出了一种融合技术,将灰色预测、空间负荷密度预测和变分自编码器与深度因果卷积神经网络相结合,以实现中长期负荷预测。通过引入有序加权平均微分算子,融合不同预测方法,提升结果的准确性。实验结果表明,本方法相较于传统方法展现更高的准确性和鲁棒性,特别是在进行电力负荷远景预测时,所提方法能够有效提升预测的可靠性和适用性。该技术有效克服传统方法固有的数据复杂性、数据稀缺性和模型泛化问题,同时适应社会经济条件的动态变化。该方法为电网、大型源网荷储多能互补类项目的规划和发展提供有力的决策支持。

X射线断层融合技术对股骨颈骨折股骨颈动力交叉钉系统内固定后疗效评估的价值

目的:通过常规X射线与X射线断层融合成像两种影像技术的比较,探讨X射线断层融合技术对股骨颈骨折股骨颈动力交叉钉系统(FNS)内固定后骨愈合和骨痂生长情况评估的应用价值。方法:选取2019年10月至2020年6月北京市海淀医院骨科收治的18例股骨颈骨折患者,所有患者均采用FNS内固定治疗,分别于术后1个月和12个月时行普通X射线和X射线断层融合成像,评价两种影像技术对股骨颈骨折FNS内固定术后骨愈合和骨痂生长情况的显示情况,统计两种影像技术对股骨颈骨折FNS内固定图像检测过程的相关参数。结果:在股骨颈骨折患者术后1个月时X射线断层融合成像技术的骨痂检出率均低于术后12个月,且X射线断层融合技术在患者术后1个月和12个月时的骨痂检出率(94.44%和61.11%)均高于X射线(61.11%和33.33%),差异有统计学意义(x2=5.100、5.790,P<0.05);经秩和检验显示,两种影像技术在股骨颈骨折患者术后1个月和12个月时的骨痂生长情况图像质量评分分布差异有统计学意义(Z=2.113,2.018,P<0.05),两种影像技术的术后1个月和12个月骨愈合图像质量比较,差异有统计学意义(Z=2.868、2.258,P<0.05);X射线断层融合技术成像引导的治疗前骨折处检测影像图显示效果理想,图像清晰,较完整清晰地显示出患者的骨折线,术后12个月X射线正侧位可见连续性骨痂通过骨折线,达临床愈合;X射线断层融合技术对股骨颈骨折FNS内固定图像检测过程的空气比释动能、剂量面积乘积以及有效剂量均低于常规X射线成像,差异均有统计学意义(t=5.900、2.466、32.255,P<0.05)。结论:在对股骨颈骨折FNS内固定后患者骨愈合情况的诊断评价中,使用X射线断层融合技术能够更好地对患者的骨痂生长情况进行检测,判定骨愈合程度,尤其是对术后恢复时间更长的判定效果更佳,且安全性较好,在检测过程中辐射损伤较小。