多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别

在结合脑电(EEG)信号与人脸图像的双模态情感识别领域中,通常存在两个挑战性问题:(1)如何从EEG信号中以端到端方式学习到更具显著性的情感语义特征;(2)如何充分利用双模态信息,捕捉双模态特征中情感语义的一致性与互补性。为此,提出了多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别模型。一方面,为从EEG信号中获得更具显著性的情感语义特征,设计了多层次时空特征自适应集成模块。该模块首先通过双流结构捕捉EEG信号的时空特征,再通过特征相似度加权并集成各层次的特征,最后利用门控机制自适应地学习各层次相对重要的情感特征。另一方面,为挖掘EEG信号与人脸图像之间的情感语义一致性与互补性,设计了特有-共享特征融合模块,通过特有特征的学习和共享特征的学习来联合学习情感语义特征,并结合损失函数实现各模态特有语义信息和模态间共享语义信息的自动提取。在DEAP和MAHNOB-HCI两种数据集上,采用跨实验验证和5折交叉验证两种实验手段验证了提出模型的性能。实验结果表明,该模型取得了具有竞争力的结果,为基于EEG信号与人脸图像的双模态情感识别提供了一种有效的解决方案。

基于MRI及DTI双模态成像技术在盆底肌功能障碍诊断中的临床价值

目的 探究基于磁共振成像(MRI)及扩散张量成像(DTI)双模态成像技术在盆底肌功能障碍(PFD)诊断中的临床价值。方法选取喀什地区第一人民医院收治的50例PFD患者作为研究对象并纳入PFD组,另选取同期于医院体检的30例正常志愿者作为对照,纳入对照组,两组均采用MRI及DTI双模态成像技术进行检查,比较两组患者临床资料、盆底肌扫描面积(髂骨尾骨肌、耻骨尾骨肌、耻骨直肠肌)、肛提肌裂孔宽度、盆底标志线(H线、M线)、髂骨尾骨肌厚度(ICT)、髂骨尾骨肌角(ICA)及肛提肌角(LPA),髂骨尾骨肌、耻骨直肠肌各向异性分数(FA)及表观弥散系数(ADC)值。结果两组一般资料比较在统计学上无显著性差异(P>0.05);PFD组静态与动态髂骨尾骨肌、耻骨尾骨肌、耻骨直肠肌面积均小于对照组(P<0.05);PFD组静态与动态肛提肌裂孔宽度大于对照组,H线、M线长于对照组(P<0.05);PFD组ICT少于对照组,LPA大于对照组,两组ICA比较在统计学上无显著性差异(P>0.05);两组髂骨尾骨肌、耻骨直肠肌FA、ADC值比较在统计学上无显著性差异(P>0.05)。结论基于MRI及DTI双模态成像技术可反映PFD患者盆底功能及形态变化,在PFD患者中具有良好的应用价值,可用于临床推广。

基于双向编码表示转换的双模态软件分类模型

针对已有方法在软件分类方面只考虑单一分类因素和精确率较低的不足,提出基于双向编码表示转换(BERT)的双模态软件分类方法.该方法遵循最新的国家标准对软件进行分类,通过集成基于代码的BERT(CodeBERT)和基于掩码语言模型的纠错BERT(MacBERT)双向编码的优势,其中CodeBERT用于深入分析源码内容,MacBERT处理文本描述信息如注释和文档,利用这2种双模态信息联合生成词嵌入.结合卷积神经网络(CNN)提取局部特征,通过提出的交叉自注意力机制(CSAM)融合模型结果,实现对复杂软件系统的准确分类.实验结果表明,本文方法在同时考虑文本和源码数据的情况下精确率高达93.3%,与从奥集能和gitee平台收集并处理的数据集上训练的BERT模型和CodeBERT模型相比,平均精确率提高了5.4%.这表明了双向编码和双模态分类方法在软件分类中的高效性和准确性,证明了提出方法的实用性.

双模态碳量子点间充质干细胞成像及细胞分化研究

目的制备双模态碳量子点(carbon dots,CDs)探针并探索其示踪间充质干细胞(MSCs)的可行性。方法2022年10月至2023年5月,以钆喷酸葡胺、柠檬酸及二乙烯三胺为前驱体,采用水热法合成Gd∶CDs[钆(Gd)掺杂的碳量子点],进行表征并用于MSCs标记及成像。检测不同浓度Gd∶CDs(10、25、50 nmol/L)对MSCs成骨分化及成脂肪分化的影响。结果Gd∶CDs生物安全性好,荧光量子产率为76%,纵向弛豫率为5.5727 mmol^(-1)·s^(-1),具备双模态成像潜力,可用于MSCs标记。不同浓度Gd∶CDs(10、25、50 nmol/L)标记的MSCs经成骨诱导后,吸光度[D(λ)]分别为2.368±0.014、2.253±0.084及2.133±0.127,与对照组D(λ)(2.334±0.062)相比,高浓度Gd∶CDs对MSCs成骨分化有少许影响(P<0.05),中低浓度的Gd∶CDs标记对MSCs成骨分化无明显影响(P>0.05)。不同浓度Gd∶CDs(10、25、50 nmol/L)标记的MSCs经成脂肪诱导后,D(λ)分别为0.274±0.036、0.286±0.032、0.262±0.065,与对照组D(λ)(0.254±0.026)相比,各组对MSCs的成脂肪分化无明显影响(P>0.05)。结论采用水热法制备的Gd∶CDs荧光量子产率及纵向弛豫率高,具有示踪MSCs的潜能,且对MSCs的分化影响较小。

基于文本和声学特征的双模态融合抑郁倾向识别算法

在抑郁症诊断中,抑郁症患者的面部表情、声音信号和文字等数据可以作为评估抑郁倾向的客观指标。相较于视频,文本和音频模态在处理敏感的个人信息时能更好地保护患者的隐私,并且文本和音频均属于语言模态,相关性较强。针对抑郁倾向识别中变长文本数据不易被分析以及手动提取音频特征存在局限性的问题,提出一种基于Transformer的融合网络优化方法。对于文本模态,使用卷积神经网络对文本进行特征提取,得到文本在不同尺度下的局部特征,然后引入Transformer模型来处理全局信息和长距离依赖。对于音频模态,为了降低手动提取音频特征对识别结果的影响,通过使用VGGish网络来自动提取音频特征,并将提取好的音频特征送入Transformer中。最后,为进一步增强文本和音频模态融合网络的识别性能,引入SE通道注意力机制,使模型能够自适应地调整各模态之间的权重分配,更有效地聚焦于关键特征。实验结果表明,双模态融合后的网络准确率达到92.7%,相比仅使用文本或音频模态,准确率分别提升2.9和4.9个百分点。

双模态双向感知下语义信息增强的多模态情感分析

针对不同模态间存在情感信息分布不均匀,难以获得更深层次的多模态情感语义信息问题,提出了一种双模态双向感知下语义信息增强的多模态情感分析方法。对文本-视觉模态、文本-音频模态分别融合,捕获双模态话语中的相互依赖关系,获得模态间双向的上下文感知信息;考虑到双模态在融合时产生较多冗余信息,采用门控机制选择有效的情感特征,以提升识别关键情感信息的能力;通过跨模态信息交互机制对多种模态间的信息进行建模,得到语义信息增强的模态特征向量。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,该模型的情感分析结果优于大多数现有先进的多模态情感分析方法,能够有效提升情感分析的性能。

一种动态双模态线阵相机的联合标定方法

在实际工业应用中,线阵相机在被测物体运动速度快、拍摄视场范围广以及精度要求高的场景下比面阵相机更具优势,并且将二维图像数据与三维点云数据相结合能使信息量更丰富,能更好地还原真实场景。为提高在工业应用场景下的双模态数据的结合精度,提出一种动态双模态线阵相机的联合标定方法,该方法能实现简便快捷的2D线扫相机与3D线扫相机之间的联合标定。实验结果表明,该算法能以较小计算量实现高精度双模态双线扫相机的联合标定。

受机械力刺激感受器启发的触觉传感器用于双模态感应和人机交互

目的触觉是人类与周围世界互动和体验的核心。触觉由4种机械感受器产生,包括迈斯纳小体、梅克尔细胞-神经突复合体、鲁菲尼小体和帕西尼小体。其中,Pacinian小体和Meissner小体对振动和微滑移特别敏感,解剖学最近发现,这种独特的能力可能源于板层细胞的不均匀分布。体外重建非均匀结构并将其发展成触觉传感器,将预期在多模态传感和人机交互中发挥重要作用。方法触觉传感器的导电材料由MXene和TOCNs(tempo介导的氧化纤维素纳米纤维)采用液氮定向冷冻法(也称为冰模板法)制成。然后冷冻干燥以去除冰晶,留下MXene/TOCNs复合材料。安装电极后,将得到的传感器命名为MT Tac。结果MT Tac传感器在X和Y轴上具有相似的微观结构、弹性模量(~200 Pa)、能量损失系数(0.34)和电导率(43 mS/m)。然而,沿着Z轴方向,它具有明显的微纳米结构,具有更大的弹性模量(~380 Pa),更高的能量损失系数(0.51)和更高的电导率(64 mS/m)。不同轴向的不同特性意味着其对不同模态力(法向力和剪力)的响应差异。在发生滑移时,向MT Tac提供剪切力,导致不同方向的变形,从而引起电阻率的变化。结论MT Tac模拟机械感受器结构,使传感器具有高灵敏度和双模态感知能力。这一策略的成功也支持了机械感受器的振动敏感性起源于板层细胞的生理解剖学假说。

可用于运动监测的双模态离子传感纤维

针对传统刚性导电材料柔韧性差、舒适性低及现有离子导电材料多为薄膜或块状而导致透气透湿性差等问题,提出一种湿法纺丝一步制得的一维离子传感纤维,并研究其物理性能及传感性能,阐述其未来的发展潜力。测试结果表明,离子传感纤维灵敏度高(规格因子GF=201)且可准确监测微小应变(~05%),具有宽应变监测范围;响应时间小于50 ms,与人体皮肤的响应时间接近,足以监测人体运动信号;表现出优异的循环耐久性,10000次循环拉伸后仍能保持电阻信号变化稳定;同时具有湿度传感性能,对环境中湿度的变化能做出及时且准确的信号反馈。该离子传感纤维制备方法简便,具有工业化大规模的潜力,在智能健康监测、运动训练与优化、智能人机交互等领域均具有较大的发展潜力。

基于CNN-Transformer双模态特征融合的目标检测算法

针对单模态目标检测的不足,提出了一种基于CNN-Transformer双模态特征融合的目标检测算法。在YOLOv5的基础上,构建了一个可以同时输入红外和可见光图像的双流特征提取网络;然后,分别提出了基于卷积神经网络结构的红外特征提取主干网络和基于Transformer结构的可见光特征提取主干网络,以提升对红外和可见光图像的特征提取能力;最后,按照中期融合的思想,设计了双模态特征融合模块,对两个分支对应尺度的双模态特征信息进行有效融合,实现跨模态信息互补。在数据集上对所提算法进行验证,实验结果表明,该算法在KAIST数据集上对双模态图像进行检测的结果,较基准算法单独检测红外图像和可见光图像,精度分别提升了5.7%和17.4%;在FLIR数据集上较基准算法,检测精度分别提升了11.6%和17.1%;在自建GIR数据集上,所提算法的检测精度也有明显提升。此外,该算法还可以单独处理红外或可见光图像,且检测精度较基准算法均有明显提升。

基于双模态Transformer模型的话务量预测

为降低客户服务中心电话的等待率,提升服务质量。针对现有算法不能实现中长期话务量预测的问题,提出了一种基于双模态Transformer模型的话务量预测方法。首先采集并预处理某运营商真实的话务量数据,通过双模态特征融合构造出有益特征,最后采用多种模型进行话务量预测以及多种衡量指标对预测结果进行分析。结果表明:与其他算法比较,Transformer模型性能较好,对运营商资源的合理配置具有较高的指导意义,同时更易获得客户较高的满意度和忠诚度。

深度双模态源域对称迁移学习的跨模态检索

基于深度网络的跨模态检索经常面临交叉训练数据不足的挑战,这限制了训练效果并容易导致过拟合。迁移学习在源域中训练数据的知识迁移学习到目标域中,能有效解决训练数据不足的问题。然而,现有的大部分迁移学习方法致力于将知识从单模态(如图像)源域迁移到多模态(如图像和文本)目标域,而如果源域中已存在多种模态信息,这样的非对称迁移会忽略源域中包含的潜在的模态间语义信息;同时这些方法不能很好地提取源域与目标域中相同模态的相似性,进而减小域差异。因此,提出一种深度双模态源域对称迁移学习的跨模态检索(DBSTL)方法。该方法旨在实现从双模态源域到跨模态目标域的知识迁移,并获得跨模态数据的公共表示。DBSTL由模态对称迁移子网和语义一致性学习子网构成。模态对称迁移子网采用混合对称结构,在知识迁移过程中,使模态间信息具有更高的一致性,并能减小源域与目标域间的差异;而语义一致性学习子网中,所有模态共享相同的公共表示层,并在目标域的监督信息指导下保证跨模态语义的一致性。实验结果表明,在Pascal、NUS-WIDE-10k和Wikipedia数据集上,所提方法的平均精度均值(mAP)较对比方法得到的最好结果分别提升了大约8.4、0.4和1.2个百分点。DBSTL充分利用了双模态源域的潜在信息进行对称迁移学习,在监督信息的指导下保证了模态间语义的一致性,并提高了公共表示空间中图像文本分布的相似性。

双元双模态下二次门控融合的多模态情感分析

为了平衡情感信息在不同模态中分布的不均匀性,获得更深层次的多模态情感表征,提出了一种基于双元双模态二次门控融合的多模态情感分析方法。对文本、视觉模态,文本、语音模态分别融合,充分考虑文本模态在三个模态中的优势地位。同时为了获得更深层次的多模态交互信息,使用二次融合。在第一次融合中,使用融合门决定向主模态添加多少补充模态的知识,得到两个双模态混合知识矩阵。在第二次融合中,考虑到两个双模态混合知识矩阵中存在冗余、重复的信息,使用选择门从中选择有效、精简的情感信息作为双模态融合后的知识。在公开数据集CMU-MOSEI上,情感二分类的准确率和F1值分别达到了86.2%、86.1%,表现出良好的健壮性和先进性。

基于双模态有限时间滑模的永磁同步电机抗扰动控制

目的解决包装机工作过程中,因永磁同步电机的动态响应慢和抗扰动能力弱导致包装机精度不高的问题。方法设计一种双模态有限时间滑模控制器,实现系统有限时间收敛。将双模态函数引入趋近律增益,不仅能实现“大误差大增益,小误差小增益”,而且趋近律增益切换为小增益的时间可调,从而使电机获得更快的响应速度和更小的抖振。同时,设计有限时间扰动观测器对扰动进行观测,并进行前馈补偿,以此来提高系统的抗扰性能。结果实验结果表明,文中方法相较于另外2种对照方法,可以使电机的动态响应分别提升27%、37%,控制性能分别提升40%、70%,相较于超螺旋扰动观测器,可以使电机的抗扰性能提升58%。结论所提控制策略可以明显提高系统的动态响应、控制性能、抗扰性能,使得永磁同步电机更符合包装机的要求。

基于双模态门控特征融合的跌倒检测方法

使用单一传感器进行人体跌倒检测的方法不能充分捕捉动作特征,摄像头在光线较差时无法获得高质量图像,毫米波雷达的点云稀疏性降低了远距离目标信息的有效性;针对上述问题,提出了一种基于双模态门控特征融合的跌倒检测方法;使用雷达和摄像头同步检测,雷达分支根据时间-距离图和微多普勒图获得融合特征,视觉分支提取目标的光学特征;将两种特征送入门控融合模块,根据权重整合特征信息,在输出层实现分类;设计了雷达分支和整体网络的相关实验,雷达分支融合方法的平均准确率是91.7%,优于单一特征方法;整体网络的门控融合方法的准确率是94.1%,相比特征相加融合和首尾拼接融合方法分别高出3.0%和1.8%;充分表明该方法能够提升人体跌倒检测的性能。

一种磁共振造影剂的制备及其双模态性能

磁共振成像(MRI)是目前各种成像技术中最强大的活体成像技术之一,为了提高成像质量以便更加准确地检测和诊断,往往需要使用MRI造影剂。本文以Gd(Ⅲ)的多胺多羧酸类配合物DO3A-Gd和苯并香豆素-3-羧酸(BCCA)为原料,利用原位合成法制备磁共振造影剂DO3A-Gd-BCCA,该造影剂具有磁共振/荧光双模态识别氟离子的性能。通过氟离子取代荧光团BCCA,增加Gd(Ⅲ)周围配位水分子数目和荧光团的电荷迁移,实现磁共振信号和荧光信号的同步激活。该造影剂具有良好的稳定性,适用于生理条件下的pH,对F-的检测限为77μmol/L。

用于单切片双模态光学关联成像的肾脏组织样本处理方法

明场成像能够提供细胞或组织的形态学信息,荧光成像可以获取关键蛋白的表达信息,基于二者的双模态关联成像是目前医学和科研中常用的组织样本检查方式。然而,在临床检查时通常利用基于邻近切片之间的关联成像进行观察。此时,组织结构和细胞层次均会有或多或少的改变,这在样本量不足、切片上的细胞有限或需要获得点对点精准形态学信息的情景下显得十分不利。本研究提出了一种在单张组织切片中实现苏木素-伊红染色和免疫荧光染色的样本处理方法,用于双模态成像技术。重点优化了褪色处理和免疫荧光复染方案,比较了三种褪色方案(盐酸乙醇、冰醋酸-草酸和高锰酸钾-草酸)以及三种抗原修复方案(EDTA、Tris-EDTA和柠檬酸)。通过对不同条件下获取的图像信噪比进行对比分析,发现经冰醋酸-草酸褪色结合EDTA抗原修复的免疫荧光图像质量最佳。此外,还实现了明场与荧光图像的融合,从而在单张切片上展示更完整的组织形态和免疫信息。

多尺度特征融合的双模态目标检测方法

基于可见光图像的目标检测,难以适应弱光、无光、强光等复杂光照条件,而基于红外图像的目标检测,受背景噪声影响大,且红外目标缺乏颜色信息,纹理细节特征弱,给目标检测带来较大挑战。对此,提出了一种能够有效融合可见光与红外图像特征的双模态目标检测方法。对输入的成对的双模态图像分别提取其初级特征;提出了多尺度特征注意力模块,对输入的红外与可见光图像分别提取其多尺度局部特征,并引入通道注意力和空间像素注意力,从通道和像素两个维度聚焦双模态图像的多尺度特征信息;提出双模态特征融合模块,对双模态特征信息进行自适应融合,得到双模态图像的多尺度融合特征。在大规模双模态图像数据集DroneVehicle上,与基准算法YOLOv5s利用可见光或红外单模态图像进行检测相比,所提算法检测精度分别提升了13.42和2.27个百分点,同时检测速度达到164 frame/s,具备端到端的实时检测能力。所提算法有效提高了复杂场景下目标检测的鲁棒性和准确性,具有良好的应用前景。

重参数化增强的双模态实时目标检测模型

无人机高空航拍的目标普遍尺寸小、特征弱,而且受复杂天候条件影响大,导致基于可见光或红外单模态图像的目标检测漏检、误检率较高。对此,提出了重参数化增强的双模态实时目标检测模型DM-YOLO。首先,采用通道拼接的方法融合可见光和红外图像,以极低的成本融合双模态图像的互补信息。其次,提出更加高效的重参数化模块并基于此构建了更加强大的骨干网RepCSPDarkNet,有效增强了骨干网对双模态图像的特征提取能力。然后,提出了多层次特征融合模块,通过多感受野卷积和注意力机制融合弱小目标的多尺度特征信息,增强了弱小目标的多尺度特征表示。最后,删除了对弱小目标检测基本不起作用的特征金字塔深层检测层,在检测精度保持不变的情况下,减小了模型规模。实验结果表明,在大规模的双模态图像数据集DroneVehicle上,DM-YOLO的检测精度比基准YOLOv5s高出2.45%,且优于规模相当的YOLOv6和YOLOv7模型,有效提高了复杂光照条件下目标检测的准确性和鲁棒性,同时检测速度达到82 FPS,可满足实时检测的需求。

基于MLP和多头自注意力特征融合的双模态情感计算模型

针对情感计算中传统的单模态情感分析通常存在分类准确率不高和不同语言环境间泛化能力较差的问题,提出一种双模态情感计算模型,以同时使用包含中英文两种语言、两种不同模态的情感数据。首先,利用多层感知机(MLP)网络和双向长短时记忆(BiLSTM)网络对数据进行特征提取;其次,基于MLP和自注意力机制分别对提取的特征进行特征融合,得到多模态分析模型;最后,使用该模型在构建的包含中英文两种语言数据的数据集上进行二分类情感计算预测。实验结果表明,所提模型相较于次优的BiLSTM模型,精度提高了1.22%;相较于单模态情感计算模型,精度提高了6.21%~14.00%。