结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI,CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力:在分类指标(Acc_(2),F_(1))和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMUMOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在CH-SIMS数据集上达到81.47%。这些研究结果表明,同时学习多模态间的情感语义一致性信息和各模态情感语义的差异性信息,有助于提高自监督多模态情感识别方法的性能。

无线光通信系统纠错编码研究进展

无线光通信的信道环境复杂,易受雨、雪、雾等自然现象的影响,通常采用信道编码的方式纠正信道噪声引起的误码,信道编码有里德−所罗门(RS,Reed-Solomon)码、Turbo码、低密度奇偶校验(LDPC,low density parity check)码和极化码等多种类型。梳理了纠错码的发展脉络,总结了纠错码用于无线光通信的研究进展并进行对比分析,在此基础上介绍了西安理工大学在该领域的理论和实验研究进展,比较分析了RS码、Turbo码、LDPC码在雨、雪、雾环境下的纠错特性。最后,指出了该领域未来可能的研究方向和挑战,为相关领域未来的发展和研究提供参考。

多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别

在结合脑电(EEG)信号与人脸图像的双模态情感识别领域中,通常存在两个挑战性问题:(1)如何从EEG信号中以端到端方式学习到更具显著性的情感语义特征;(2)如何充分利用双模态信息,捕捉双模态特征中情感语义的一致性与互补性。为此,提出了多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别模型。一方面,为从EEG信号中获得更具显著性的情感语义特征,设计了多层次时空特征自适应集成模块。该模块首先通过双流结构捕捉EEG信号的时空特征,再通过特征相似度加权并集成各层次的特征,最后利用门控机制自适应地学习各层次相对重要的情感特征。另一方面,为挖掘EEG信号与人脸图像之间的情感语义一致性与互补性,设计了特有-共享特征融合模块,通过特有特征的学习和共享特征的学习来联合学习情感语义特征,并结合损失函数实现各模态特有语义信息和模态间共享语义信息的自动提取。在DEAP和MAHNOB-HCI两种数据集上,采用跨实验验证和5折交叉验证两种实验手段验证了提出模型的性能。实验结果表明,该模型取得了具有竞争力的结果,为基于EEG信号与人脸图像的双模态情感识别提供了一种有效的解决方案。

空间光-光纤耦合技术进展与实验研究

总结了国内外空间光-光纤耦合技术在无线光通信中的研究进展,以提高空间光-光纤耦合效率为主线,介绍了西安理工大学在该领域的工作,包括空间光光纤耦合自动对准技术、自由空间光模式转换技术、空间光光纤耦合自适应光学波前校正技术、马卡天线的收发一体化技术。介绍了大气湍流中透镜阵列和单透镜耦合至单模光纤的耦合性能、大气湍流中马卡天线作为接收天线时的空间光耦合性能方面的研究进展。最后展望了无线光通信中的空间光-光纤耦合技术的发展前景。

利用二维反射镜实现无线光通信快速对准

针对无线光通信存在光束对准耗时长的问题,提出一种发射端采用图像跟踪,接收端采用二维反射镜控制的光束快速对准方法。依据几何光学理论计算了激光经二维反射镜后出射的扫描轨迹,并在无线光通信强度调制/直接检测系统上开展实验。实验结果表明:当通信距离为1.3km时,光斑型心在x(y)方向的方差由跟踪前的12.5734pixel^(2)(5.1393pixel^(2))降至跟踪后的2.2770pixel^(2)(1.3697pixel^(2)),探测器输出电信号的幅值为92.4mV;当通信距离为10.3km时,光斑型心在x(y)方向的方差由跟踪前的18.8653pixel^(2)(10.5290pixel^(2))降至跟踪后的14.4970pixel^(2)(8.0287pixel^(2)),探测器输出电信号的幅值为74.4mV。所提方法无需将控制信号由接收端回传至发射端,在快速建立下行链路的同时即可实现上行链路的建立。

基于面部全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合的抑郁强度识别

现有基于深度学习的大多数方法在实现患者抑郁程度自动识别的过程中,主要存在两大挑战:(1)难以利用深度模型自动地从面部表情有效学习到抑郁强度相关的全局上下文信息,(2)往往忽略抑郁强度相关的全局和局部信息之间的语义一致性。为此,该文提出一种全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合(PLEGDF-FGLSCF)的抑郁强度识别深度模型。首先,设计了全局抑郁特征局部感知力增强(PLEGDF)模块,用于提取面部局部区域之间的语义相关性信息,促进不同局部区域与抑郁相关的信息之间的交互,从而增强局部抑郁特征驱动的全局抑郁特征表达力。然后,提出了全局-局部语义相关性特征融合(FGLSCF)模块,用于捕捉全局和局部语义信息之间的关联性,实现全局和局部抑郁特征之间的语义一致性描述。最后,在AVEC2013和AVEC2014数据集上,利用PLEGDF-FGLSCF模型获得的识别结果在均方根误差(RMSE)和平均绝对误差(MAE)指标上的值分别是7.75/5.96和7.49/5.99,优于大多数已有的基准模型,证实了该方法的合理性和有效性。

多维耦合器校正空间光-单模光纤耦合对准误差

根据高斯光束传输理论,分析了径向偏差、端面倾斜偏差和轴向偏差等对准误差对空间光-单模光纤(SMF)耦合效率的影响。数值计算和实验结果表明,当端面与径向之间的夹角Ω为90°和270°时,3种对准误差对耦合效率的影响相互独立,当夹角Ω=180°时,耦合效率有最大值。为更好地补偿对准误差对SMF耦合效率的影响,基于压电陶瓷设计了具有5自由度耦合装置的光纤耦合器,并结合变增益型随机并行梯度下降算法寻找空间光-SMF的最佳对准姿态。实验结果表明,5自由度光纤耦合器可以很好地实现不同对准误差的校正,系统闭环后SMF耦合效率达到53.2%。