融合双阶段特征与Transformer编码的交互式图像分割

为了快速、精确地分割用户感兴趣的前景目标,获得高质量且低成本的标注分割数据,提出一种基于双阶段特征融合与Transformer编码的交互式图像分割算法.首先采用轻量化Transformer骨干网络对输入图像提取多尺度特征编码,更好地利用上下文信息;然后使用点击交互的方式引入主观先验知识,依次通过初级与加强阶段将交互特征融入Transformer网络;最后结合空洞卷积、注意力机制和多层感知机对骨干网络获取的特征图解码.实验结果表明,所提算法在GrabCut,Berkeley和DAVIS数据集上的mNoC@90%值分别达到2.18,4.04和7.39,优于其他对比算法;且算法的时间与空间复杂度低于f-BRS-B,对交互点击位置及点击类型的扰动变化具有较好的稳定性,说明该算法能够快速、精确与稳定地分割用户感兴趣目标,提升用户交互的使用体验感.

基于多头自注意力池化与多粒度特征交互融合的微博情感分析

【目的】高效、准确地挖掘微博文本中所蕴含的情感信息,提升情感分析效果。【方法】采用WoBERT Plus与ALBERT分别对词级文本与字级文本进行动态编码,接着利用卷积操作提取局部关键特征,然后利用跨通道特征融合与多头自注意力池化操作提取全局语义信息并筛选出关键数据,最后利用多粒度特征交互融合操作将字级与词级语义信息进行有效融合,利用Softmax函数输出分类结果。【结果】本文模型在weibo_senti_100k数据集上的准确率与F1值分别为98.51%、98.53%,在SMP2020-EWECT数据集上的准确率与F1值分别为80.11%、75.62%,其表现均优于各数据集上先进的情感分析模型。【局限】在进行情感分析时,未考虑视频、图片、语音等多模态信息。【结论】所提模型提升了微博文本情感分析的效果,可以有效地完成微博文本情感分析任务。

融合标签特征和胶囊注意力的口语理解方法

针对目前意图检测和槽位填充联合学习中未充分考虑交互前标签特征信息的有效提取和融合,缺乏对交互后标签特征的提炼问题,提出一种融合标签特征和胶囊注意力的口语理解方法。主要由意图与槽位标签特征融合交互(label feature fusion interactive, LFFI)和多头胶囊注意力机制(multi-head capsule attention, MHCA)两大关键模组组成。LFFI-MHCA通过LFFI提取序列中有效的意图和槽位标签信息,对两者进行融合和交互;利用MHCA对交互过程中产生的不同子空间信息进行提炼,获得更为精确的意图和槽位标签特征。该模型在ATIS和SNIPS数据集上进行实验,句子准确率分别为88.1%和89.0%,验证了该模型的有效性。

交互式双分支特征融合的草莓病害程度快速诊断方法

针对现有草莓病害程度诊断方法存在识别精度低、参数量大、推理时间长等问题,提出了一种基于交互式双分支特征融合的草莓病害程度快速诊断方法。该方法首先以短程密集连接模块为基础,构建一种轻量化的交互式双分支特征融合网络(Interactive bilateral feature fusion network,IBFFNet),用于提取图像的语义特征和细节特征。然后,通过注意力简化的金字塔池化模块获取上下文分支中的多尺度语义特征,利用边缘增强模块丰富空间分支中的边缘细节特征。最后,融合多尺度语义特征和空间细节特征,实现病斑和叶片区域的精确分割。在草莓叶部病害程度数据集上的实验结果显示,IBFFNet2_Seg的平均交并比达到77.8%,在单张NVIDIA GTX1050显卡上处理速度可达40.6 f/s,满足实际应用中对算法实时性和分割精度的要求。此外,在测试集上IBFFNet2_Seg预测病害程度与真实程度的决定系数R2为0.98,说明该模型可以准确预测草莓病害严重程度。本研究可为草莓病害精准防治提供可靠的技术支撑。

基于多模态对比融合的动作识别算法研究

基于多模态数据的动作识别主要利用视觉、触觉等多感官通道数据进行人体姿态识别。由于不同模态数据的存储结构、采样频率差异性较大,多模态动作数据在特征提取过程中,容易出现语义偏移问题,影响了模型的识别效果。为解决上述问题,文章提出了基于多模态对比学习的动作识别模型(Multimodal Contrastive Fusion-based Action Recognition,MCFAR)。该模型将同一动作的不同模态特征作为正样本对,利用对比学习缩小正样本对的空间距离,解决特征提取过程中的语义偏移问题,实现各模态特征的语义对齐。在多种数据集上的实验结果证明了所提方法的有效性。

基于多层次空-谱融合网络的高光谱图像分类

为了在高光谱图像分类中更好提取和表达光谱与空间的精细特征以及特征间的交互信息,提出一种基于多层次空-谱融合网络的高光谱图像分类方法。首先,利用多层次特征提取模块,分别提取高光谱图像的多层次空间和光谱特征;其次,设计空-谱特征交互融合模块将获得的多层次空间与光谱特征进行特征融合,以产生空-谱融合特征。本文方法可以结合网络中不同层次的空间与光谱特征,有效地捕获高光谱图像精细特征;同时,通过联合学习融合空间与光谱特征,捕获光谱与空间特征之间交互作用。实验结果表明,与现有基于神经网络的分类方法相比,所提出的高光谱图像分类算法能够获得更高的分类精度,表明该网络能有效地提取精细特征和增强空-谱融合特征的表达能力。