多特征模态融合时存在噪声的叠加,而为减小模态间的差异采用的级联方式的结构也未充分利用模态间的特征信息,因此设计一种跨模态双流交替交互网络(DAINet)方法。首先,构建双流交替增强(DAE)模块,以交互双分支形式融合模态特征,并通过学...多特征模态融合时存在噪声的叠加,而为减小模态间的差异采用的级联方式的结构也未充分利用模态间的特征信息,因此设计一种跨模态双流交替交互网络(DAINet)方法。首先,构建双流交替增强(DAE)模块,以交互双分支形式融合模态特征,并通过学习模态数据的映射关系,以红外-可见光-红外(IR-VIS-IR)和可见光-红外-可见光(VIS-IR-VIS)的双向反馈调节实现模态间噪声的交叉抑制;然后,构建跨模态特征交互(CMFI)模块,并引入残差结构将红外-可见光模态内以及模态间的低层特征和高层特征进行有效融合,从而减小模态间的差异并充分利用模态间的特征信息;最后,在自建红外-可见光多模态台风数据集及RGB-NIR多模态公开场景数据集上进行实验,以验证DAE模块和CMFI模块的有效性。实验结果表明,与简单级联融合方法相比,所提的基于DAINet的特征融合方法在自建台风数据集上的红外模态和可见光模态上的总体分类精度分别提高了6.61和3.93个百分点,G-mean值分别提高了6.24和2.48个百分点,表明所提方法在类别不均衡分类任务上的通用性;所提方法在RGB-NIR数据集上的2种测试模态下的总体分类精度分别提高了13.47和13.90个百分点。同时,所提方法在2个数据集上分别与IFCNN(general Image Fusion framework based on Convolutional Neural Network)和DenseFuse方法进行对比的实验结果表明,所提方法在自建台风数据集上的2种测试模态下的总体分类精度分别提高了9.82、6.02和17.38、1.68个百分点。展开更多
接诉即办是实现社会治理智能化、提高人民满意度的重要举措,其中精准分析民众诉求智能匹配工单处理部门,实现诉求的快速响应、高效办理尤为关键;然而,民众诉求数据中的诉求描述不清晰、类别混淆且比例失衡会导致诉求类别分析困难,影响...接诉即办是实现社会治理智能化、提高人民满意度的重要举措,其中精准分析民众诉求智能匹配工单处理部门,实现诉求的快速响应、高效办理尤为关键;然而,民众诉求数据中的诉求描述不清晰、类别混淆且比例失衡会导致诉求类别分析困难,影响了智能派单的效率与准确性。针对上述问题,提出编解码器结构的诉求层次多标签分类模型(HMCHotline)。首先,在文本编码器中引入诉求领域中的细粒度关键词先验知识以抑制噪声干扰,并融合诉求的时空信息提高语义特征的判别力;其次,利用标签层次结构生成具有层次与语义感知的标签嵌入,并构建基于Transformer模型的标签解码器,利用诉求的语义特征和标签嵌入进行标签解码;同时,在标签的层级依赖关系基础上引入动态标签表策略限制标签的解码范围,以解决标签不一致问题;最后,采用Softmax分组策略将样本数量相近的标签类别分为同组进行Softmax操作,从而缓解由标签长尾分布导致的分类准确率低的问题。在Hotline、RCV1(Reuters Corpus VolumeⅠ)-v2和WOS(Web Of Science)数据集上的实验结果表明,相较于层次感知的标签语义匹配网络(HiMatch),所提模型的Micro-F1分别提高了1.65、2.06和0.43个百分点,验证了模型的有效性。展开更多
文摘多特征模态融合时存在噪声的叠加,而为减小模态间的差异采用的级联方式的结构也未充分利用模态间的特征信息,因此设计一种跨模态双流交替交互网络(DAINet)方法。首先,构建双流交替增强(DAE)模块,以交互双分支形式融合模态特征,并通过学习模态数据的映射关系,以红外-可见光-红外(IR-VIS-IR)和可见光-红外-可见光(VIS-IR-VIS)的双向反馈调节实现模态间噪声的交叉抑制;然后,构建跨模态特征交互(CMFI)模块,并引入残差结构将红外-可见光模态内以及模态间的低层特征和高层特征进行有效融合,从而减小模态间的差异并充分利用模态间的特征信息;最后,在自建红外-可见光多模态台风数据集及RGB-NIR多模态公开场景数据集上进行实验,以验证DAE模块和CMFI模块的有效性。实验结果表明,与简单级联融合方法相比,所提的基于DAINet的特征融合方法在自建台风数据集上的红外模态和可见光模态上的总体分类精度分别提高了6.61和3.93个百分点,G-mean值分别提高了6.24和2.48个百分点,表明所提方法在类别不均衡分类任务上的通用性;所提方法在RGB-NIR数据集上的2种测试模态下的总体分类精度分别提高了13.47和13.90个百分点。同时,所提方法在2个数据集上分别与IFCNN(general Image Fusion framework based on Convolutional Neural Network)和DenseFuse方法进行对比的实验结果表明,所提方法在自建台风数据集上的2种测试模态下的总体分类精度分别提高了9.82、6.02和17.38、1.68个百分点。
文摘接诉即办是实现社会治理智能化、提高人民满意度的重要举措,其中精准分析民众诉求智能匹配工单处理部门,实现诉求的快速响应、高效办理尤为关键;然而,民众诉求数据中的诉求描述不清晰、类别混淆且比例失衡会导致诉求类别分析困难,影响了智能派单的效率与准确性。针对上述问题,提出编解码器结构的诉求层次多标签分类模型(HMCHotline)。首先,在文本编码器中引入诉求领域中的细粒度关键词先验知识以抑制噪声干扰,并融合诉求的时空信息提高语义特征的判别力;其次,利用标签层次结构生成具有层次与语义感知的标签嵌入,并构建基于Transformer模型的标签解码器,利用诉求的语义特征和标签嵌入进行标签解码;同时,在标签的层级依赖关系基础上引入动态标签表策略限制标签的解码范围,以解决标签不一致问题;最后,采用Softmax分组策略将样本数量相近的标签类别分为同组进行Softmax操作,从而缓解由标签长尾分布导致的分类准确率低的问题。在Hotline、RCV1(Reuters Corpus VolumeⅠ)-v2和WOS(Web Of Science)数据集上的实验结果表明,相较于层次感知的标签语义匹配网络(HiMatch),所提模型的Micro-F1分别提高了1.65、2.06和0.43个百分点,验证了模型的有效性。