双注意力随机选择全局上下文细粒度识别网络

针对细粒度图像识别任务中易忽视微小潜在性特征且外观差异细微等问题,提出一种基于双注意力随机选择全局上下文细粒度识别网络。首先,使用ConvNeXt作为主干网络,提出双注意力随机选择模块,对不同阶段提取到的特征进行通道随机选择和空间随机选择,使网络能够关注到其他潜在微小判别性特征;其次,利用全局上下文注意力模块将深层特征的语义信息融合到中间层,增强中间层定位微小特征的能力;最后,提出一种多分支损失,对中间层、深层和拼接层特征引入分类损失,结合不同分支提取到的特征,诱导网络获得多样性的判别特征。所提网络在Stanford-cars、CUB-200-2011、FGVC-Aircraft 3个公开细粒度数据集和真实场景下车型数据集VMRURS上分别达到了95.2%、92.1%、94.0%和97.0%的识别准确率,其性能相比其他对比方法有较大幅度提升。

基于上下文提取与注意力融合的遮挡服装图像分割

针对遮挡服装图像分割准确率低的问题,提出一种融合上下文提取与注意力机制的遮挡服装图像实例分割方法。以Mask R-CNN为基础网络,首先采用上下文提取模块优化ResNet的输出特征,通过融合不同速率的多路径特征从多个感受野中捕获图像的上下文信息,强化遮挡服装特征表示的识别及提取能力;然后引入通道注意力机制与空间注意力机制的残差连接,自适应地专注于捕捉遮挡服装图像的空间和通道维度上的语义相互依赖关系,降低上下文提取模块在处理特征图时因冗余的上下文关系扩大造成误定位与误识别的概率;最后,采用目标检测损失函数CIoU计算原理作为非极大值抑制的评判标准,关注预测框和真实框的重叠与非重叠区域,最大程度地选择遮挡服装的最优目标框,使预测框更加贴近真实框。结果表明,与其它方法相比,改进方法显著改善了不同遮挡程度服装图像的误分割现象,能提取出更精确的服装实例,其对遮挡服装图像的平均分割精度比原模型提升了4.4%。

基于自适应上下文匹配网络的小样本知识图谱补全

知识图谱在构建过程中需要面对繁杂的现实世界信息,无法建模所有知识,因此需要补全。真实的知识图谱中很多类型的关系通常只有少量的训练实体样本对。因此,如何进行小样本知识图谱补全是一个十分有价值的问题。目前基于嵌入的方法一般通过注意力机制等方法聚合实体上下文信息,通过学习关系嵌入的方式来补全知识图谱,仅考虑关系层面的匹配程度,虽然能够预测未知关系,但往往准确度不高。针对小样本知识图谱补全问题,提出了一个自适应上下文匹配网络(Adaptive Context Matching Network,ACMN)。首先提出一个共性邻居感知编码器,聚合参考集实体上下文,即一跳邻居实体,获得共性邻居感知编码;接着提出一个任务相关实体编码器,挖掘任务实体上下文与共性上下文的相似度信息,区分一跳邻居对当前任务的贡献,增强实体表征;然后提出一个上下文关系编码器获得动态关系表征;最后通过加权求和综合考虑实体上下文和关系的匹配程度,完成补全。ACMN从实体上下文相似度和关系匹配程度两个方面综合评价查询三元组是否成立,能够在小样本的背景下有效提高预测准确性。在两个公共数据集上和其他8个广泛使用的算法进行比较,ACMN在不同规模的小样本情况下,取得了目前最好的补全结果。

基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。

脑电情感识别中多上下文向量优化的卷积递归神经网络

目前的脑电(EEG)情感识别模型忽略了不同时段情感状态的差异性,未能强化关键的情感信息。针对上述问题,提出一种多上下文向量优化的卷积递归神经网络(CR-MCV)。首先构造脑电信号的特征矩阵序列,通过卷积神经网络(CNN)学习多通道脑电的空间特征;然后利用基于多头注意力的递归神经网络生成多上下文向量进行高层抽象特征提取;最后利用全连接层进行情感分类。在DEAP(Database for Emotion Analysis using Physiological signals)数据集上进行实验,CR-MCV在唤醒和效价维度上分类准确率分别为88.09%和89.30%。实验结果表明,CR-MCV在利用电极空间位置信息和不同时段情感状态显著性特征基础上,能够自适应地分配特征的注意力并强化情感状态显著性信息。

基于上下文信息与特征细化的无人机小目标检测算法

无人机航拍图像中的目标检测是近年来研究的热点,针对无人机视角下目标小而密集、背景复杂导致检测精度低的问题,提出一种基于上下文信息与特征细化的无人机小目标检测算法。通过上下文特征增强模块,利用多尺度扩张卷积捕获与周围区域像素点的潜在关系,为网络补充上下文信息,并根据不同尺度的特征层自适应生成各层级特征图的输出权重,动态优化特征图表达能力;由于不同特征图细粒度不同,使用特征细化模块来抑制特征融合中冲突信息的干扰,防止小目标特征淹没在冲突信息中;设计了一种带权重的损失函数,加快模型收敛速度,进一步提高小目标检测精度。在VisDrone2021数据集进行大量实验表明,改进后的模型较基准模型mAP50提高8.4个百分点,mAP50:95提高5.9个百分点,FPS为42,有效提高了无人机航拍图像中小目标的检测精度。

BBTUNet:基于上下文Transformer的肝脏肿瘤分割算法研究

肝癌是世界范围内最常见的恶性肿瘤之一,严重威胁着人类的生命健康,从计算机断层扫描(Computed Tomography,CT)中精确分割出肝脏肿瘤对后期的临床诊断具有重要的意义。现有的方法虽然实现了肝脏肿瘤的自动化分割,但肝脏肿瘤边界模糊、目标较小、容易漏检等问题尚未很好地解决,肝脏肿瘤的精确分割仍旧是一项极具挑战的任务。针对这些问题,该文提出一种新的分割网络BBTUNet。构建基于Transformer的上下文Bridge,重新设计UNet的跳跃连接结构,有效捕捉多尺度特征之间的上下文关系。在Transformer的前馈神经网络中引入可分离的空洞卷积,提出改进的前馈神经网络BFFN,有效融合全局和局部信息,增强边界特征,细化分割边缘。在3DIRCADB数据集上对模型进行训练和测试,实验结果表明,提出的BBTUNet网络的Dice系数为82.1%,ACC为96.4%,相较于UNet网络,分别提升了10.9%、4.6%,且对于小尺寸、低对比度、边界模糊的肿瘤分割具有显著优势。

基于上下文编码器网络的油气曲线图像脱敏方法研究

数据对于石油企业就是资产。数据加密与数据脱敏都是针对数据安全的策略,但目前数据脱敏技术仅能够针对文本实现,缺少石油企业中大量保有的图像数据脱敏技术。针对目前脱敏技术存在的不足之处及油气田勘探中的曲线图像数据特点,借鉴深度学习图像修复方法,提出一套基于上下文编码器的脱敏技术,弥补了行业内对于图像数据无法脱敏的缺陷。对该方法进行详细的测试后取得了较好的脱敏效果。对比传统方法,结果证明其能够在曲线图像这种具有专业特殊性的数据中取得更明显的效果以及更可靠的脱敏效果。

结合上下文特征融合的虚拟视点图像空洞填充

由于参考纹理视图的前景遮挡和不同视点间的视角差异,基于深度图的虚拟视点合成会产生大量空洞,先前的空洞填充方法耗时较长且填充区域与合成图像缺乏纹理一致性。该文首先对深度图进行预处理来减少空洞填充时的前景渗透;然后,针对经3D-warping后输出合成图像中的空洞,设计了一种基于生成对抗网络(GAN)架构的图像生成网络来填充空洞。该网络模型由2级子网络构成,第1级网络生成空洞区域的纹理结构信息,第2级网络采用了一种结合上下文特征融合的注意力模块来提升空洞填充质量。提出的网络模型能有效解决当虚拟视点图像中的前景对象存在快速运动时,空洞填充区易产生伪影的问题。在多视点深度序列上的实验结果表明,提出方法在主客观质量上均优于已有的虚拟视点图像空洞填充方法。

基于区域的上下文信息矩阵推理目标检测模型

目标的语义信息或目标之间的关系有助于目标识别。然而,目前最先进的目标检测器依赖于单独识别目标实例,缺乏充分的上下文信息。为了充分利用上下文信息,本文提出了一种特定的上下文矩阵,将上下文矩阵结合到目标检测中来增强检测模型的上下文信息推理能力。具体来说,该上下文矩阵有3种形式,分别来自不同数据集的标注。通过目标之间的关系、属性和共现概率来增强上下文信息,并将每个区域的上下文矩阵增强后的新特征与原始特征相连接,提高分类和定位的性能。此外,基于上下文矩阵推理的模型是轻量级的和灵活的,足以增强不同的目标检测基线并有助于少样本检测任务。大量实验表明,所提出的基于上下文矩阵推理的检测器可以在不同的基准上持续改进各种检测器。

“联系上下文”的教学价值及实践策略

“联系上下文”的理论基础是语境理论,该理论对于语文课程的综合性、实践性的性质具有强解释力。“联系上下文”具有较大的教学价值,既可以培养学生在语境中独立识字的能力,又可以培养学生在阅读文本中提取信息的能力。在阅读教学中,教师要注意结合文本的特点,设计有价值的学习任务,将“联系上下文”这一阅读方法的训练落到可评、可测的实处。

基于分层融合策略和上下文信息嵌入的多模态情绪识别

现有的多模态融合策略大多将不同模态特征进行简单拼接,忽略了针对单个模态固有特点的个性化融合需求。同时,在情绪识别阶段,独立地看待单个话语的情绪而不考虑其在前后话语语境下的情绪状态,可能导致情绪识别错误。为了解决上述问题,提出一种基于分层融合策略和上下文信息嵌入的多模态情绪识别方法,通过分层融合策略,采用层次递进的方式,依次融合不同的模态特征,以便减少单个模态的噪声干扰并解决不同模态间表达不一致的问题。该方法还充分利用融合后模态的上下文信息,综合考虑单个话语在上下文语境中的情绪表示,以便提升情绪识别的效果。在二分类情绪识别任务中,该方法的准确率比SOTA模型提升1.54%。在多分类情绪识别任务中,该方法的F1值比SOTA模型提升2.79%。

结合上下文的细粒度实体分类特征表示方法

细粒度实体分类任务赋予文本中的实体以细粒度类别,能够通过类别信息为实体提供丰富的语义信息,在关系抽取、实体链接和问答系统等下游任务中发挥重要作用。由于实体在句子中的长度和位置是不统一的,无法直接计算实体在上下文中的表示,现有的细粒度实体分类方法将实体提及与其上下文分别进行处理和特征表示,割裂了实体与其上下文之间的语义关联。提出一种结合上下文的实体分类特征表示方法,将实体放回上下文,并解决了实体长度和位置不统一的情况下,实体特征表示的计算问题。实验结果表明,采用结合上下文的实体特征表示方法提取实体在上下文中的特征表示,能够大幅提升细粒度实体分类的性能,该方法在中文细粒度实体分类数据集CFET上的Macro-F1较原文普遍提高了10%以上。

基于立场分析的脱离上下文虚假信息检测方法

随着基于人工智能的自动生成技术的发展,虚假信息以更具欺骗性的形式出现,对经济和社会秩序造成了巨大危害。脱离上下文虚假信息是最具欺骗性和最容易实现的虚假信息类型之一,恶意攻击者通过歪曲真实图像中的人物、事件、地点等上下文信息来增强虚假叙事的可信度。针对已有检测算法严重依赖知识库、未能全面考虑待检测信息与互联网证据之间的立场关系的问题,提出了一种基于立场分析的脱离上下文虚假信息检测方法。对于需要检测的图像-标题对以及在互联网上检索到的文本证据与视觉证据,该方法根据标题与文本证据中命名实体的共现关系,为每条文本证据计算一个立场增益分数;使用互相独立的立场分析网络对图像与视觉证据、标题与文本证据分别进行层次聚类,并完成基于多个注意力机制与立场分析模块的语义立场表征抽取;根据语义比较与立场分析的结果对图像-标题对的真实性进行预测。实验结果表明,得益于立场分析的引入,所提方法能够显著提高检测效果,相比其他使用互联网证据进行检测的最佳算法准确率提升了2.3%。

基于条形卷积和上下文感知的近海水产养殖提取方法

利用中等分辨率遥感影像,针对近海养殖区边界模糊、筏式和网箱养殖存在类间干扰等现象,以ResUnet模型为基础,提出一种带有条形卷积模块和上下文感知单元的MSUResUnet模型,以提高模型的特征提取能力,改善近海水产养殖提取任务中出现的漏提和粘连等问题.模型中利用条形池化模块增强编码层与解码层信息的交互,引入条形卷积模块增强对水产养殖线性特征的捕捉能力,通过增加上下文感知单元获取水产养殖区丰富的多尺度上下文信息.在Sentinel-2 MSI数据上的实验结果表明,参与比对的6个模型中,MSUResUnet模型精度最优,其Kappa系数、 MIoU、 OA和F1分数分别达到了89.17%、 84.33%、 96.38%和91.19%;MSUResUnet在养殖较密集的兴化湾、三沙湾和罗源湾附近海域均获得较高精度,具有较强的特征提取和抗干扰能力,能够满足高精度的大范围中等分辨率影像近海水产养殖信息提取需求.

基于分层表示和上下文增强的类摘要生成技术

代码摘要是源代码的自然语言解释,高质量的代码摘要有助于提高开发人员程序理解效率.近年来,代码自动摘要的研究集中在为方法粒度的代码片段生成摘要.然而,对于面向对象的语言,例如Java,类才是项目的基本组成单元.基于上述问题,提出一种基于分层表示和上下文增强的类摘要生成方法HRCE(hierarchical representation and context enhancement),并构建了一个包含358 992个?Java类,上下文,摘要?数据对的类摘要数据集.HRCE使用代码精简策略去除类的非关键代码,从而缩短代码长度.然后,对类的层次结构,包括类签名、属性和方法分别进行建模,获得类的语义信息和层次结构信息.此外,从项目中抽取父类的签名及摘要来刻画类在项目中依赖的上下文.实验表明,基于分层表示和上下文增强的生成模型能够表征代码的语义和层次结构,并可以从目标类的内部和外部获取信息. HRCE在BLEU,METEOR,ROUGE-L等评估指标上超过了所有基准模型.

基于多尺度上下文的英文作文自动评分研究

目前作文自动评分模型缺乏对不同尺度上下文语义特征的提取,未能从句子级别计算与作文主题关联程度的特征。提出基于多尺度上下文的英文作文自动评分研究方法MSC。采用XLNet英文预训练模型提取原始作文文本单词嵌入和句嵌入,避免在处理长序列文本时无法准确捕捉到符合上下文语境的向量嵌入,提升动态向量语义表征质量,解决一词多义问题,并通过一维卷积模块提取不同尺度的短语级别嵌入。多尺度上下文网络通过结合内置自注意力简单循环单元和全局注意力机制,分别捕捉单词、短语和句子级别的作文高维潜在上下文语义关联关系,利用句向量与作文主题计算语义相似度提取篇章主题层次特征,将所有特征输入融合层通过线性层得到自动评分结果。在公开的标准英文作文评分数据集ASAP上的实验结果表明,MSC模型平均二次加权的Kappa值达到了80.5%,且在多个子集上取得了最佳效果,优于实验对比的深度学习自动评分模型,证明了MSC在英文作文自动评分任务上的有效性。

基于人体和场景上下文的多人3D姿态估计

深度歧义是单帧图像多人3D姿态估计面临的重要挑战,提取图像上下文对缓解深度歧义极具潜力.自顶向下方法大多基于人体检测建模关键点关系,人体包围框粒度粗背景噪声占比较大,极易导致关键点偏移或误匹配,还将影响基于人体尺度因子估计绝对深度的可靠性.自底向上的方法直接检出图像中的人体关键点再逐一恢复3D人体姿态.虽然能够显式获取场景上下文,但在相对深度估计方面处于劣势.提出新的双分支网络,自顶向下分支基于关键点区域提议提取人体上下文,自底向上分支基于三维空间提取场景上下文.提出带噪声抑制的人体上下文提取方法,通过建模“关键点区域提议”描述人体目标,建模姿态关联的动态稀疏关键点关系剔除弱连接减少噪声传播.提出从鸟瞰视角提取场景上下文的方法,通过建模图像深度特征并映射鸟瞰平面获得三维空间人体位置布局;设计人体和场景上下文融合网络预测人体绝对深度.在公开数据集MuPoTS-3D和Human3.6M上的实验结果表明:与同类先进模型相比,所提模型HSC-Pose的相对和绝对3D关键点位置精度至少提高2.2%和0.5%;平均根关键点位置误差至少降低4.2 mm.

结合空时上下文信息的视频SAR图像相干斑滤波

作为合成孔径雷达(synthetic aperture radar,SAR)的一种新体制,视频SAR能够对场景连续成像,在目标检测、跟踪等应用情景有独特优势。然而,相干斑的存在影响了视频SAR图像质量及后续目标检测应用。针对这一问题,提出了一种结合空时上下文信息的视频SAR图像相干斑滤波方法。该方法主要由3步构成:首先构建能表征视频SAR图像距离-方位-时间三维动态散射信息的空时上下文协方差矩阵;其次根据协方差矩阵的相似检验选取一定邻域内目标像素的相似样本;最后根据相似样本进行平均实现相干斑滤波。基于两组实测视频SAR数据开展相干斑滤波对比实验,实验结果表明所提方法能在有效抑制相干斑的同时较好地保留目标细节信息,验证了所提方法的有效性和优势。

基于上下文方面记忆网络的方面级情感分析

基于深度记忆网络在方面级情感分析中的优势及针对相关工作中忽略上下文词与方面之间位置信息的不足,提出一种基于上下文方面记忆网络的方面级情感分析方法。不同记忆网络层关注上下文记忆不同部分,获取丰富方面感知上下文信息。为充分利用方面间信息,设计方面记忆网络更新模块,为所需方面生成邻近方面的语义和关系信息,在多计算层中的多头注意力机制输入采用两种策略计算上下文和方面词的相关性。在3个基准数据集上的实验结果表明,所提模型在性能评价指标的准确率和Macro-F1-score上与相关工作比较有一定提升。