基于全局与局部多尺度上下文的电表数据检测

电力系统中配电箱的电表数据检测为电力管理和安全运行提供了重要的数据支持。传统的人工电表数据读取方法效率低下且易出错,而现有深度学习方法因模型参数量大限制了模型的应用。针对上述问题,提出了一种轻量化鲁棒的实时电表检测方法。通过减少特征提取网络的层数和通道数,减少模型的参数量,实现网络的轻量化。在减少网络参数量的同时,为了保证网络的特征表达能力和拟合能力,引入全局上下文和局部多尺度上下文丰富目标特征表达。全局上下文关注电表数据在电表箱中的位置,局部多尺度上下文适应不同尺寸的电表数据。实验结果表明,所提网络在参数量更小的情况下,仍能获得比其他检测方法更高的准确率和更快的检测速度。

基于人体和场景上下文的多人3D姿态估计

深度歧义是单帧图像多人3D姿态估计面临的重要挑战,提取图像上下文对缓解深度歧义极具潜力.自顶向下方法大多基于人体检测建模关键点关系,人体包围框粒度粗背景噪声占比较大,极易导致关键点偏移或误匹配,还将影响基于人体尺度因子估计绝对深度的可靠性.自底向上的方法直接检出图像中的人体关键点再逐一恢复3D人体姿态.虽然能够显式获取场景上下文,但在相对深度估计方面处于劣势.提出新的双分支网络,自顶向下分支基于关键点区域提议提取人体上下文,自底向上分支基于三维空间提取场景上下文.提出带噪声抑制的人体上下文提取方法,通过建模“关键点区域提议”描述人体目标,建模姿态关联的动态稀疏关键点关系剔除弱连接减少噪声传播.提出从鸟瞰视角提取场景上下文的方法,通过建模图像深度特征并映射鸟瞰平面获得三维空间人体位置布局;设计人体和场景上下文融合网络预测人体绝对深度.在公开数据集MuPoTS-3D和Human3.6M上的实验结果表明:与同类先进模型相比,所提模型HSC-Pose的相对和绝对3D关键点位置精度至少提高2.2%和0.5%;平均根关键点位置误差至少降低4.2 mm.

结合空时上下文信息的视频SAR图像相干斑滤波

作为合成孔径雷达(synthetic aperture radar,SAR)的一种新体制,视频SAR能够对场景连续成像,在目标检测、跟踪等应用情景有独特优势。然而,相干斑的存在影响了视频SAR图像质量及后续目标检测应用。针对这一问题,提出了一种结合空时上下文信息的视频SAR图像相干斑滤波方法。该方法主要由3步构成:首先构建能表征视频SAR图像距离-方位-时间三维动态散射信息的空时上下文协方差矩阵;其次根据协方差矩阵的相似检验选取一定邻域内目标像素的相似样本;最后根据相似样本进行平均实现相干斑滤波。基于两组实测视频SAR数据开展相干斑滤波对比实验,实验结果表明所提方法能在有效抑制相干斑的同时较好地保留目标细节信息,验证了所提方法的有效性和优势。

双注意力随机选择全局上下文细粒度识别网络

针对细粒度图像识别任务中易忽视微小潜在性特征且外观差异细微等问题,提出一种基于双注意力随机选择全局上下文细粒度识别网络。首先,使用ConvNeXt作为主干网络,提出双注意力随机选择模块,对不同阶段提取到的特征进行通道随机选择和空间随机选择,使网络能够关注到其他潜在微小判别性特征;其次,利用全局上下文注意力模块将深层特征的语义信息融合到中间层,增强中间层定位微小特征的能力;最后,提出一种多分支损失,对中间层、深层和拼接层特征引入分类损失,结合不同分支提取到的特征,诱导网络获得多样性的判别特征。所提网络在Stanford-cars、CUB-200-2011、FGVC-Aircraft 3个公开细粒度数据集和真实场景下车型数据集VMRURS上分别达到了95.2%、92.1%、94.0%和97.0%的识别准确率,其性能相比其他对比方法有较大幅度提升。

基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。

基于上下文提取与注意力融合的遮挡服装图像分割

针对遮挡服装图像分割准确率低的问题,提出一种融合上下文提取与注意力机制的遮挡服装图像实例分割方法。以Mask R-CNN为基础网络,首先采用上下文提取模块优化ResNet的输出特征,通过融合不同速率的多路径特征从多个感受野中捕获图像的上下文信息,强化遮挡服装特征表示的识别及提取能力;然后引入通道注意力机制与空间注意力机制的残差连接,自适应地专注于捕捉遮挡服装图像的空间和通道维度上的语义相互依赖关系,降低上下文提取模块在处理特征图时因冗余的上下文关系扩大造成误定位与误识别的概率;最后,采用目标检测损失函数CIoU计算原理作为非极大值抑制的评判标准,关注预测框和真实框的重叠与非重叠区域,最大程度地选择遮挡服装的最优目标框,使预测框更加贴近真实框。结果表明,与其它方法相比,改进方法显著改善了不同遮挡程度服装图像的误分割现象,能提取出更精确的服装实例,其对遮挡服装图像的平均分割精度比原模型提升了4.4%。

基于自适应上下文匹配网络的小样本知识图谱补全

知识图谱在构建过程中需要面对繁杂的现实世界信息,无法建模所有知识,因此需要补全。真实的知识图谱中很多类型的关系通常只有少量的训练实体样本对。因此,如何进行小样本知识图谱补全是一个十分有价值的问题。目前基于嵌入的方法一般通过注意力机制等方法聚合实体上下文信息,通过学习关系嵌入的方式来补全知识图谱,仅考虑关系层面的匹配程度,虽然能够预测未知关系,但往往准确度不高。针对小样本知识图谱补全问题,提出了一个自适应上下文匹配网络(Adaptive Context Matching Network,ACMN)。首先提出一个共性邻居感知编码器,聚合参考集实体上下文,即一跳邻居实体,获得共性邻居感知编码;接着提出一个任务相关实体编码器,挖掘任务实体上下文与共性上下文的相似度信息,区分一跳邻居对当前任务的贡献,增强实体表征;然后提出一个上下文关系编码器获得动态关系表征;最后通过加权求和综合考虑实体上下文和关系的匹配程度,完成补全。ACMN从实体上下文相似度和关系匹配程度两个方面综合评价查询三元组是否成立,能够在小样本的背景下有效提高预测准确性。在两个公共数据集上和其他8个广泛使用的算法进行比较,ACMN在不同规模的小样本情况下,取得了目前最好的补全结果。

脑电情感识别中多上下文向量优化的卷积递归神经网络

目前的脑电(EEG)情感识别模型忽略了不同时段情感状态的差异性,未能强化关键的情感信息。针对上述问题,提出一种多上下文向量优化的卷积递归神经网络(CR-MCV)。首先构造脑电信号的特征矩阵序列,通过卷积神经网络(CNN)学习多通道脑电的空间特征;然后利用基于多头注意力的递归神经网络生成多上下文向量进行高层抽象特征提取;最后利用全连接层进行情感分类。在DEAP(Database for Emotion Analysis using Physiological signals)数据集上进行实验,CR-MCV在唤醒和效价维度上分类准确率分别为88.09%和89.30%。实验结果表明,CR-MCV在利用电极空间位置信息和不同时段情感状态显著性特征基础上,能够自适应地分配特征的注意力并强化情感状态显著性信息。

结合上下文特征融合的虚拟视点图像空洞填充

由于参考纹理视图的前景遮挡和不同视点间的视角差异,基于深度图的虚拟视点合成会产生大量空洞,先前的空洞填充方法耗时较长且填充区域与合成图像缺乏纹理一致性。该文首先对深度图进行预处理来减少空洞填充时的前景渗透;然后,针对经3D-warping后输出合成图像中的空洞,设计了一种基于生成对抗网络(GAN)架构的图像生成网络来填充空洞。该网络模型由2级子网络构成,第1级网络生成空洞区域的纹理结构信息,第2级网络采用了一种结合上下文特征融合的注意力模块来提升空洞填充质量。提出的网络模型能有效解决当虚拟视点图像中的前景对象存在快速运动时,空洞填充区易产生伪影的问题。在多视点深度序列上的实验结果表明,提出方法在主客观质量上均优于已有的虚拟视点图像空洞填充方法。

基于上下文信息与特征细化的无人机小目标检测算法

无人机航拍图像中的目标检测是近年来研究的热点,针对无人机视角下目标小而密集、背景复杂导致检测精度低的问题,提出一种基于上下文信息与特征细化的无人机小目标检测算法。通过上下文特征增强模块,利用多尺度扩张卷积捕获与周围区域像素点的潜在关系,为网络补充上下文信息,并根据不同尺度的特征层自适应生成各层级特征图的输出权重,动态优化特征图表达能力;由于不同特征图细粒度不同,使用特征细化模块来抑制特征融合中冲突信息的干扰,防止小目标特征淹没在冲突信息中;设计了一种带权重的损失函数,加快模型收敛速度,进一步提高小目标检测精度。在VisDrone2021数据集进行大量实验表明,改进后的模型较基准模型mAP50提高8.4个百分点,mAP50:95提高5.9个百分点,FPS为42,有效提高了无人机航拍图像中小目标的检测精度。

基于区域的上下文信息矩阵推理目标检测模型

目标的语义信息或目标之间的关系有助于目标识别。然而,目前最先进的目标检测器依赖于单独识别目标实例,缺乏充分的上下文信息。为了充分利用上下文信息,本文提出了一种特定的上下文矩阵,将上下文矩阵结合到目标检测中来增强检测模型的上下文信息推理能力。具体来说,该上下文矩阵有3种形式,分别来自不同数据集的标注。通过目标之间的关系、属性和共现概率来增强上下文信息,并将每个区域的上下文矩阵增强后的新特征与原始特征相连接,提高分类和定位的性能。此外,基于上下文矩阵推理的模型是轻量级的和灵活的,足以增强不同的目标检测基线并有助于少样本检测任务。大量实验表明,所提出的基于上下文矩阵推理的检测器可以在不同的基准上持续改进各种检测器。

“联系上下文”的教学价值及实践策略

“联系上下文”的理论基础是语境理论,该理论对于语文课程的综合性、实践性的性质具有强解释力。“联系上下文”具有较大的教学价值,既可以培养学生在语境中独立识字的能力,又可以培养学生在阅读文本中提取信息的能力。在阅读教学中,教师要注意结合文本的特点,设计有价值的学习任务,将“联系上下文”这一阅读方法的训练落到可评、可测的实处。

BBTUNet:基于上下文Transformer的肝脏肿瘤分割算法研究

肝癌是世界范围内最常见的恶性肿瘤之一,严重威胁着人类的生命健康,从计算机断层扫描(Computed Tomography,CT)中精确分割出肝脏肿瘤对后期的临床诊断具有重要的意义。现有的方法虽然实现了肝脏肿瘤的自动化分割,但肝脏肿瘤边界模糊、目标较小、容易漏检等问题尚未很好地解决,肝脏肿瘤的精确分割仍旧是一项极具挑战的任务。针对这些问题,该文提出一种新的分割网络BBTUNet。构建基于Transformer的上下文Bridge,重新设计UNet的跳跃连接结构,有效捕捉多尺度特征之间的上下文关系。在Transformer的前馈神经网络中引入可分离的空洞卷积,提出改进的前馈神经网络BFFN,有效融合全局和局部信息,增强边界特征,细化分割边缘。在3DIRCADB数据集上对模型进行训练和测试,实验结果表明,提出的BBTUNet网络的Dice系数为82.1%,ACC为96.4%,相较于UNet网络,分别提升了10.9%、4.6%,且对于小尺寸、低对比度、边界模糊的肿瘤分割具有显著优势。

基于上下文编码器网络的油气曲线图像脱敏方法研究

数据对于石油企业就是资产。数据加密与数据脱敏都是针对数据安全的策略,但目前数据脱敏技术仅能够针对文本实现,缺少石油企业中大量保有的图像数据脱敏技术。针对目前脱敏技术存在的不足之处及油气田勘探中的曲线图像数据特点,借鉴深度学习图像修复方法,提出一套基于上下文编码器的脱敏技术,弥补了行业内对于图像数据无法脱敏的缺陷。对该方法进行详细的测试后取得了较好的脱敏效果。对比传统方法,结果证明其能够在曲线图像这种具有专业特殊性的数据中取得更明显的效果以及更可靠的脱敏效果。

基于分层融合策略和上下文信息嵌入的多模态情绪识别

现有的多模态融合策略大多将不同模态特征进行简单拼接,忽略了针对单个模态固有特点的个性化融合需求。同时,在情绪识别阶段,独立地看待单个话语的情绪而不考虑其在前后话语语境下的情绪状态,可能导致情绪识别错误。为了解决上述问题,提出一种基于分层融合策略和上下文信息嵌入的多模态情绪识别方法,通过分层融合策略,采用层次递进的方式,依次融合不同的模态特征,以便减少单个模态的噪声干扰并解决不同模态间表达不一致的问题。该方法还充分利用融合后模态的上下文信息,综合考虑单个话语在上下文语境中的情绪表示,以便提升情绪识别的效果。在二分类情绪识别任务中,该方法的准确率比SOTA模型提升1.54%。在多分类情绪识别任务中,该方法的F1值比SOTA模型提升2.79%。

集成多种上下文与混合交互的显著性目标检测

显著性目标检测目的是识别和分割图像中的视觉显著性目标,它是计算机视觉任务及其相关领域的重要研究内容之一。当下基于全卷积网络(FCNs)的显著性目标检测方法已经取得了不错的性能,然而现实场景中的显著性目标类型多变且尺寸不固定,这使得准确检测并完整分割出显著性目标仍然是一个巨大的挑战。为此,该文提出集成多种上下文和混合交互的显著性目标检测方法,通过利用密集上下文信息探索模块和多源特征混合交互模块来高效预测显著性目标。密集上下文信息探索模块采用空洞卷积、不对称卷积和密集引导连接渐进地捕获具有强关联性的多尺度和多感受野上下文信息,通过集成这些信息来增强每个初始多层级特征的表达能力。多源特征混合交互模块包含多种特征聚合操作,可以自适应交互来自多层级特征中的互补性信息,以生成用于准确预测显著性图的高质量特征表示。此方法在5个公共数据集上进行了性能测试,实验结果表明,该文方法在不同的评估指标下与19种基于深度学习的显著性目标检测方法相比取得优越的预测性能。

结合上下文的细粒度实体分类特征表示方法

细粒度实体分类任务赋予文本中的实体以细粒度类别,能够通过类别信息为实体提供丰富的语义信息,在关系抽取、实体链接和问答系统等下游任务中发挥重要作用。由于实体在句子中的长度和位置是不统一的,无法直接计算实体在上下文中的表示,现有的细粒度实体分类方法将实体提及与其上下文分别进行处理和特征表示,割裂了实体与其上下文之间的语义关联。提出一种结合上下文的实体分类特征表示方法,将实体放回上下文,并解决了实体长度和位置不统一的情况下,实体特征表示的计算问题。实验结果表明,采用结合上下文的实体特征表示方法提取实体在上下文中的特征表示,能够大幅提升细粒度实体分类的性能,该方法在中文细粒度实体分类数据集CFET上的Macro-F1较原文普遍提高了10%以上。

基于条形卷积和上下文感知的近海水产养殖提取方法

利用中等分辨率遥感影像,针对近海养殖区边界模糊、筏式和网箱养殖存在类间干扰等现象,以ResUnet模型为基础,提出一种带有条形卷积模块和上下文感知单元的MSUResUnet模型,以提高模型的特征提取能力,改善近海水产养殖提取任务中出现的漏提和粘连等问题.模型中利用条形池化模块增强编码层与解码层信息的交互,引入条形卷积模块增强对水产养殖线性特征的捕捉能力,通过增加上下文感知单元获取水产养殖区丰富的多尺度上下文信息.在Sentinel-2 MSI数据上的实验结果表明,参与比对的6个模型中,MSUResUnet模型精度最优,其Kappa系数、 MIoU、 OA和F1分数分别达到了89.17%、 84.33%、 96.38%和91.19%;MSUResUnet在养殖较密集的兴化湾、三沙湾和罗源湾附近海域均获得较高精度,具有较强的特征提取和抗干扰能力,能够满足高精度的大范围中等分辨率影像近海水产养殖信息提取需求.

基于立场分析的脱离上下文虚假信息检测方法

随着基于人工智能的自动生成技术的发展,虚假信息以更具欺骗性的形式出现,对经济和社会秩序造成了巨大危害。脱离上下文虚假信息是最具欺骗性和最容易实现的虚假信息类型之一,恶意攻击者通过歪曲真实图像中的人物、事件、地点等上下文信息来增强虚假叙事的可信度。针对已有检测算法严重依赖知识库、未能全面考虑待检测信息与互联网证据之间的立场关系的问题,提出了一种基于立场分析的脱离上下文虚假信息检测方法。对于需要检测的图像-标题对以及在互联网上检索到的文本证据与视觉证据,该方法根据标题与文本证据中命名实体的共现关系,为每条文本证据计算一个立场增益分数;使用互相独立的立场分析网络对图像与视觉证据、标题与文本证据分别进行层次聚类,并完成基于多个注意力机制与立场分析模块的语义立场表征抽取;根据语义比较与立场分析的结果对图像-标题对的真实性进行预测。实验结果表明,得益于立场分析的引入,所提方法能够显著提高检测效果,相比其他使用互联网证据进行检测的最佳算法准确率提升了2.3%。

融合全局-局部上下文信息的小目标多人姿态估计

尽管多人2D姿态估计方法趋近成熟,但是现有方法无法有效识别小目标的姿态。针对当前小目标姿态难以识别的问题,提出一种融合全局-局部上下文信息的多人姿态估计方法。利用高分辨率网络(HRNet)输出的不同尺度特征对人体的多个解剖中心进行粗糙的定位,通过多个中心点给小目标提供更多的监督信息,提高对小目标的定位能力。以定位的人体中心点坐标为线索,通过可变形采样的方式提取中心点附近不同尺度的局部上下文信息,并计算不同目标局部上下文信息之间的对比损失以提高目标之间的判别能力。以HRNet网络的低分辨率特征作为全局上下文信息,以局部上下文信息作为交叉注意力的查询,结合全局和局部上下文信息构建多层Transformer模型,增强小目标的上下文信息。将增强的小目标上下文信息作为聚类中心,解耦多尺度融合的特征得到不同目标对应的关键点热图,从而实现小目标多人姿态估计。实验结果表明,该方法能够有效提高小目标姿态的识别性能,在COCO test-dev2017数据集上取得了69.0%的平均精度(AP),APM比对偶解剖中心(DAC)方法提高1.4个百分点。