上下文建模与推理的视频异常事件检测

视频异常事件检测旨在从视频中自动地检测出不符合正常事件规律的视频事件.视频中许多正常和异常的事件是由目标与场景或其它目标交互而产生的,即它们是以目标为中心且高度上下文相关的.如何从底层的视频特征中提取事件高层语义上下文信息,并根据上下文信息进行视频异常事件检测仍是一个开放的难题.为此,本文提出了一种新的上下文建模与推理的视频异常事件检测方法.本文方法通过建立视频的上下文图,自动地推理事件相关的语义上下文信息,以缩小底层视觉特征与异常事件高层语义之间的差距,实现异常事件检测.具体来说,首先使用了预训练的目标检测网络,提取目标初始的表观特征、目标之间的时空关系特征和场景特征;其次设计了一个上下文图推理模块,通过建模时空上下文图,将提取到的特征显式地建模为三类语义上下文,包括事件目标的个体行为、不同目标之间的时空关系以及目标与场景之间的交互,其中图的节点表示目标/场景,图的边表示时空关系;最后构建了一个异常预测模块,根据推理到的语义上下文信息进行异常事件检测.本文的上下文图推理模块基于平均场理论,通过使用多个带有消息传递模块的循环神经网络,迭代更新图的节点和边的状态,目的是从底层的视觉特征中推理得到高层的语义上下文.本文的异常预测模块包括注意力池化网络层和全连接网络层,通过输入语义上下文信息,计算视频帧的异常分数,从而正确地进行异常事件检测.实验中,设计了一个自训练策略,分别使用了无监督、半监督、弱监督和监督四种训练策略,以端到端的方式训练时空上下文图推理模块和异常预测模块.本文方法在四个公开的数据集上进行了实验,包括三个半监督的数据集Subway (Entrance/Exit)、Avenue和ShanghaiTech,以及一个监督的数据集UCF-Crime.与不使用上下文的方法相比,本文方法在Subway(Entrance/Exit)、Avenue和ShanghaiTech数据集上的无监督AUC指标分别提高了2.7%/3.1%、2.0%和2.9%,半监督AUC指标分别提高了3.5%/3.3%、4.0%和4.3%.在监督数据集UCF-Crime上,与没有使用上下文的方法相比,本文方法在半监督AUC、弱监督AUC和监督AUC的指标上分别提高了2.1%、0.4%和9.2%,取得了有竞争力的表现.

基于全局与局部多尺度上下文的电表数据检测

电力系统中配电箱的电表数据检测为电力管理和安全运行提供了重要的数据支持。传统的人工电表数据读取方法效率低下且易出错,而现有深度学习方法因模型参数量大限制了模型的应用。针对上述问题,提出了一种轻量化鲁棒的实时电表检测方法。通过减少特征提取网络的层数和通道数,减少模型的参数量,实现网络的轻量化。在减少网络参数量的同时,为了保证网络的特征表达能力和拟合能力,引入全局上下文和局部多尺度上下文丰富目标特征表达。全局上下文关注电表数据在电表箱中的位置,局部多尺度上下文适应不同尺寸的电表数据。实验结果表明,所提网络在参数量更小的情况下,仍能获得比其他检测方法更高的准确率和更快的检测速度。

基于上下文信息与特征细化的无人机小目标检测算法

无人机航拍图像中的目标检测是近年来研究的热点,针对无人机视角下目标小而密集、背景复杂导致检测精度低的问题,提出一种基于上下文信息与特征细化的无人机小目标检测算法。通过上下文特征增强模块,利用多尺度扩张卷积捕获与周围区域像素点的潜在关系,为网络补充上下文信息,并根据不同尺度的特征层自适应生成各层级特征图的输出权重,动态优化特征图表达能力;由于不同特征图细粒度不同,使用特征细化模块来抑制特征融合中冲突信息的干扰,防止小目标特征淹没在冲突信息中;设计了一种带权重的损失函数,加快模型收敛速度,进一步提高小目标检测精度。在VisDrone2021数据集进行大量实验表明,改进后的模型较基准模型mAP50提高8.4个百分点,mAP50:95提高5.9个百分点,FPS为42,有效提高了无人机航拍图像中小目标的检测精度。

双注意力随机选择全局上下文细粒度识别网络

针对细粒度图像识别任务中易忽视微小潜在性特征且外观差异细微等问题,提出一种基于双注意力随机选择全局上下文细粒度识别网络。首先,使用ConvNeXt作为主干网络,提出双注意力随机选择模块,对不同阶段提取到的特征进行通道随机选择和空间随机选择,使网络能够关注到其他潜在微小判别性特征;其次,利用全局上下文注意力模块将深层特征的语义信息融合到中间层,增强中间层定位微小特征的能力;最后,提出一种多分支损失,对中间层、深层和拼接层特征引入分类损失,结合不同分支提取到的特征,诱导网络获得多样性的判别特征。所提网络在Stanford-cars、CUB-200-2011、FGVC-Aircraft 3个公开细粒度数据集和真实场景下车型数据集VMRURS上分别达到了95.2%、92.1%、94.0%和97.0%的识别准确率,其性能相比其他对比方法有较大幅度提升。

基于人体和场景上下文的多人3D姿态估计

深度歧义是单帧图像多人3D姿态估计面临的重要挑战,提取图像上下文对缓解深度歧义极具潜力.自顶向下方法大多基于人体检测建模关键点关系,人体包围框粒度粗背景噪声占比较大,极易导致关键点偏移或误匹配,还将影响基于人体尺度因子估计绝对深度的可靠性.自底向上的方法直接检出图像中的人体关键点再逐一恢复3D人体姿态.虽然能够显式获取场景上下文,但在相对深度估计方面处于劣势.提出新的双分支网络,自顶向下分支基于关键点区域提议提取人体上下文,自底向上分支基于三维空间提取场景上下文.提出带噪声抑制的人体上下文提取方法,通过建模“关键点区域提议”描述人体目标,建模姿态关联的动态稀疏关键点关系剔除弱连接减少噪声传播.提出从鸟瞰视角提取场景上下文的方法,通过建模图像深度特征并映射鸟瞰平面获得三维空间人体位置布局;设计人体和场景上下文融合网络预测人体绝对深度.在公开数据集MuPoTS-3D和Human3.6M上的实验结果表明:与同类先进模型相比,所提模型HSC-Pose的相对和绝对3D关键点位置精度至少提高2.2%和0.5%;平均根关键点位置误差至少降低4.2 mm.

结合空时上下文信息的视频SAR图像相干斑滤波

作为合成孔径雷达(synthetic aperture radar,SAR)的一种新体制,视频SAR能够对场景连续成像,在目标检测、跟踪等应用情景有独特优势。然而,相干斑的存在影响了视频SAR图像质量及后续目标检测应用。针对这一问题,提出了一种结合空时上下文信息的视频SAR图像相干斑滤波方法。该方法主要由3步构成:首先构建能表征视频SAR图像距离-方位-时间三维动态散射信息的空时上下文协方差矩阵;其次根据协方差矩阵的相似检验选取一定邻域内目标像素的相似样本;最后根据相似样本进行平均实现相干斑滤波。基于两组实测视频SAR数据开展相干斑滤波对比实验,实验结果表明所提方法能在有效抑制相干斑的同时较好地保留目标细节信息,验证了所提方法的有效性和优势。

基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。

改进形状上下文蚁群算法的边缘景象匹配方法

针对弹体低空飞越沙漠、山地等区域时,实时图与基准图之间尺度差异大,匹配误差大的问题,提出一种用改进的形状上下文结合蚁群算法对边缘特征进行部分形状匹配的方法。为克服异源图像边缘特征的形状差异,在形状上下文算法的基础上,提取边缘邻域特征,根据边缘邻域特征相似性进行粗匹配选出候选边缘,再利用候选边缘和待配准边缘点的位置关系和形状相似度使初始化后的蚂蚁遍历所有边缘点,然后利用转换后匹配点对的距离加权和计算信息素增量,由相邻匹配点对的方向约束关系计算其权重,并根据相邻匹配对的距离关系辨别出没有正确匹配关系的边缘片段,则剔除片段上的匹配点对,对应匹配对的权重为零,最后多只蚂蚁共同多次迭代得到最优匹配结果。在实测红外可见光数据集上进行景象匹配实验,结果表明,提出的算法显著优于SIFT算法,能够克服异源图像上边缘特征的形状差异,实现两个边缘特征的精确匹配,定位精度比传统的边缘特征匹配方法提高了43.71%。

多尺度上下文引导特征消除的古塔图像分类

针对古塔建筑图像分类任务中难以准确定位判别性特征以及复杂场景干扰的问题,提出多尺度上下文引导特征消除的分类方法.构建以MogaNet为核心的特征提取网络,结合多尺度的特征融合以充分挖掘图像信息;设计上下文信息提取器,利用网络的语义上下文来对齐和过滤更具判别性的局部特征,加强网络捕捉细节特征的能力;提出特征消除策略,抑制模糊类特征和背景噪声干扰,并设计损失函数来约束模糊类特征消除和分类预测;建立中国古塔建筑图像数据集,为细粒度图像分类领域内针对复杂背景和模糊边界的研究提供数据支撑.实验结果表明,所提方法在自建的古塔建筑数据集上达到了96.3%的准确率,并在CUB-200-2011、Stanford Cars和FGVC-Aircraft这3个细粒度数据集上分别达到了92.4%、95.3%和94.6%的准确率,优于其他对比算法,可以实现古塔建筑图像的精确分类.

融合实体和上下文信息的篇章关系抽取研究

篇章关系抽取旨在识别篇章中实体对之间的关系.相较于传统的句子级别关系抽取,篇章级别关系抽取任务更加贴近实际应用,但是它对实体对的跨句子推理和上下文信息感知等问题提出了新的挑战.本文提出融合实体和上下文信息(Fuse entity and context information,FECI)的篇章关系抽取方法,它包含两个模块,分别是实体信息抽取模块和上下文信息抽取模块.实体信息抽取模块从两个实体中自动地抽取出能够表示实体对关系的特征.上下文信息抽取模块根据实体对的提及位置信息,从篇章中抽取不同的上下文关系特征.本文在三个篇章级别的关系抽取数据集上进行实验,效果得到显著提升.

基于上下文提取与注意力融合的遮挡服装图像分割

针对遮挡服装图像分割准确率低的问题,提出一种融合上下文提取与注意力机制的遮挡服装图像实例分割方法。以Mask R-CNN为基础网络,首先采用上下文提取模块优化ResNet的输出特征,通过融合不同速率的多路径特征从多个感受野中捕获图像的上下文信息,强化遮挡服装特征表示的识别及提取能力;然后引入通道注意力机制与空间注意力机制的残差连接,自适应地专注于捕捉遮挡服装图像的空间和通道维度上的语义相互依赖关系,降低上下文提取模块在处理特征图时因冗余的上下文关系扩大造成误定位与误识别的概率;最后,采用目标检测损失函数CIoU计算原理作为非极大值抑制的评判标准,关注预测框和真实框的重叠与非重叠区域,最大程度地选择遮挡服装的最优目标框,使预测框更加贴近真实框。结果表明,与其它方法相比,改进方法显著改善了不同遮挡程度服装图像的误分割现象,能提取出更精确的服装实例,其对遮挡服装图像的平均分割精度比原模型提升了4.4%。

基于自适应上下文匹配网络的小样本知识图谱补全

知识图谱在构建过程中需要面对繁杂的现实世界信息,无法建模所有知识,因此需要补全。真实的知识图谱中很多类型的关系通常只有少量的训练实体样本对。因此,如何进行小样本知识图谱补全是一个十分有价值的问题。目前基于嵌入的方法一般通过注意力机制等方法聚合实体上下文信息,通过学习关系嵌入的方式来补全知识图谱,仅考虑关系层面的匹配程度,虽然能够预测未知关系,但往往准确度不高。针对小样本知识图谱补全问题,提出了一个自适应上下文匹配网络(Adaptive Context Matching Network,ACMN)。首先提出一个共性邻居感知编码器,聚合参考集实体上下文,即一跳邻居实体,获得共性邻居感知编码;接着提出一个任务相关实体编码器,挖掘任务实体上下文与共性上下文的相似度信息,区分一跳邻居对当前任务的贡献,增强实体表征;然后提出一个上下文关系编码器获得动态关系表征;最后通过加权求和综合考虑实体上下文和关系的匹配程度,完成补全。ACMN从实体上下文相似度和关系匹配程度两个方面综合评价查询三元组是否成立,能够在小样本的背景下有效提高预测准确性。在两个公共数据集上和其他8个广泛使用的算法进行比较,ACMN在不同规模的小样本情况下,取得了目前最好的补全结果。

脑电情感识别中多上下文向量优化的卷积递归神经网络

目前的脑电(EEG)情感识别模型忽略了不同时段情感状态的差异性,未能强化关键的情感信息。针对上述问题,提出一种多上下文向量优化的卷积递归神经网络(CR-MCV)。首先构造脑电信号的特征矩阵序列,通过卷积神经网络(CNN)学习多通道脑电的空间特征;然后利用基于多头注意力的递归神经网络生成多上下文向量进行高层抽象特征提取;最后利用全连接层进行情感分类。在DEAP(Database for Emotion Analysis using Physiological signals)数据集上进行实验,CR-MCV在唤醒和效价维度上分类准确率分别为88.09%和89.30%。实验结果表明,CR-MCV在利用电极空间位置信息和不同时段情感状态显著性特征基础上,能够自适应地分配特征的注意力并强化情感状态显著性信息。

海浪上下文信息补偿小目标检测算法

针对海上搜救图像中遇难人员在水面露出的面积小并且容易受到海浪反光、雨雾天气等恶劣环境影响,导致特征提取困难的问题,提出一种海浪上下文信息补偿小目标检测算法。首先,通过基于滑动窗口的图像预处理模块将图像进行裁剪,把关注点集中在目标物体周围,并减少图像中的无关区域,降低了计算量并提高了准确率;其次,提出一种海浪上下文模块,首次通过分析海浪的运动方向和强度,提取海浪上下文信息来辅助海上搜救小目标检测,提高检测精度。在SeaDronesSeev1和SeaDronesSeev2数据集上的实验结果表明,所提算法平均精度分别达到了73.29%和87.81%,相比YOLOv7-tiny算法,平均精度分别提高了21.84%和6.5%。所提算法提高了海上搜救小目标的检测精度,提高了海上搜救的效率。

基于上下文融合和注意力的安全帽检测方法

安全帽检测是近年来目标检测在工业生产作业领域的一个研究热点。针对安全帽检测过程中容易出现的小尺度目标错检、漏检等问题,提出一种基于上下文融合和注意力的安全帽检测方法。方法通过利用混合域注意力强调目标关键特征信息,加强特征提取;同时,构建基于非局部注意模块的上下文信息融合结构,将底层全局上下文信息引入深层特征中,进一步细化深层语义信息;此外,利用感受野模块捕获多尺度特征和增大感受野,以减少小尺度目标在特征融合过程中出现特征信息丢失,以及预测过程中对小尺度目标不敏感的问题。实验分析表明,上述方法在安全帽佩戴数据集上对于安全帽检测的AP值达到93.10%,较原YOLOv4提升2.12%,mAP达到93.07%,较原YOLOv4提升1.39%。

结合上下文特征融合的虚拟视点图像空洞填充

由于参考纹理视图的前景遮挡和不同视点间的视角差异,基于深度图的虚拟视点合成会产生大量空洞,先前的空洞填充方法耗时较长且填充区域与合成图像缺乏纹理一致性。该文首先对深度图进行预处理来减少空洞填充时的前景渗透;然后,针对经3D-warping后输出合成图像中的空洞,设计了一种基于生成对抗网络(GAN)架构的图像生成网络来填充空洞。该网络模型由2级子网络构成,第1级网络生成空洞区域的纹理结构信息,第2级网络采用了一种结合上下文特征融合的注意力模块来提升空洞填充质量。提出的网络模型能有效解决当虚拟视点图像中的前景对象存在快速运动时,空洞填充区易产生伪影的问题。在多视点深度序列上的实验结果表明,提出方法在主客观质量上均优于已有的虚拟视点图像空洞填充方法。

融合时序关系和上下文信息的时间动作检测方法

时间动作检测是视频理解领域中具有挑战性的任务。先前的时间动作检测模型主要关注视频帧的分类,而忽略视频帧之间的时序关系,导致时间动作检测模型的性能下降。为此,提出融合时序关系和上下文信息的时间动作检测方法(temporal action detection based on enhanced temporal relationship and context information,ETRD)。首先,设计了基于增强局部时序关系注意力机制的全局特征编码器,关注相邻帧的时序关系;其次,构建基于上下文信息的时序特征增强模块,融合上下文信息;最后,通过头部输出分类和回归结果。实验结果表明,所提出的ETRD模型在THUMOS14和ActivityNet1.3数据集上的平均mAP(mean average precision,平均精度均值)分别达到了67.5%和36.0%。相比于Actionformer模型的66.8%和35.6%,ETRD模型的平均mAP分别提升了0.7%和0.4%。利用视觉传感器,所提出的模型可检测出行为类别和持续时间。同时,结合心率等生理信号,可实现个体健康状态管理,为远程医疗、智能监控等提供了一种解决方案。

基于区域的上下文信息矩阵推理目标检测模型

目标的语义信息或目标之间的关系有助于目标识别。然而,目前最先进的目标检测器依赖于单独识别目标实例,缺乏充分的上下文信息。为了充分利用上下文信息,本文提出了一种特定的上下文矩阵,将上下文矩阵结合到目标检测中来增强检测模型的上下文信息推理能力。具体来说,该上下文矩阵有3种形式,分别来自不同数据集的标注。通过目标之间的关系、属性和共现概率来增强上下文信息,并将每个区域的上下文矩阵增强后的新特征与原始特征相连接,提高分类和定位的性能。此外,基于上下文矩阵推理的模型是轻量级的和灵活的,足以增强不同的目标检测基线并有助于少样本检测任务。大量实验表明,所提出的基于上下文矩阵推理的检测器可以在不同的基准上持续改进各种检测器。

基于上下文编码器网络的油气曲线图像脱敏方法研究

数据对于石油企业就是资产。数据加密与数据脱敏都是针对数据安全的策略,但目前数据脱敏技术仅能够针对文本实现,缺少石油企业中大量保有的图像数据脱敏技术。针对目前脱敏技术存在的不足之处及油气田勘探中的曲线图像数据特点,借鉴深度学习图像修复方法,提出一套基于上下文编码器的脱敏技术,弥补了行业内对于图像数据无法脱敏的缺陷。对该方法进行详细的测试后取得了较好的脱敏效果。对比传统方法,结果证明其能够在曲线图像这种具有专业特殊性的数据中取得更明显的效果以及更可靠的脱敏效果。

“联系上下文”的教学价值及实践策略

“联系上下文”的理论基础是语境理论,该理论对于语文课程的综合性、实践性的性质具有强解释力。“联系上下文”具有较大的教学价值,既可以培养学生在语境中独立识字的能力,又可以培养学生在阅读文本中提取信息的能力。在阅读教学中,教师要注意结合文本的特点,设计有价值的学习任务,将“联系上下文”这一阅读方法的训练落到可评、可测的实处。