基于视觉自注意力模型与轨迹滤波器的篮球战术识别

通过机器学习分析球员轨迹数据获得进攻或防守战术,是篮球视频内容理解的关键组成部分。传统机器学习方法需要人为设定特征变量,灵活性大大降低,因此如何自动获取可用于战术识别的特征信息成为关键问题。为此,该文基于美国职业篮球联赛(NBA)比赛中球员轨迹数据设计了一个篮球战术识别模型(TacViT),该模型以视觉自注意力模型(ViT)作为主干网络,利用多头注意力模块提取丰富的全局轨迹特征信息,同时并入轨迹滤波器来加强球场线与球员轨迹之间的特征信息交互,增强球员位置特征表示,其中轨迹滤波器以对数线性复杂度学习频域中的长期空间相关性。该文将运动视觉系统(SportVU)的序列数据转化为轨迹图,自建篮球战术数据集(PlayersTrack),在该数据集上的实验表明,TacViT的准确率达到了82.5%,相对未做更改的视觉自注意力S模型(ViT-S),精度上提升了16.7%。

基于聚焦线性注意力Retinexformer的TEDS图像实时暗光增强方法研究

列车高速运行下,表面部件易产生机械损伤,影响列车的安全运行。用于损伤检测的动车组运行故障图像检测系统(TEDS)需进行检测的部件形态多样、体积大小不一,且因对列车底部、夜晚进行图像采集时的暗光环境导致图像大部分区域偏暗,对比度低,给工作人员对故障的分析和标注带来干扰,影响检测的实时性和准确率,提出一种基于线性聚焦注意力的Retinexformer(RetinexFLAformer)网络对TEDS图像进行暗光增强。首先分析Retinexformer中进行自注意力计算的相似矩阵存在低秩的问题,采用线性聚焦注意力对网络进行改进,在保证计算复杂度不变的情况下,提高相似矩阵的秩以增加网络的特征多样性;其次增加空间一致性损失、曝光控制损失和颜色恒定损失,来抑制由于曝光不均引起的局部区域对比度下降和颜色畸变;最后在以上改进的基础上进一步调整网络结构构建FastRetinexFLAformer,以达到更快的暗光图像处理速度。研究表明,改进后的RetinexFLAformer能有效提高TEDS图片的暗光增强效果,和其他算法对比,评价指标PSNR和SSIM分别提高0.55和0.023;FastRetinexFLAformer网络参数文件只有3.34 M,可达到当前主流方法相当的处理效果,且能有效提升暗光增强速度,达到TEDS系统的实时性需求。研究成果可有效提高TEDS系统的图片质量,提高损伤识别和标注的精准度,提升工作人员的效率,更好地保障铁路的安全运行。

轻量级词典协同记忆聚焦处理的Web攻击检测研究

使用深度学习模型检测Web攻击,输入完整的HTTP文本会使词典增大,进而导致模型参数过载,增加存储成本。此外,攻击载荷的位置不确定性及语义复杂性会导致漏报率高。针对模型参数过载和漏报攻击载荷问题,提出了一种基于轻量级词典协同记忆聚焦处理模型的Web攻击检测方法。生成轻量级词典,结合轻量级词典的预处理规则,依次执行保留、替换、添加、丢弃等操作预处理HTTP文本,减轻参数过载问题。结合基于双向长短时记忆和多头注意力机制的记忆聚焦处理模型,提高记忆能力和对攻击载荷的聚焦处理能力以降低漏报率。在模拟数据集上新方法的准确率为98.66%,比URL_WORD+GRU提高了3.19百分点,在检测的攻击类型中,最低的漏报率为0.60%。实验结果表明:新方法能有效解决参数过载问题,提高检测准确率,同时降低漏报率。

基于多层聚焦Inception-V3卷积网络的细粒度图像分类

细粒度图片具有结构多变、背景干扰大、类间差异小、类内差异大等特点,准确地定位与提取判别性局部特征至关重要.本文提出一种多层聚焦卷积网络,通过首层聚焦网络能够准确、有效地聚焦于识别局域并生成定位区域,根据定位区域对原图像分别进行裁剪和遮挡后输入下一层的聚焦网络进行训练分类.其中单层聚焦网络以In⁃ception-V3网络为基础,通过卷积块特征注意力模块和定位区域选择机制来聚焦有效的定位区域;使用双线性注意力最大池化提取各个局部的特征;最后进行分类预测.本文在3个常用的细粒度数据集CUB-2011、FGVC-Aircraft以及Stanford Cars上进行了实验验证,分别获得了89.7%、93.6%和95.1%的Top-1准确率.实验结果表明,本模型的分类准确率高于目前主流方法.

双重注意力充分组合评论特征的推荐模型

针对基于评论文本推荐系统的特征没有充分组合的问题,提出一种利用双重注意力实现评论特征组合的推荐模型。首先利用经情感分类任务微调后的编码模型对评论文本进行编码,得到对应的特征向量;然后利用双线性内积计算用户与商品之间评论特征向量的交叉注意力,实现用户和商品之间评论特征的交叉组合;再利用多头自注意力实现用户和商品对应评论特征的自组合,得到用户和商品最终的特征表示。在真实数据集上的实验结果表明,所提模型的均方误差相比其他模型下降了1.43%.