基于多表征融合的函数级代码漏洞检测方法

针对采用单一表征结构时,网络模型无法全面学习代码所承载的语义信息的问题,提出一种多表征融合的函数级代码漏洞检测(Sequence and Structure Fusion based Vulnerability Detector,S 2FVD)方法。该方法使用针对序列的神经网络TextCNN和针对图结构的图卷积神经网络,分别从函数的Token序列和属性控制流图中,提取深层语义特征并进行有机融合,从而实现函数级漏洞的精准检测。在公共数据集上开展的实验结果表明,S 2FVD能够在函数级上有效检测漏洞的存在,且相比现有方法表现出更好的检测性能。

基于局部空间信息表征融合和信息深度残差提取的点云分类分割算法

点云作为一种能提供丰富空间信息与物体几何特征的数据表达形式,在自动驾驶和机器人等领域有着广泛的应用前景。点云数据具有无序性的特点,早期研究者利用深度学习工具完成点云的分类分割任务时,一般采用结构化表示方法(如将点云转换成体素,多视图),但这些方法会导致部分三维空间信息损失和预处理计算量大等问题。PointNet创新性地使用共享的MLP(多层感知机)处理每个点云的向量,有效地解决了点云的无序性问题。PointNet的扩展版本PointNet++利用Encode-Decode结构进行局部特征提取。整体采用Encode-Decode结构,提出了PointRFE神经网络模型。其中,设计了能够对局部进行更充分表征的局部信息表征融合(Local Information Representing and Fusing,LIRF)模块,该模块融合了局部采样点特征,局部点云仿射变换特征和局部空间几何结构信息特征;设计了信息深度残差提取(Information Deep Residual Extractor,IDRE)模块,该模块通过带有瓶颈残差结构的共享MLP(多层感知机)对LIRF模块输出的融合特征进行深度提取。该网络模型分别在ModelNet40、ScanObjectNN和ShapeNetPart数据集上进行实验,验证网络模型在点云分类分割任务上的性能。实验结果表明,提出的网络模型在ModelNet40分类数据集整体分类精度达到93.6%;ScanObjectNN分类数据集上达到84.7%;ShapeNetPart部件分割数据集上达到86.0%。本文提出的模型在各数据集上的测试准确率均在该领域内达到先进水平。PointRFE能够充分地表征和高效地学习点云局部信息,可以很好地完成点云分类分割任务。

一种融合文本与知识图谱的问答系统模型

知识图谱是实现开放领域问答的关键技术之一,开放领域问答任务往往需要足够多的知识信息,而知识图谱的不完备性成为制约问答系统性能的重要因素。利用外部非结构化的文本与基于知识图谱的结构化知识相结合填补缺失信息时,检索外部文本的准确性和效率尤为关键,选取与问题相关度较高的文本可提升系统性能。相反,选取与问题相关性较弱的文本将引入知识噪声,降低问答任务的准确性。因此,设计了一种融合文本与知识图谱的问答系统模型,其中的文本检索器可充分挖掘问题和文本的语义信息,提高检索质量和查询子图的准确性;知识融合器将文本和知识库中的知识结合构建知识的融合表征。实验结果表明,相较对比模型,该模型在性能上存在一定优势。

基于特征金字塔融合表征网络的跨模态哈希方法

随着多模态数据的爆发式增长,跨模态检索作为一种搜索多模态数据的最常用方法,受到越来越多的关注。然而,目前存在的大多数深度学习的方法仅仅采用模型后端最后一个全连接层输出作为模态独有的高层语义表征,忽视了多个层次上不同尺度特征之间的语义相关性,具有一定的局限性。为此,本文提出一种基于特征金字塔融合表征网络的跨模态哈希检索方法。该方法设计了一种特征金字塔融合表征网络,通过在多个层次和不同尺度上进行特征提取并融合,挖掘多个层次上不同尺度下模态特征的语义相关性,充分利用模态特有的特征,使网络输出的语义表征更具有代表性。最后设计了三重损失函数:模态间损失,模态内损失和汉明空间损失对模型进行训练学习。实验结果表明,本文所提方法在MIRFLICKR-25K和NUS-WIDE数据集上均获得了良好的跨模态检索效果。

结合上下文信息和融合表征的行人重识别方法

针对真实场景中行人图像因遮挡、姿态和视角变化等因素而导致行人特征判别性不足的问题,提出一种结合上下文信息和融合表征的行人重识别方法来丰富行人的特征表达,提高行人重识别的精度。首先设计了一个上下文残差模块,使用该模块构建主干网络以全局感受野和自注意力机制提取具有上下文信息的图像特征;然后将高层特征和低层特征通过三个并行分支和三个损失函数联合优化模型,使模型学习到一个类内紧致、类间分离的特征嵌入空间;最后在模型的推理阶段融合高低层特征,以此增强行人特征的语义和细节信息,提升特征的判别性。实验结果表明该方法在Market1501和DukeMTMC-reID数据集上Rank-1分别达到95.6%和89.6%,mAP分别达到88.6%和78.7%,在两个数据集上均有显著的性能提升。

基于图卷积和双线性注意力网络的药物靶标亲和力预测

药物靶标亲和力预测在药物研发中扮演着重要的角色。针对现有预测方法大多忽略药物分子的二维结构信息、缺乏深层表征融合学习的问题,提出了基于图卷积和双线性注意力网络的药物靶标亲和力预测模型(GBN_DTA)。该模型首先基于多层图卷积神经网络编码药物分子图,同时结合1D-CNN和双向长短期记忆网络(BiLSTM)编码靶标序列;然后使用双线性注意力网络融合编码后的药物和靶标特征,最终获得亲和力预测分数。实验结果表明,该模型在DAVIS和KIBA数据集上的性能均优于其他6种主流方法,有效提升了预测准确率。

自适应独立性假设的非自回归Transformer语音识别

基于非自回归Transformer的端到端自动语音识别模型与自回归Transformer等传统模型相比拥有更快的解码速度,然而非自回归的解码方式与独立性假设导致了语音识别结果准确性的下降.为了解决此问题,提出了一种语音表征融合的自适应独立性假设非自回归Transformer端到端中文语音识别模型.在训练期间,通过对表征向量进行注意力融合,改善decoder输入帧语义信息部分缺失的问题;在解码期间,采用基于自适应独立性假设的解码策略,解决非自回归模型独立性假设带来的输出字符条件独立问题.最后,利用迭代式波束搜索进行多目标的排序搜索解码,解决波束搜索算法在提出模型上的不适用问题.在中文数据集AISHELL-1的实验结果显示,模型的实时性因子达到0.005,字错误率为8.8%,较非自回归Transformer基线模型降低了20%,在保证较高的识别速度的同时大幅降低了错误率,展现出先进的模型性能.

基于“三段式回想”的幼儿游戏拓展路径

《3—6 岁儿童学习与发展指南》强调“理解幼儿的学习方式和特点。幼儿的学习是以直接经验为基础,在游戏和日常生活中进行的。”而基于游戏进行回想的过程,则是幼儿积累新的经验的过程。该文即基于此,从视听引入、表征融合以及主题分享 3 个维度展开论述,以“三段式回想”为路径,以建构区活动为主题,助力幼儿游戏回想,加深游戏印象,深化游戏感悟。

引入注意力机制的多分辨率人体姿态估计研究

针对人体姿态估计任务中多分辨率特征表征直接融合时存在无法有效利用特征图空间特征信息的问题,基于High-Resolution Net(HRNet)进行结构设计,构建出结合了通道域注意力和空间域注意力机制的多分辨率人体姿态估计网络GCT-Nonlocal Net(GNNet),提出了一种基于注意力机制的多分辨率表征融合方法,在不同分辨率表征融合前由空间注意力提取出各分辨率表征更有用的空间特征信息来改进融合单元,使得各分辨率表征间的信息融合效果更佳,最终输出的高分辨率表征含有更丰富的特征信息,同时构造了Gateneck模块和Gateblock模块,其通过引入通道注意力更明确地对通道关系建模从而高效地提取通道信息。在MS COCOVAL 2017进行验证,结果显示提出的GNNet相较于SOTA级表现的HRNet在相当参数量与运算量的情况下获得了更高的准确度,mAP提高了1.4个百分点。实验结果表明,所提方法有效地提高了多分辨率特征表征融合效果。

基于Transformer的野生动物关键点检测

濒危野生动物需要得到保护,对野生动物进行姿态追踪是保护野生动物的一种可行性方法。关键点检测是对野生动物进行姿态追踪的重要步骤。基于深度卷积网络(Deep Convolutional Neural Network,DCNN),首次使用Transformer模型实现野生动物的关键点检测任务,Transformer可以捕捉野生动物关键点的长距离依赖关系。在网络的基本模块(BasicBlock)中引入SGE(Spatial Group-wise Enhance)注意力机制,改善所提取特征的分布。提出了一种基于空间注意力的多分辨率表征融合方法,在特征融合时关注更有用的特征信息。在野生动物关键点检测的公共数据集上进行实验,实验结果显示,所提方法获得了良好的效果。