基于Transformer和卷积神经网络的代码克隆检测

基于深度学习的代码克隆检测方法往往作用在代码解析的词序列上或是整棵抽象语法树上,使用基于循环神经网络的时间序列模型提取特征,这会遗漏源代码的重要语法语义信息并诱发梯度消失。针对这一问题,提出一种基于Transformer和卷积神经网络的代码克隆检测方法(TCCCD)。首先,TCCCD将源代码表示成抽象语法树,并将抽象语法树切割成语句子树输入给神经网络,其中,语句子树由先序遍历得到的语句结点序列构成,蕴含了代码的结构和层次化信息。其次,在神经网络设计方面,TCCCD使用Transformer的Encoder部分提取代码的全局信息,再利用卷积神经网络捕获代码的局部信息。再次,融合2个不同网络提取出的特征,学习得到蕴含词法、语法和结构信息的代码向量表示。最后,采用两段代码向量的欧氏距离表征语义关联程度,训练一个分类器检测代码克隆。实验结果表明:在OJClone数据集上,精度、召回率、F 1值分别能达到98.9%、98.1%和98.5%;在BigCloneBench数据集上,精度、召回率、F 1值分别能达到99.1%、91.5%和94.2%。与其他方法对比,精度、召回率、F 1值均有提升,所提方法能够有效检测代码克隆。

基于FPGA的稀疏化卷积神经网络加速器

为消除卷积神经网络前向计算过程中因模型参数的稀疏性而出现的无效运算,基于现场可编程门阵列(FPGA)设计针对稀疏化神经网络模型的数据流及并行加速器。通过专用逻辑模块在输入通道方向上筛选出特征图矩阵和卷积滤波器矩阵中的非零点,将有效数据传递给由数字信号处理器组成的阵列做乘累加操作。在此基础上,对所有相关的中间结果经加法树获得最终输出特征图点,同时在特征图宽度、高度和输出通道方向上做粗颗粒度并行并寻找最佳的设计参数。在Xilinx器件上进行实验验证,结果表明,该设计实现VGG16卷积层综合性能达到678.2 GOPS,性能功耗比为69.45 GOPS/W,其性能与功耗指标较基于FPGA的稠密网络加速器和稀疏网络加速器有较大提升。

基于抽象语法树的编程题静态阅评算法

针对传统计算机程序评阅过程中出现的人工评阅劳动量大、运行评阅安全性低等问题,论文提出了一种基于抽象语法树的编程题静态阅评的算法。首先,将答案源代码按语句分割并生成对应语句的抽象语法树,引入基于双向编码器的预训练模型实现节点向量化;然后,通过特定的卷积神经网络和双向树卷积神经网络提取词汇特征和结构特征并实现特征融合;最后,将融合特征输入深度神经网络进行多分类阅评。实验结果表明:该算法较传统静态分析算法,评阅准确率提升了5.1%,是一种可行的编程题评阅方法。

融合GRU和CNN的轻量级网络入侵检测模型

当前网络流量数据呈现出高维、多态、海量的特点,这对入侵检测是一个新挑战.针对传统入侵检测模型中检测效率低、缺乏轻量化考虑等局限性,提出了一种融合GRU和CNN的轻量级网络入侵检测模型.首先使用极度随机树删除数据集中的冗余特征;其次使用GRU进行特征提取.考虑到数据中的长短期依赖关系,将所有隐藏层输出作为序列特征信息进行下一步处理;再通过带有逆残差、深度可分离卷积、空洞卷积等结构的轻量化CNN模型进行空间特征提取;为了加速模型收敛加入了通道注意力机制.最后在CIC-IDS2017数据集上的实验表明,该方法具有优秀的检测性能,同时也具有模型参数量少、模型体积小、训练时间短、检测时间短等优点,适用于网络流量的入侵检测工作.

融合深度学习和语义树的草图识别方法

现有的草图识别框架利用整幅图像作为网络输入,草图识别过程可解释性较差。文中融合深度学习和语义树,提出草图语义网(Sketch-Semantic Net)。首先对草图进行部件分割,将单幅完整的草图分割为多个具有语义概念的部件图。然后利用深度迁移学习识别草图部件。最后通过语义树的语义概念关联部件同部件所属草图对象类别,较好地弥补sketch 图像从底层语义到高层语义之间的语义鸿沟。在广泛应用的草图分割数据集上的实验验证文中方法的有效性。

基于蒙特卡洛树搜索的符号回归算法

为克服符号回归问题经典算法具有搜索时间过长和容易陷入局部最优的缺点,提出一种基于蒙特卡洛树搜索的符号回归算法。将符号空间划分为模型空间和系数空间;在深度策略网络指导下通过蒙特卡洛树搜索实现在模型空间内寻找合适数据集特征的公式模型;在此基础上,使用粒子群算法搜索公式模型下的系数空间,得到适应度最高的公式。实验结果表明,与GP算法相比,该算法具有适应度值更低、不易陷入局部最优的特点。

基于特征选择策略和TCN的电力负荷预测方法

电力负荷由于受到多种外部因素影响,具有较大的波动性和随机性,使得高精度的负荷预测十分困难。为有效处理高维特征以提高模型预测精度,提出了一种基于特征选择策略和时间卷积神经网络的电力负荷预测方法。首先,采用基于极端梯度提升树的特征选择策略,深度挖掘与负荷关联性强的特征作为预测模型的输入;其次,构建基于时间卷积神经网络(TCN)的电力负荷预测模型,对特征选择后的负荷数据进行预测;最后,采用某市真实负荷数据进行仿真分析。结果表明,文中所提方法与传统预测方法相比,具有更高的预测精度。

基于增量学习的SVM-KNN网络入侵检测方法

为满足入侵检测的实时性和准确性要求,通过结合支持向量机(SVM)和K最近邻(KNN)算法设计IL-SVM-KNN分类器,并采用平衡k维树作为数据结构提升执行速度.训练阶段应用增量学习思想并考虑知识库的扩展,分类阶段则利用SVM和KNN算法将待分类数据分成3种情况应用不同的分类策略.基于KDD CUP99和NSL-KDD数据集进行实验,结果表明,IL-SVM-KNN能够区分正常流量和异常流量并准确判断异常流量的攻击类型,其准确率较KNN算法和SVM算法有明显提升,判断攻击类型的准确性高于决策树、随机森林和XGBoost算法,并且较两层卷积神经网络消耗时间更少,资源消耗更低.

基于概念图卷积的方面级情感检测方法

针对方面级情感分析方法准确率难以达到实用效果的问题,设计一种融合注意力机制并同时考虑句子句法结构和语料库共现信息的A-LSGCN模型,以便提高预测句子中特定属性情感极性的准确率;首先,联合多头注意力机制和词汇-句法图卷积,对属性的记忆向量和历史上下文内存向量进行叠加与更新,从而获得目标属性词及其上下文之间的关系;其次,为减少冗余对分类干扰,并充分学习通用语法知识,采用句法依存图神经网络提取句法结构信息,直接匹配属性及其情感表达,经网络分类计算最终得到特定属性对应的情感极性;最后在多个SemEval数据集上进行对比试验,其中Laptop14数据集的MF1分数和准确率分别提升了1.1%、5.5%。

基于抽象语法树压缩编码的漏洞检测方法

针对基于抽象语法树的源代码漏洞检测方法难以从大规模语法树中充分提取语法和结构特征,导致漏洞表征能力不足、检测准确率低的问题,提出了一种基于抽象语法树压缩编码(abstract syntax tree compressed coding,ASTCC)的源代码漏洞检测方法.该方法首先将程序抽象语法树以代码语句为单元分割成1组子树;然后通过递归神经网络对子树进行编码以提取代码语句内语法信息;再将原始语法树中的子树替换为其编码节点,从而在保留结构特征的同时减小原始语法树的深度并减少了叶子节点数量;最后,通过带注意力机制的树卷积神经网络实现源代码漏洞检测.在NVD和SARD公开数据集上的实验结果表明,ASTCC方法能够降低抽象语法树的规模,增强模型对源代码漏洞的表征能力,有效提升漏洞检测的准确率.

基于结构和语义的代码分类以及聚类方法

提出一个基于抽象语法树(Abstract Syntax Tree,AST)生成代码向量解决代码分类以及聚类任务的深度学习模型,该模型结合了卷积以及循环神经网络能够同时对AST的结构和语义信息进行提取,在代码分类任务上,分类的准确率与该领域最优的模型效果十分接近,速度却是其1.55倍。聚类任务上Jaccard系数(Jaccard Coefficient)、FMI(Fowlkes and Mallows Index)指数、ACC准确率分别达到74.4%、75.2%和83.6%,对比当下前沿的深度学习模型占有优势。

基于行为模式树的人体动作识别

本文选用3D卷积神经网络提取特征,并提出了一种基于数据挖掘的模型——行为模式树(Action Pattern Tree,APTree),通过分析动作模式,并对动作分类进行二次概率估计来获得更高的识别率。该模型充分考虑到视频中动作的时序性,能够对一段动作进行时间和空间上的建模。行为模式树基于数据挖掘,用于视频的动作识别,简单、紧凑而又高效。本文在UCF101数据集上进行实验并取得了87.13%的准确率,证明了行为模式树的有效性。

核电站智能故障预警与诊断方案研究

为了解决核电站故障识别难度高、工作量大的问题,从核电站对故障预警和诊断的功能需求出发,通过分析多种智能算法和核电站应用场景的适配性,提出了基于卷积神经网络(CNN)、堆叠自编码(SAE)网络、故障树分析(FTA)等先进技术的核电站智能故障预警和诊断功能模块设计方案。该方案将提升核电站智能化水平,实现智能化、自动化的故障监视和诊断,为运行人员提供决策支持,减轻运行人员工作负担,提高故障处理的安全性和时效性。

基于程序结构与语义特征融合的软件缺陷预测

随着软件系统的规模越来越庞大,如何快速高效地预测软件中的程序缺陷成为一个研究热点。最近的研究引入了深度学习模型,使用神经网络提取代码特征构建分类器进行缺陷预测。针对现有的神经网络只在单层面、单粒度上提取代码特征,导致特征不够丰富,造成预测精度不高的问题,提出了一种基于特征融合的软件缺陷预测框架。通过将程序解析为抽象语法树(abstract syntax tree,AST)以及Token序列两种不同的程序表示方式,利用树卷积神经网络以及文本卷积神经网络分别提取代码的结构和语义特征进行特征融合,从而提取到更丰富的代码特征用于缺陷预测。同时改进了AST和Token序列提取方法,降低模型复杂度。选择使用公共存储库PROMISE中的公开数据集作为实验数据集,采用softmax分类器预测得到最终的预测结果。实验结果表明,该框架在实验数据集上可以获得比已有方法更高的F1-score。

藏族久棋的一种两阶段计算机博弈算法

为了进一步提升布局的质量以提升藏族久棋博弈智能体程序棋力,提出了藏族久棋的一种两阶段计算机博弈算法,为藏族久棋的布局阶段设计了基于卷积神经网络和蒙特卡洛树搜索的自对弈算法,通过卷积神经网络指导蒙特卡洛树进行搜索,训练出最优模型并生成质量更高的着法;为战斗阶段设计了基于领域知识的Alpha-Beta剪枝算法。通过设计分阶段算法的方式将深度强化学习与领域知识相结合,试图解决藏族久棋博弈算法研究棋谱数据匮乏、博弈智能体的棋力水平较低等问题。实验结果表明:基于两阶段算法的博弈智能体程序与全局使用Alpha-Beta剪枝算法的博弈程序、人类一段棋手进行对弈,分别取得了65%、60%的胜率。基于两阶段算法的博弈智能体程序在一定程度上具备了“学习”和“思考”的能力,棋力得到了提升。

基于CNN和ET的智能ECG识别方法

心电图(ECG)是检测心血管疾病的重要依据之一,通过对各类心电图的实时分析,可以达到检测被测者房颤及心脏健康情况的目的。采用基于卷积神经网络(CNN)和极端随机树(ET)混合模型的心电信号分类方法,通过连续小波变换对数据进行滤波处理,在此基础上通过CNN-ET混合模型,实现了心电信号的分类。方法结合了CNN对一维数据的强大表征能力,通过ET降低了异常值影响,预防了过拟合问题,具有较强的泛化能力。将所提出的方法在MIT-BIH数据集上进行了测试,在5类心电心拍次数不平衡问题检测中准确率达到99.95%,与现有方法相比,该改进方法进一步提高了ECG信号分类的精确度。

气体传感器阵列混合气体检测算法研究

针对传统模式识别算法对混合气体定性和定量检测准确率较低的问题,提出了一种基于机器学习的新型混合气体定性识别和浓度定量检测算法。算法首先构造传感器阵列数据特征图,然后利用卷积神经网络(CNN)提取特征,根据特征提取后的特征图,使用不同分支网络对不同气体进行定性识别,得到气体种类和相应气体所处浓度区间;根据前面的气体识别结果,使用核主成分分析(KPCA)与梯度提升树(GBDT)对混合气体的组成成分进行定量估计;最后采用加州大学机器学习数据库的动态混合气体气体传感器阵列数据集进行对比验证。实验结果表明,算法在乙烯和甲烷定性识别中准确率达到了98.7%,定量检测平均相对误差小于4.1%。通过与传统模式识别算法对比,所提出的基于机器学习的混合气体检测算法具有更高的精度和泛化能力。

基于集成模型的超短时负荷预测方法

精准的短期负荷预测是保证电力系统顺利运行的关键。机器学习算法普及后,为以前难以解决的短期和超短期负荷预测提供了算法支持。鉴于梯度提升决策树(Catboost)、卷积神经网络-长短期记忆网络(CNN-LSTM)、极端随机树(Extratrees)等集成模型处理非线性相关数据效果好,本文将上述3种方法进行组合,构建集成预测模型,使用BP神经网络确定权重系数,通过权重将各种单项预测模型的优点结合在一起,从而起到了更好的预测效果。为了更好地说明本文使用方法的优点,本文采用平均绝对百分比误差(MAPE)和均方根误差、均方误差、拟合优度作为衡量指标,以集成模型与各个单项预测模型作对比,在MAPE标准下,集成模型比Catboost、CNN-LSTM、Extratrees模型分别降低了1.01个百分点、0.94个百分点、1.19个百分点。

基于结构感知双编码器的代码注释自动生成

在软件开发过程中,性能良好的代码注释工具能够提高开发效率并降低维护成本。部分研究者将代码注释自动生成看作将源代码翻译成自然语言注释的翻译任务,但仅考虑源代码的序列信息而忽略了代码内部的结构特性。为此,在常见端到端翻译模型的基础上,利用代码抽象语法树将源代码的结构信息嵌入到编码器解码器翻译模型中,提出一种基于结构感知的双编码器解码器模型,该模型综合考虑源代码的序列信息与代码内部的结构特性。在真实数据集上的实验结果表明,相比PBMT、Seq2seq模型,该模型的BLEU得分较高,且生成的注释更准确和易读。

基于深度学习的软件缺陷预测模型

为了提高软件的可靠性,软件缺陷预测已经成为软件工程领域中一个重要的研究方向.传统的软件缺陷预测方法主要是设计静态代码度量,并用机器学习分类器来预测代码的缺陷概率.但是,静态代码度量未能充分考虑到潜藏在代码中的语义特征.根据这种状况,本文提出了一种基于深度卷积神经网络的软件缺陷预测模型.首先,从源代码的抽象语法树中选择合适的结点提取表征向量,并构建字典将其映射为整数向量以方便输入到卷积神经网络.然后,基于GoogLeNet设计卷积神经网络,利用卷积神经网络的深度挖掘数据的能力,充分挖掘出特征中的语法语义特征.另外,模型使用了随机过采样的方法来处理数据分类不均衡问题,并在网络中使用丢弃法来防止模型过拟合.最后,用Promise上的历史工程数据来测试模型,并以AUC和F1-measure为指标与其他3种方法进行了比较,实验结果显示本文提出的模型在软件缺陷预测性能上得到了一定的提升.