基于水印技术的深度神经网络模型知识产权保护

构造一个优秀的深度神经网络(deep neural network,DNN)模型需要大量的训练数据、高性能设备以及专家智慧.DNN模型理应被视为模型所有者的知识产权(intellectual property,IP).保护DNN模型的知识产权也体现了对作为构建和训练该模型的数据要素价值的珍视.然而,DNN模型容易受到恶意用户的盗取、篡改和非法传播等攻击,如何有效保护其知识产权已成为学术研究的前沿热点与产业亟需攻克的难题.不同于现有相关综述,聚焦DNN模型水印的应用场景,从用于模型版权声明的鲁棒模型水印和用于模型完整性验证的脆弱模型水印2个维度出发,着重评述基于水印技术的DNN模型知识产权保护方法,探讨不同方法的特点、优势及局限性.同时,详细阐述DNN模型水印技术的实际应用情况.最后,在提炼各类方法共性技术的基础上,展望DNN模型知识产权保护的未来研究方向.

基于深度神经网络的电液伺服泵控系统健康评估研究

电液伺服泵控系统具备功重比高、响应快等优点,在多领域得到广泛应用,但如何针对该系统开展更有效健康评估,进一步保障系统的安全性和可靠性成为必须面对的问题。按照明确原理、建立数学模型、建立仿真模型、仿真分析的思路针对健康评估方法开展研究,提出油液体积含气量、气隙磁密、泄漏系数3个健康评估指标并确定阈值,构建了LGA(LSTM-GRNN-ANN)深度神经网络健康评估方法并进行仿真分析,结果显示该方法准确率约为97.48%,比LSTM、GRNN健康评估方法具有更高的准确率,为继续深入开展电液伺服泵控系统健康评估的研究提供了理论支持。

MRNDA:一种基于资源受限片上网络的深度神经网络加速器组播机制研究

片上网络(Network-on-Chip,NoC)在多处理器系统中得到了广泛的应用.近年来,有研究提出了基于NoC的深度神经网络(Deep Neural Network,DNN)加速器.基于NoC的DNN加速器设计利用NoC连接神经元计算设备,能够极大地减少加速器对片外存储的访问从而减少加速器的分类延迟和功耗.但是,若采用传统的单播NoC,大量的一对多数据包会极大的提高加速器的通信延迟.并且,目前的深度神经网络规模往往非常庞大,而NoC的核心数量是有限的.因此,文中提出了一种针对资源受限的NoC的组播方案.该方案利用有限数量的处理单元(Processor Element,PE)来计算大型的DNN,并且利用特殊的树形组播加速网络来减少加速器的通信延迟.仿真结果表明,和基准情况相比,本文提出的组播机制使加速器的分类延迟最高降低了86.7%,通信延迟最高降低了88.8%,而它的路由器面积和功耗仅占基准路由器的9.5%和10.3%.

基于深度神经网络的树木伐桩轮廓提取及匹配方法

为了及时准确地找到被盗树木,公安机关需要比对被盗伐树木伐桩的上下截面,寻找共同点,并依此确认两者是否属于同一树木。但是由于存放环境不同,伐桩上下截面的颜色、纹理存在巨大差异,由于锯伐方式和树皮的影响,伐桩上下表面的轮廓也存在很大差异,伐桩下表面还很容易受木屑等影响,背景复杂。针对这些难点,本研究在前面的研究基础上,继续把棋盘格作为特征物放置在伐桩表面,用PPYOLO_MobileNetV3卷积神经网络检测图像中的棋盘格,对棋盘格中的角点进行检测、排序,然后进行透视变换,恢复伐桩的原始面积和轮廓等特征,接着用PP-LiteSeg网络在复杂背景下提取伐桩轮廓,然后用CAE_ViT_base网络对轮廓进行匹配,实现了伐桩轮廓匹配的全流程,从而极大程度节约了人工。理论分析和试验结果都表明,基于局部梯度的匹配法、基于局部点集拓扑特征的匹配法和基于轮廓的全局特征匹配方法等,在伐桩图像的匹配中都是不可行的。CAE_ViT_base网络的解码器将输入图像分割为大小一致的图像块,解码器的训练过程需要关注每一个块的特征,伐桩轮廓的匹配难点在于轮廓有局部缺失,局部梯度误差较大。CAE_ViT_base网络的自监督预训练机制很好地弥补了上述缺点;同时,采用对样本图像随机多角度旋转的方法,使得图像的特征提取能够保持旋转不变性。CAE_ViT_base网络提取出来的特征在尺度上高于基于梯度的特征,也高于基于局部点集拓扑的特征,但低于全局特征。因此,只要少部分图像块高度匹配,则CAE_ViT_base网络给出的最终匹配度就比较高;同时,这种工作方式和人工对比2个伐桩轮廓是否匹配的方法也是一致的。在本研究的344幅伐桩图像上进行试验,结果表明:本研究算法对整个测试集的检测成功率为100%,棋盘格检测成功率100%,轮廓提取精度达到98.8%,轮廓匹配准确率100%,无一错检和误匹配;和基于梯度的轮廓提取方法及基于特征描述子的轮廓匹配方法相比,本研究方法具有全方位的优势。本方法中,伐桩检测匹配全流程计算耗时不足30 s,完全满足实际应用需要,具有较好的推广应用价值。

基于深度神经网络的设备剩余使用寿命预测研究

随着传感器在工业设备上的广泛部署,数据驱动的设备状态预测与健康管理技术逐渐成为工业界和学术界研究的热点。该文针对其中的设备剩余使用寿命预测问题展开研究。利用深度神经网络建立设备剩余使用寿命预测模型的关键步骤,并基于C-MAPSS公开数据集,评价前馈神经网络、卷积神经网络、长短期记忆网络三种典型深度神经网络用于剩余使用寿命预测的性能,实验结果显示考虑时序特征的长短期记忆网络具有显著的性能优势,最后对该方向的发展趋势展开讨论。

基于深度神经网络的光伏发电时间序列多元预测

利用不同时间序列间的相关性和依赖性基于深度神经网络(DNNs)提出了两种不同的多元长短期记忆网络(LSTM)光伏输出功率预测方法,充分考虑了空气温度、风速等影响因素之间的相关性特征。以光伏发电站运行数据为例,通过对光伏发电预测模型进行训练和测试,并与单变量LSTM和Stacked-LSTM模型的结果进行比较,研究结果表明,所提的Conv-LSTM可以在减少30.76%训练时间的基础上提升0.71%~1.33%的准确度,Conv-LSTM和Multi-LSTM分别以高达93.12%和96.12%的准确度跟踪实际光伏发电。

基于CMCP-LMCL的多分类深度神经网络及其应用

多分类问题涉及信用风险管理、股票走势预测等多个领域。深度神经网络(DNN)是常用于多分类预测的机器学习模型,然而输入特征维度较高且存在冗余信号时,将加重其可解释性不强和结构冗余等缺陷;同时,常用的Softmax损失也可能面临分类边界模糊导致预测效果不佳等问题。为此,本文针对多分类问题,提出一个新的深度神经网络CMCP-LMCL,利用CMCP变量选择方法压缩输入特征到第1隐藏层的权重。该方法融合权重的组结构,能够剔除无关特征以及不重要的连接;同时,对特征层之外的权重施加权重衰减L;2;惩罚,有利于改进过拟合问题。新方法的增强边缘余弦损失(LMCL)在Softmax基础上引入扩大参数和距离参数,增大分类决策边界的间隔以期提高分类预测性能。模拟分析表明,对比已有DNN和传统分类方法,无论特征以简单线性形式还是复杂非线性形式映射到因变量,本文所提出的方法均具有良好的特征选择性能和预测表现。基于信用贷款数据的实证分析表明,该方法能够有效选择风险指标并进行违约风险预警。

融合深度神经网络和方面感知的可解释推荐方法

为提升推荐结果的准确性和可解释性,提出一种融合深度神经网络和方面感知的可解释推荐方法。针对评分数据的稀疏性问题,综合考虑显式和隐式评分数据,通过深度神经网络的矩阵分解模型学习用户和物品的潜在特征;通过无监督的方面提取模块来学习用户和物品的方面特征;将潜在特征和方面特征统一到预测层进行评分预测;针对生成解释质量低且缺乏个性化的问题,在评分预测的基础上,采用提取的主题词和预定义的神经模板相结合生成推荐理由,提高解释的生成质量。实验表明,提出的方法不仅能准确预测用户对物品的评分,还能够生成具有解释性的推荐理由,且生成的解释质量优于对比方法。

动态深度神经网络的硬件加速设计及FPGA实现

基于现场可编程门阵列(Field Programmable Gate Array,FPGA)实现的卷积神经网络由于具有优秀的目标识别能力,广泛应用在边缘设备。然而现有的神经网络部署多基于静态模型,因此存在无效特征提取、计算量增大、帧率降低等问题。为此,提出了动态深度神经网络的实现方法。通过引入模型定点压缩技术和并行的卷积分块方法,并结合低延迟的数据调度策略,实现了高效卷积计算。同时对神经网络动态退出机制中引入的交叉熵损失函数,提出便于硬件实现的简化方法,设计专用的加速电路。根据所提方法,在Xilinx xc7z030平台部署了具有动态深度的ResNet110网络,平台最高可完成2.78×104 MOPS(Million Operations per Second)的乘积累加运算,并支持1.25 MOPS的自然指数运算和0.125 MOPS的对数运算,相较于i7-5960x处理器加速比达到287%,相较于NVIDIA TITAN X处理器加速比达到145%。

改进深度神经网络在爱恩斯坦棋中的应用研究

爱恩斯坦棋作为一种附带随机性的完美信息博弈,其难度在于每次投掷骰子导致的结果不确定性,这增加了策略设计和局面的评估难度。针对爱恩斯坦棋的游戏规则,提出了一种改进的深度学习方法。对Alpha(go)Zero神经网络模型进行改进和设计,使其能精确地评估各种棋盘状态,生成有效的游戏策略。通过结合改进的残差神经网络和蒙特卡洛树搜索,提取棋局特征并进行局面评估,动态生成策略和进行决策。结合强化学习,以期望胜率为准则,通过自我对弈不断优化权重,改进策略生成效果。实验结果表明:改进的深度学习方法优于全国计算机博弈大赛冠军组算法,进一步验证了深度学习方法在爱恩斯坦棋随机性完美信息博弈中的有效性和可行性。

深度神经网络对家族渗出性玻璃体视网膜病变眼底特征的定量分析

目的 利用深度神经网络,对足月新生儿轻症家族渗出性视网膜病变(FEVR),在后极部视网膜图像的病变特征进行定量分析。方法选取7685例共15370张足月儿后极部视网膜图像,构建足月儿后极部视网膜图像数据集。训练网络,自动提取计算并对比轻度FEVR组与正常组的血管面积、动静脉最大管径比、血管的曲率以及视盘到黄斑(macula)的距离(DM)与视盘直径(DD)的比值。结果与正常组相比,轻度FEVR组眼底图像中的血管面积明显增加[12.9666±0.9637(%) vs.12.0053±0.9246(%)],血管曲率明显减少[1.9098±0.2647(×10^(4)/cm^(3))vs.3.3767±0.2345(×10^(4)/cm^(3))],最大管径比明显增加(1.8796±0.1789 vs.1.5075±0.1644)。DM/DD明显增加(3.2676±0.2638 vs.2.8199±0.3286)。所有数值在不同组之间均有统计学差异(P<0.005)。结论定量评估轻症FEVR眼底的异常特征在临床上有较高的指导意义。可以辅助临床医师在FEVR的诊断及评估预测疾病的进展工作中提供更多的线索。

基于改进Preisach迟滞构架的工业机器人柔性关节深度神经网络迟滞建模研究

针对工业机器人柔性关节所具有非对称、速率相关及强非线性的复杂迟滞特性问题,改进Preisach模型,提出一种描述复杂迟滞特性的深度神经网络迟滞模型。从模型内部迟滞算子和外部网络结构两个角度改进Preisach模型,描述柔性关节的复杂迟滞特性:1)设计一个非对称非线性迟滞函数,替换Preisach模型内部迟滞算子,描述柔性关节的非对称迟滞特性;2)在Preisach模型输出端引入惯性滤波环节,在Preisach模型输入端引入输入输出历史信息,描述柔性关节的速率相关迟滞特性。将改进的Preisach模型与实现非线性映射的全连接神经网络串联构成深度神经网络迟滞模型。通过对比实验验证了所提出的深度神经网络迟滞模型描述工业机器人柔性关节复杂迟滞特性的有效性,其具有良好的预测能力和较高的精度。

基于多准则决策和深度神经网络的电子商务推荐系统

推荐系统在电子商务门户中发挥着重要作用。现有推荐算法通常基于单个评分标准进行推荐商品排序,未考虑到从不同标准的用户偏好上对用户和商品特征进行综合建模。为此,提出了基于多准则决策(MCD)和深度神经网络(DNN)的电商产品推荐系统。首先,设计上下文感知的DNN模型,从不同标准出发进行评分预测,并通过聚合函数得到综合评分预测值。其后,通过结合残差卷积神经网络(CNN)和双向长短时记忆(Bi-LSTM)的混合模型,基于用户评论预测用户对商品的情感倾向。最后,将评分预测与情感倾向结合,实现准确的商品推荐。实验结果表明,所提方法在亚马逊电商产品数据集上进行商品推荐的平均绝对误差(MAE)和均方根误差(RMSE)分别为0.953和1.129,优于其他比较方法,证明在推荐系统中结合MCD和情感分析,能够有效提高推荐系统性能。

基于深度神经网络的信息管理软件自动化测试方法研究

目前信息管理软件自动化测试通常为集中式测试的方式,仍然存在与实际情况差别较大的局限性。为解决这一问题,提出以分布式自动化为基础,对ACO算法做出改进的自动化信息管理软件测试方法。经过实例验证,方法切实可行,集合划分能力更强,具有更高的精确度和时效性。

Deep_FGDL:一种基于深度神经网络的细粒度缺陷定位方法

传统静态缺陷定位技术仅能实现函数级或语句级的粗粒度定位,且过度依赖于缺陷报告等标注信息,限制了其在实际应用中的有效性。针对以上问题,本文提出一种基于深度神经网络(Deep Neural Networks,DNN)技术挖掘代码抽象语法树(Abstract Syntax Tree,AST)细粒度特征信息的缺陷定位方法Deep_FGDL。该方法利用正确代码片段构建模板库突破缺乏标注数据的限制。首先,通过代码语义相似度分析方法匹配正确模板进行初步定位。其次,提出了怀疑度公式,结合代码缺陷检测模型对结果进行加权操作,得到最为可能的细粒度缺陷定位。最后,为增强模型有效性,对于无法匹配合适模板的情况,引入了基于缺陷模式的缺陷定位方法。选用SARD数据集,将本文方法与几种静态缺陷定位方法进行实验对比,实验结果表明,该方法定位准确性在Top-5排名上提升15.0%、精确度提升19.1%。

基于集成深度神经网络的配电网分布式状态估计方法

随着大量分布式能源的接入,配电系统的运行与控制方式愈加复杂。针对配电网状态估计方法面临分布式电源波动数据辨识困难、估计精度低、鲁棒性与估计时效性差等问题,提出一种基于集成深度神经网络的配电网分布式状态估计方法。首先,利用量测数据相关性检验的数据辨识技术识别不良数据和新能源波动数据。在此基础上,利用时域卷积网络(temporal convolutional network,TCN)-双向长短期记忆网络(bidirectional long short term memory,BILSTM)对不良数据进行修正。然后,建立集成深度神经网络(deep neural network,DNN)状态估计模型,采用最大相关-最小冗余(maximum relevance-minimum redundancy,MRMR)的方法优化训练样本,从而提高状态估计的精度和鲁棒性。最后,建立分布式集成深度神经网络模型,弥补了集中式状态估计速度慢的不足,从而提高状态估计效率。基于IEEE123配电网的算例分析表明,所提方法能更准确地辨识分布式电源波动数据和不良数据,同时提高状态估计的精度和效率,且具有较高的鲁棒性。

一种基于深度神经网络的多阶段PUF抗建模能力评估方法

针对现有评估方法均无法全面评估物理不可克隆函数(PUF)抗建模能力的问题,定义PUF面临的3级建模威胁模型,分别阐明3类攻击的目的、对手的知识能力、攻击策略和攻击模式。基于此,设计一种基于深度神经网络的PUF抗建模能力评估方法,使用前馈神经网络建模攻击和侧信道建模攻击作为评估工具,分3个阶段依次评估目标PUF抵御机器学习建模攻击、可靠性侧信道攻击和功耗/电磁侧信道攻击的能力,解决传统方法无法评估PUF抗侧信道建模能力的问题。评估结果表明,被测PUF中仅有少部分拥有抗机器学习建模和抗可靠性建模能力,但均不具备抗功耗侧信道建模能力。

基于多特征的深度神经网络混合推荐模型研究

近年来,深度学习广泛应用于推荐系统领域,并受到了极大的欢迎。然而,将混合推荐与深度学习技术相结合的研究还处于起步阶段。将深度学习技术应用于混合推荐,设计了一个基于多特征的深度神经网络混合推荐模型(MFDH),通过将深度学习技术和多层感知机技术相结合,从多角度自动学习用户和项目之间的交互,更全面地反映出用户的偏好。在两个不同的公开数据集上进行了实验,结果证明,该模型相比基线模型有较高的推荐质量。

深度神经网络架构轻量化方法综述

当前,深度神经网络作为学术界和工业界最受关注的研究方向之一,倍受广大科研人员青睐,但是存在架构很复杂、参数量巨大、计算成本、存储成本过高的缺点。因此,如何在保证神经网络性能可接受的情况下对其去冗余、实现轻量化设计成为热点问题。当前,各种轻量化方法如雨后春笋般涌现,为给希望利用轻量化神经网络解决具体问题的研究人员建立对网络轻量化方法的整体认识、快速选择合适的解决方案,文中对具有代表性的架构轻量化方法进行介绍:剪枝、架构搜索、知识蒸馏以及轻量化卷积核设计,并从不同角度对比分析各种方法优劣,最后在宏观层面展望神经网络轻量化的未来发展方向。

融合多注意力深度神经网络的可解释光伏功率区间预测

现有光伏出力预测研究对复杂时空相关性的影响考虑不足,且深度学习自身的黑箱性质使其预测结果的可解释性差。为提高多时空尺度下光伏功率预测精度并增强模型可解释能力,提出融合时空注意力深度神经网络的光伏出力预测模型及其可解释性分析方法。首先,建立了时间-空间-特征的多维注意力机制,结合深度神经网络和分位数回归模型构建光伏区间预测模型,并以注意因子为导向指导模型优化。然后,提出了面向深度学习模型预测过程和预测结果的可解释性体系,基于神经元电导梯度法从模型结构上解释其预测机制,进一步结合注意力权重挖掘影响模型功率预测的核心时空特征。为验证解释结果的可靠性,通过沙普利加性原理量化考虑时间差异性的特征全局边际贡献,并结合实例样本溯因模型的预测依据。最后,在中国某省分布式光伏电站数据中进行验证,结果表明,所提模型相比传统预测模型具有更高的预测精度,可以挖掘光伏出力的时空规律性并合理解释模型预测机制。