SAF-CNN:面向嵌入式FPGA的卷积神经网络稀疏化加速框架

传统的卷积神经网络加速器及推理框架在资源约束的FPGA上部署模型时,往往面临设备种类繁多且资源极端受限、数据带宽利用不充分、算子操作类型复杂难以适配且调度不合理等诸多挑战.提出一种面向嵌入式FPGA的卷积神经网络稀疏化加速框架(sparse acceleration framework of convolutional neural network, SAF-CNN),通过软硬件协同设计的方法,从硬件加速器与软件推理框架2个角度进行联合优化.首先, SAF-CNN构建并行计算阵列,并且设计并行编解码方案,实现单周期多数据的传输,有效减少通信代价.其次,设计细粒度结构化块划分剪枝算法,于输入通道维度进行块内裁剪来获得稀疏且规则的权重矩阵,借此显著降低计算规模和DSP乘法器等资源占用.然后,提出一种兼容深度可分离卷积的输入通道维度动态拓展及运行时调度策略,实现输入通道参数灵活适配与逐通道卷积和逐点卷积的资源复用.最后,提出一种计算图重构及硬件算子融合优化方法,提升硬件执行效率.实验采用2种资源受限的低端FPGA异构平台Intel CycloneV与Xilinx ZU3EG,结果表明SAF-CNN加速器可分别实现76.3GOPS与494.3GOPS的计算性能.与多核CPU相比,SAF-CNN在进行SSD_MobileNetV1目标模型检测时,可实现3.5倍与2.2倍的性能提升,模型推理速度高达26.5fps.

FAQ-CNN:面向量化卷积神经网络的嵌入式FPGA可扩展加速框架

卷积神经网络(convolutional neural network, CNN)模型量化可有效压缩模型尺寸并提升CNN计算效率.然而,CNN模型量化算法的加速器设计,通常面临算法各异、代码模块复用性差、数据交换效率低、资源利用不充分等问题.对此,提出一种面向量化CNN的嵌入式FPGA加速框架FAQ-CNN,从计算、通信和存储3方面进行联合优化,FAQ-CNN以软件工具的形式支持快速部署量化CNN模型.首先,设计面向量化算法的组件,将量化算法自身的运算操作和数值映射过程进行分离;综合运用算子融合、双缓冲和流水线等优化技术,提升CNN推理任务内部的并行执行效率.然后,提出分级编码与位宽无关编码规则和并行解码方法,支持低位宽数据的高效批量传输和并行计算.最后,建立资源配置优化模型并转为整数非线性规划问题,在求解时采用启发式剪枝策略缩小设计空间规模.实验结果表明,FAQ-CNN能够高效灵活地实现各类量化CNN加速器.在激活值和权值为16 b时,FAQ-CNN的加速器计算性能是Caffeine的1.4倍;在激活值和权值为8 b时,FAQ-CNN可获得高达1.23TOPS的优越性能.

基于深度学习的数据库自然语言接口综述

数据库自然语言接口(natural language interface to database,NLIDB)能够凭借自然语言描述实现数据库查询操作,是促进用户无障碍地与数据库交互的重要工具.因为NLIDB具有较高的应用价值,近年来一直受到学术与商业领域的关注.目前成熟的NLIDB系统大部分基于经典自然语言处理方法,即通过指定的规则实现自然语言查询到结构化查询的转化.但是基于规则的方法仍然存在拓展性不强的缺陷.深度学习方法具有分布式表示和深层次抽象表示等优势,能深入挖掘自然语言中潜在的语义特征.因此近年来在NLIDB中,引入深度学习技术成为了热门的研究方向.针对基于深度学习的NLIDB研究进展进行总结:首先以解码方法为依据,将现有成果归纳为4种类型分别进行分析;然后汇总了7种模型中常用的辅助方法;最后根据目前尚待解决的问题,提出未来仍需关注的研究方向.

新型存储设备上重复数据删除指纹查找优化

指纹查找部分是I/O密集型工作负载,即外存存储设备的性能是指纹查找的性能瓶颈.因此关注重复数据删除系统的指纹查找部分,对比了传统的勤奋指纹查找算法和致力于减少磁盘访问次数的懒惰指纹查找算法,分析了2种方法在傲腾固态硬盘(Optane solid state drive,Optane SSD)和持久性内存(persistent memory,PM)两种新型存储设备上的性能表现,并给出了优化建议.对勤奋指纹查找算法和懒惰指纹查找算法的时间进行建模,分析得出了指纹查找算法在新型存储设备下的3点优化结论:1)应减少统一查找的指纹数;2)在较快设备上应减少懒惰指纹查找中局部性环的大小,并且局部性环大小存在一个最优值;3)在快速设备上,勤奋指纹查找的效果要优于懒惰指纹查找.最终,在实际机械硬盘(hard disk drive,HDD)、Optane SSD和PM模拟器上实验验证了模型的正确性.实验结果显示,快速设备上指纹查找的时间相较于HDD减少90%以上,并且采用勤奋算法要优于懒惰算法,局部性环最优值前移的现象,也与模型理论优化结果吻合.

基于循环神经网络和生成式对抗网络的口令猜测模型研究

深度学习技术的进展为提高口令猜测效率提供了潜在的新途径.目前,已有研究将循环神经网络(Recursive Neural Network,RNN)、生成式对抗网络(Generative Adversarial Network,GAN)等深度学习模型运用于设计口令猜测模型.本文基于RNN模型、长短期记忆网络(Long Short-Term Memory,LSTM)模型、概率上下文无关文法(Probabilistic Context-Free Grammar,PCFG)与LSTM的混合模型(简称PL模型),提出采用RNN来代替PL模型中的LSTM的思想,将PCFG与RNN在模型层面进行融合,设计了PR模型.为降低猜测模型对大训练样本的依赖,进一步提出了PR+模型,即采用RNN网络来生成字母序列,实现对口令字母段的填充.基于4个大规模真实口令数据集的实验结果显示,PR模型的攻破率略高于PL模型,且始终显著高于传统的PCFG(107量级猜测数下)和Markov模型(106量级猜测数下),并且PR模型的训练效率远优于PL模型.鉴于不同口令模型生成口令猜测的特性不同,将不同模型生成的猜测集组合来生成新的口令猜测集,并基于4个大规模真实口令数据集对不同组合方法进行了对比.尽作者所知,我们首次证实了在相同猜测数下(107~108量级猜测数),组合不同类型模型所生成口令猜测集的破解率通常高于单一猜测集.本文研究显示,GAN模型在猜测数为3.6×108时,破解率仅为31.41%,这表明GAN模型的口令破解效率劣于传统基于概论统计的模型(如PCFG模型和Markov模型)和基于RNN的口令猜测模型,并进一步指出了GAN模型表现不佳的原因.

基于非递减时序随机游走的动态异质网络嵌入

网络嵌入是将高维网络映射到低维向量空间的一种表示学习方法.目前,人们对动态同质网络嵌入和静态异质信息网络嵌入已经开展了一些研究,但动态异质网络上的嵌入研究仍然较少.如果直接应用静态网络嵌入或动态同质网络嵌入方法来解决动态异质网络嵌入问题,会由于忽略网络的动态或异质特性而导致严重的信息丢失.因此,提出一种基于时间和类别约束随机游走的动态异质网络嵌入方法TNDE.该方法引入类别约束,能够解决动态异质网络中由于异质特性带来的语义信息保留问题.不同于其他动态网络中的时序随机游走,该方法采用非递减的时间约束来增量式地进行随机游走,能够解决网络同时具备动态和异质特性而引入的强语义局部结构上的边时间戳一致的挑战,避免游走时出现时间戳陷入的问题.通过对实时变化的增量游走和嵌入学习,TNDE提供了一种高效的在线表示学习算法.在3个真实数据集上的实验结果表明:该方法在不同特性的网络中具有良好的通用性.与目前最先进方法相比,能够得到下游链路预测和节点分类任务中2.4%~92.7%的准确度提升,显著提高了嵌入质量,并在保证良好嵌入质量的前提下,缩短算法运行时间12.5%~99.91%.

面向多网关的无线传感器网络多因素认证协议

无线传感器网络作为物联网的重要组成部分,广泛应用于环境监测、医疗健康、智能家居等领域.身份认证为用户安全地访问传感器节点中的实时数据提供了基本安全保障,是保障无线传感器网络安全的第一道防线;前向安全性属于系统安全的最后一道防线,能够极大程度地降低系统被攻破后的损失,因此一直被学术及工业界视为重要的安全属性.设计面向多网关的可实现前向安全性的无线传感器网络多因素身份认证协议是近年来安全协议领域的研究热点.由于多网关无线传感器网络身份认证协议往往应用于高安全需求场景,一方面需要面临强大的攻击者,另一方面传感器节点的计算和存储资源却十分有限,这给如何设计一个安全的多网关无线传感器网络身份认证协议带来了挑战.近年来,大量的多网关身份认证协议被提出,但大部分都随后被指出存在各种安全问题.2018年,Ali等人提出了一个适用于农业监测的多因素认证协议,该协议通过一个可信的中心(基站)来实现用户与外部的传感器节点的认证;Srinivas等人提出了一个通用的面向多网关的多因素身份认证协议,该协议不需要一个可信的中心,而是通过在网关之间存储共享秘密参数来完成用户与外部传感器节点的认证.这两个协议是多网关无线传感器网络身份认证协议的典型代表,分别代表了两类实现不同网关间认证的方式:1)基于可信基站,2)基于共享秘密参数.分析指出这两个协议对离线字典猜测攻击、内部攻击是脆弱的,且无法实现匿名性和前向安全性.鉴于此,本文提出一个安全增强的可实现前向安全性的面向多网关的无线传感器网络多因素认证协议.该协议采用Srinivas等协议的认证方式,即通过网关之间的共享秘密参数完成用户与外部传感器节点的认证,包含两种典型的认证场景.对新协议进行了BAN逻辑分析及启发式分析,分析结果表明该协议实现了双向认证,且能够安全地协商会话密钥以及抵抗各类已知的攻击.与相关协议的对比结果显示,新协议在提高安全性的同时,保持了较高的效率,适于资源受限的无线传感器网络环境.

可证明安全的抗量子高效口令认证密钥交换协议

基于格的口令认证密钥交换(Password-Authenticated Key Exchange,PAKE)协议在后量子时代具有广泛的应用前景.降低通信轮次可以有效提高执行效率,也是格上PAKE协议的重要优化方向.现有基于格的低轮次PAKE协议的构建方法主要有两种:一种是基于非交互式零知识(Non-Interactive Zero-Knowledge,NIZK)证明,但在标准模型下如何在格上实现NIZK证明仍然是公开问题;另一种虽然宣称基于不可区分适应性选择密文攻击(Indistinguishability under Adaptive Chosen-Ciphertext Attack,IND-CCA2)的安全模型,但实际上只采用了不可区分性选择密文攻击(Indistinguishability under Chosen-Ciphertext Attack,IND-CCA1)安全的公钥加密(Public Key Encryption,PKE)方案,该类PAKE协议在现实应用时需要利用签名/验签等技术才能保证安全性.这两种方法都会增加计算和通信开销.为此,本文利用带误差学习(Learning with Errors,LWE)问题的加法同态属性,提出了一种格上IND-CCA2安全的非适应性平滑投影哈希函数(Smooth Projective Hash Function,SPHF),该函数支持一轮PAKE协议的构造;并确定了所基于的PKE方案中相关参数的大小,从而消除了LWE问题的不完全加法同态属性对SPHF正确性的影响.尽所知,这是格上第一个直接基于IND-CCA2安全模型的非适应性SPHF,且该SPHF具有相对独立的研究价值,可应用于证据加密、零知识证明和不经意传输等领域.基于此,本文构建了一种格上可证明安全的高效PAKE协议.该协议可以抵御量子攻击;只需要一轮通信,因而具有最优的通信轮次;是基于标准模型,所以避免了使用随机预言机的潜在安全威胁,特别是使用随机预言机可能导致格上PAKE协议遭受离线口令猜测攻击和量子攻击;在实际应用时,该协议也不需要利用NIZK证明和签名/验签等技术来保证安全性,这有效提高了执行效率.本文还利用人人网474万口令数据验证了基于CDF-Zipf定律的PAKE协议安全模型可以更加准确地评估PAKE协议所提供的安全强度;最后基于该安全性模型,本文在标准模型下对所提出的PAKE协议进行了严格的安全性证明.实验结果表明,与其它相关协议相比,本文协议具有最优的整体执行效率和最低的通信开销.

无线传感网络中基于非抗窜扰智能卡的双因素认证协议

智能卡是最为常见的密码设备之一,因其抗窜扰特性,智能卡常常被用于电子商务、医疗健康以及物联网等高安全需求的领域中为安全提供服务。随着侧信道攻击、逆向工程等技术的发展,研究表明智能卡内保存的参数可恢复,使其不再具有抗窜扰特性,因而,基于非抗窜扰智能卡假设的多因素认证协议设计得到了广泛的关注。为此,研究了在无线传感网络中典型的多因素协议,指出其不能抵抗离线口令猜测攻击和中间人攻击、无法实现双向认证,以及不能抵抗离线口令猜测攻击、无法实现用户匿名性等问题。为克服这些缺陷,在非抗窜扰智能卡假设下,结合哈希链技术提出了一类面向无线传感器网络的双因素认证协议,并在随机预言机模型中给出了严格的安全证明。与现有无线传感网络环境下多因素认证协议相比,该协议在保持较低计算开销的同时,实现了更高的安全性,适于资源受限的无线传感器网络环境。

基于雾计算的智能医疗三方认证与密钥协商协议

在智能医疗中,将云计算技术与物联网技术结合,可有效解决大规模医疗数据的实时访问问题.然而,数据上传到远程云服务器,将带来额外的通信开销与传输时延.借助雾计算技术,以终端设备作为雾节点,辅助云服务器在本地完成数据存储与访问,能够实现数据访问的低延迟与高移动性.如何保障基于雾计算的智能医疗环境的安全性成为近期研究热点.面向基于雾计算的智能医疗场景,设计认证协议的挑战在于:一方面,医疗数据是高度敏感的隐私数据,与病人身体健康密切相关,若用户身份泄漏或者数据遭到非法篡改将导致严重后果;另一方面,用户设备和雾节点往往资源受限,认证协议在保护用户隐私的同时,需要实现用户、雾节点、云服务器之间的三方数据安全传输.对智能医疗领域两个具有代表性的认证方案进行安全分析,指出Hajian等人的协议无法抵抗验证表丢失攻击、拒绝服务攻击、仿冒攻击、设备捕获攻击、会话密钥泄漏攻击;指出Wu等人的协议无法抵抗离线口令猜测攻击、仿冒攻击.提出一个基于雾计算的智能医疗三方认证与密钥协商协议,采用随机预言机模型下安全归约、BAN逻辑证明和启发式分析,证明所提方案能实现双向认证与会话密钥协商,并且对已知攻击是安全的;与同类方案的性能对比分析表明,所提方案显著提高了安全性,并具有较高的效率.

基于多任务学习的眼底图像红色病变点分割

糖尿病性视网膜病变(糖网病)是导致成年人视觉损失的主要因素之一.早期的眼底筛查可以显著降低这种视觉损失的可能性.彩色眼底图像由于具有采集便利、对人体无伤害等特点,常被用于大规模的眼底筛查工作.对眼底图像中的红色病变点而言,微动脉瘤是轻度非增殖性糖网病的主要标志,出血点与中度及重度非增殖性糖网病的诊断有关,因此,眼底图像中出血点和微动脉瘤的准确分割对糖网病分级诊断具有重要参考价值.提出一种基于多任务学习的分割模型Red-Seg来对出血点和微动脉瘤进行分割.该网络包含两个分支,每个分支处理一种病变点.设计了一种两阶段训练算法,并且两个阶段使用不同的损失函数:第1阶段使用改进的Top-k带权交叉熵损失函数,将模型训练集中在难分样本上;第2阶段将最小化假阳性和假阴性作为Red-Seg模型训练的优化目标,进一步减少病变点误分.最后,在IDRiD数据集上进行模型验证,并与其他病变点分割方法进行对比.实验结果表明,在应用Red-Seg模型进行微动脉瘤和出血点红色病变点分割时,两阶段训练算法可以显著减少病变点误分情况,尤其是出血点分割的准确率和召回率都提高2.8%.同时,与HED、FCRN、DeepLabv3+和L-Seg等图像级分割模型相比,Red-Seg模型在微动脉瘤分割上获得了更好的AUC_PR.

面向移动边缘计算的密钥管理协议

移动边缘计算(Mobile Edge Computing,MEC)将互联网服务环境和云计算技术在网络边缘相结合,为移动用户提供高带宽、低延迟的计算和存储服务.在MEC网络中,移动用户和服务器之间组成一个群组进行通信和数据传输,一旦密钥泄露,将会造成严重的安全隐患和经济损失.通过设计密钥管理协议,可以实现密钥的分发、更新和存储等功能来保护MEC网络隐私安全.然而传统的密钥管理协议不适合MEC网络.因此需要结合MEC网络的物理特性和实际需求,设计面向MEC的密钥管理协议.本文的研究分为两部分:首先构造了一个非交互透明零知识可验证多项式委托并基于该技术设计了一种支持通信秘密可验证、秘密份额可动态更新、服务器节点可动态变化的门限秘密共享协议,保护MEC服务器私钥的安全;然后,提出一种支持用户自由进出,保障网络通信安全的MEC通信密钥管理协议,保护MEC网络中移动用户的通信和数据安全.进一步通过形式化证明和混合仿真游戏对所提协议进行了严格的安全证明,结果表明本文密钥管理协议满足前向安全和后向安全,并可抵抗各类已知攻击.与相关协议的对比结果显示,新协议在提高安全性的同时,保持了较高的效率,适于MEC网络环境.

新型电路版图布局布线算法设计

调研了电路自动布局布线技术的国内外研究现状,在此基础上设计了一种面向中等规模电路布局布线算法,主要用于大型版图设计软件的模块测试环节,为用户提供各模块初步的布线布局结果,方便用户高效查找并修正错误点,填补了我国在相关领域的空白。建立了超图模型并转换为图模型,改进了Stoer-Wagner算法并利用该算法和Fiduccia-Mattheyses算法对图进行了基于最小割理论的划分,从而构建出一棵划分树。在这棵树的基础上设计了一种二元相对移动算法来确定各个电路元件的位置,大大降低了布局拥挤度,提高了美观度,对于数百元件的电路均能在0.5 s内得出布局结果。基于A*算法在多个方面做了改进,提高了布线速度,对于线路数1000以下的元件能在0.1 s~60 s内得出结果,实现了100%布通率以及均匀的布局布线效果。

基于格的口令散列方案

在可预见的未来,口令仍将是最主要的身份认证方法.口令认证密钥交换协议(password authenticated key exchange, PAKE)是口令认证的重要组成部分,它允许通信双方在不安全的通话信道上建立一个安全的会话密钥.为了缓解服务器被入侵后对存储在服务器上口令的影响,将口令散列之后再存储被广泛推荐,例如使用传统的口令散列函数,如PBKDF2, Bcrypt,和Scrypt.然而,这些口令散列函数依赖复杂的数学问题,安全性证明建立在随机预言机模型(random oracle model,ROM)之上,且需要较大内存支持.为解决上述问题,基于离散对数假设的口令散列方案陆续被提出,如Benhamouda-Pointceva方案(IACR ePrint2013/833)、Kiefer-Manulis方案(ESORICS’14)、Pointcheval-Wang方案(ASIACCS’17)与平滑投影散列函数(smooth projective hash function, SPHF)集成,但这些方案无法实现后量子安全且仍依赖于ROM模型.因此,本文着重研究如何在标准模型下设计后量子安全的口令散列方案,并给出可证明安全性分析.尽管所提方案尚不能应用于实际,但为构造实际的后量子安全的口令认证及密钥交换协议奠定了基础.