结合算子选择的卷积神经网络显存优化算法

针对卷积神经网络训练中自动算子选择算法在较大的显存压力下性能下降的问题,将卸载、重计算与卷积算子选择统一建模,提出一种智能算子选择算法。该算法权衡卸载和重计算引入的时间开销与更快的卷积算子节省的时间,寻找卸载、重计算和卷积算子选择的调度,解决了自动算子选择算法性能下降的问题.实验结果表明,该智能算子选择算法比重计算-自动算子选择算法缩短了13.53%训练时间,比已有的卸载/重计算-自动算子选择算法缩短了4.36%的训练时间.

面向分布式卷积神经训练网络的FPGA加速器设计

为提高卷积神经网络(CNN)训练速度,设计一种基于FPGA的分布式CNN加速器。采用数据并行分布式架构,通过多FPGA并行计算提高CNN的训练速度。分析各层数据依赖性,调整矩阵卷积运算顺序,实现层内和层间的细粒度流水线。针对卷积运算消耗过多存储资源,设计一种数据拼接存储结构,有效节省存储资源。为实现多FPGA互联,采用40G光纤传输数据,同时优化Ring-Allreduce传输模式,减少板间数据传递的延迟。针对Mnist数据集,选用16 bit定点量化,不同层间选用不同量化方案,减小梯度下降误差。测试表明,基于Intel Arria 10硬件平台,设计的2 FPGA和3 FPGA架构相对于单FPGA可分别实现1.99、2.98的加速比。

基于3D监督预训练的全身病灶检测SOTA

现如今医学领域和计算机领域的融合程度越来越深,越来越多的研究团队使用计算机先进的图像处理技术来完成医学影像的分类,分割,检测,配准和成像重建等工作,但是这仍是少数,绝大多数的医疗机构仍然是依靠医生来根据图像进行诊断和结果分析,这大大降低了医院的工作效率,诊断时间长,给患者无论是精神上还是身体上都带来了负担。因此,我们通过机器深度学习的预训练3D模型,3D建模和卷积神经网络技术来建立一个可以直接进行影像分类,切割和病灶检测的系统。本研究针对CT层面中的2D病灶检测问题提出了一种可以有效利用3D上下文信息的新框架,同时提出了一种预训练3D卷积神经网络的新思路,该研究在迄今规模最大的CT图像数据集NIH DeepLesion上进行了实验,并取得了SOTA的病灶检测结果。有监督预训练方法可以有效提升3D模型训练的收敛速度,以及在小规模数据集上的模型精度,用于提升病症分析的速度和准确率,提高医疗效率。论文的主要研究成果包括:1) 提出了3D卷积模型病灶检测预处理方法。该方法是通过数据的预处理将CT影像转换为三通道的伪彩色图像,从而将图像中的像素值归一化到相同的范围,减小了不同类型病灶形态差异。其次,通过预处理,结合多类型病灶框大小的先验知识,对锚框宽高比进行了优化。2) 开发了一个通用和高效的能够增强3D上下文信息建模的网络框架。首先提出一种改进的伪3D框架来对连续多层输入进行高效的3D上下文特征提取,同时配合一个组卷积变换模块,在该特征输入到检测头之前可以将3D特征转换为2D特征,来适配我们的2D目标检测任务。以确保模型始终具备3D上下文建模能力。3) 研究设计了一种有监督的预训练方法来增强MP3D的训练以及收敛性能。本研究工作提出一种基于变维度转换的3D模型预训练方法:将2D空间中的channel维度转换为3D空间中的dept维度,将原始具有色彩信息的RGB三通道二维图像转化成三维空间中的三个连续层面图像,以此达到有效的利用2D自然图像处理进行3D模型的预训练。本论文在DeepLesion数据集上对提出的方法进行了定性和定量的分析对比。结果显示本论文方法可以作为CT影像中多类型病灶的辅助检测方法,从而促进CT技术在临床的应用。

一种多样变换的手写验证码自动识别算法的研究及应用

研究验证码自动识别技术可以进一步提升人识别验证码的可读性,增强机器识别的难度,从而提高网络安全性。针对目前提出的验证码识别方法基本都是采用光学字符识别(OCR)方法对机器写的标准字符进行识别,本文提出了一种多样变换的手写验证码自动识别算法,对彩色验证码进行识别主要包括彩色验证码的二值化、手写字符的区域分割、同一字符的区域连接、使用卷积神经网络对手写字符进行训练、手写字符识别。本文的实现结果明显优于OCR的识别结果。结果表明通过该网站的测试,基本上能自动识别该网站的验证码。