一种高效的Softmax函数计算方法及硬件电路

针对现有Softmax函数硬件实现中存在的面积消耗大、速度慢、计算效率低等问题,设计一种高效的Softmax函数计算方法及硬件电路。提出一种稀疏化最大值计算方式,仅选择有效的输入值进行计算和存储,并采用动态移位更新最大值的方式将最大值求取隐藏在流水线中,提高计算效率;优化分段线性拟合算法,避免乘法器的使用,减少了硬件资源开销。基于现场可编程门阵列(Field-Programmable Gate Array,FPGA)的语音识别实验的结果表明,本方法减少了60%的指数存储需求,同时减少了50%的Softmax计算时间。在45 nm互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)工艺下的逻辑综合实验表明,所实现的Softmax函数相较之前的工作,电路综合性能提升14%,面积减小51%。

联合SSFs选择与图像去马赛克

图像去马赛克(Demosaicking)是指将马赛克图像重建为RGB彩色图像的过程,其中马赛克图像的每个像素值只包含一个颜色通道,由单个颜色滤波阵列(Color filter array, CFA)来记录,而去马赛克的过程实际上是对马赛克图像每个像素缺失的两个颜色通道进行估值。目前,研究者们虽然已经证实光谱敏感函数(Spectral sensitivity functions, SSFs)对去马赛克有影响,但是现有的SSFs研究大多只专注于通过深度学习进行联合SSFs设计和去马赛克的相关工作,不能保证所设计的SSFs的物理可制造性。基于此,提出联合SSFs选择与图像去马赛克的深度卷积神经网络,通过使用α-Softmax函数设计卷积层针对图像去马赛克任务对已有的SSFs进行选择,选择出对于去马赛克效果最优的SSFs。研究结果表明:使用α-Softmax函数方法能够通过训练一次选择唯一且最优的SSFs,联合方法对去马赛克效果有促进作用。因此,在设计CFA时可以通过使用α-Softmax函数首先选择出最优SSFs,以增强重建图像质量、降低制作成本。

基于Softmax函数增强卷积神经网络—双向长短期记忆网络框架的交通拥堵预测算法

对交通状态进行预测,需要准确识别和判断交通状态。基于道路自身的自由流速度,将具有不同速度等级的街道统一以旅行时间指数(travel time index, TTI)作为拥堵评价,相较于以车辆速度为基准的传统预测方法更能表现出道路的拥堵状态。提出了一种改进的深度学习预测模型(CS-BiLSTM),该模型基于卷积神经网络(convolutional neural networks, CNN)和双向长短期记忆(bidirectional long short-term memory, BiLSTM),并结合Softmax函数增强CNN提取出的交通空间特征信息。最后以成都市出租车的全球定位系统(global positioning system, GPS)数据进行验证。结果表明,所提出的CS-BiLSTM模型具有更高的准确性,其性能相比CNN-BiLSTM网络预测框架提升了13%。

基于内卷神经网络的轻量化步态识别方法

现有步态识别方法存在计算量大、识别速率较慢和易受视角变化影响等弊端,会造成模型难以部署、步态识别准确率降低等问题。针对以上问题本文提出一种基于内卷神经网络的高准确率步态识别方法。首先,基于残差网络架构和内卷神经网络算子提出了内卷神经网络模型,该模型利用内卷层实现步态特征提取以达到减少模型训练参数的目的;然后,在内卷神经网络模型基础上,建立一个由三元组损失函数和传统损失函数Softmax loss组成的联合损失函数,该函数使所提出的模型具有更好的识别性能及更高的跨视角条件的识别准确率;最后,基于CASIA-B步态数据集进行实验验证。实验结果表明,本文所提方法的网络模型参数量仅有5.04 MB,与改进前的残差网络相比参数量减少了53.46%;此外,本文网络在相同视角以及跨视角条件下相比主流算法具有更好的识别准确率,解决了视角变化情况下步态识别准确率降低的问题。

深度神经网络Softmax函数定点算法设计

由于Softmax函数涉及高精度自然指数和浮点除法计算,深度神经网络推理计算占用大量硬件资源,导致神经网络部署难题。本文提出一种浮点数量化和定点计算方法,只用定点加法、移位操作即可实现精度高的Softmax函数值计算,满足高效推理需求。借助本文算法深度神经网络将易于部署到各种定点硬件平台,减少硬件资源占用,对神经网络部署应用启到促进作用。

基于正则化Softmax回归的全脑功能性磁共振成像数据特征选择框架

针对功能性磁共振成像(f MRI)数据高维小样本特性给分类模型带来的过拟合问题,文中基于Softmax回归提出结合L2正则与L1正则的全脑f MRI数据特征选择框架.首先,基于大脑认知的特点,将全脑分成感兴趣区域和非感兴趣区域.然后,使用可以缩小权值系数的L2正则对感兴趣区域建模以选出感兴趣区域的全部体素,使用具有稀疏作用的L1正则对非感兴趣区域建模以选出非感兴趣区域中的激活体素.最后,结合感兴趣区域和非感兴趣区域的体素构成全脑f MRI数据的正则化Softmax回归模型.在Haxby数据集上的实验表明,L2与L1的正则化策略可有效提升全脑分类的准确率.

CS-Softmax:一种基于余弦相似性的Softmax损失函数

卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表示的性能难以进一步提高.为了增强嵌入表示的判别性,提出了一种基于余弦相似性的Softmax(cosine similarity-based Softmax,CS-Softmax)损失函数.CS-Softmax损失函数在不改变神经网络结构的条件下,分别计算嵌入表示与分类全连接层权重的正相似性和负相似性,以实现同类紧凑和异类分离的训练目标.理论分析表明:边距因子、尺度因子、权重更新因子等参数的引入,可以调节各类别决策边距的大小,增大类内紧凑性、类间分离性,增强学习到的嵌入表示的判别性.在典型的音频、图像数据集上的仿真实验结果表明:CS-Softmax损失函数在不增加计算复杂度的同时,可以有效提升多分类任务性能,在MNIST,CIFAR10,CIFAR100图像分类任务中分别取得了99.81%,95.46%,76.46%的分类精度.

基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法

为了实现精准畜牧业生产及畜牧业保险理赔中牛只身份的准确识别,试验提出了基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法,即采用深度卷积神经网络(deep convolutional neural networks,DCNNs)模型提取特征,利用去偏置项SoftMax损失函数优化特征空间中的特征分布,提高特征线性可分辨性,解决特征归一化后在投影超平面上的重叠问题;采用紧致度量损失函数结合去偏置项SoftMax损失函数联合监督模型训练,使同类特征与类内特征的平均距离最小化,提高特征聚类的紧凑性和可辨识性,同时兼顾了类内样本分布的多样性;最后试验将本算法(去偏置项SoftMax和紧致度量损失函数联合监督算法)与ArcFace损失函数、标准SoftMax损失函数、去偏置项SoftMax损失函数、标准SoftMax损失函数结合紧致度量损失函数进行了性能对分分析。结果表明:本算法的识别准确率在所有模型中最高,为97.61%;且能对高相似度牛脸正确识别。说明基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法可满足牧场牛只身份识别要求。

判别卷积神经网络的手写字符识别模型

目前用于离线和联机手写字符识别的深度学习模型一般深度较浅,且使用softmax损失函数进行训练,缺乏从不同类样本中学习判别信息的能力。为构建更深层卷积神经网络模型,提出了一种编码器与解码器相结合的卷积神经网络模型,该模型可以有效增加网络深度,避免模型参数剧增导致训练困难的问题。为了进一步提高深度学习模型的识别精度,提出了一种判别损失函数,该损失函数通过最小化训练样本在全连接层的输出与该样本同类别优化原型之间的距离来训练神经网络模型。由于优化原型由最小化分类误差算法学习得到,使用判别损失函数训练的卷积神经网络模型具备了更强的判别能力。在公开的联机手写汉字数据集IAHCC-UCAS2016和离线手写字符数据集MNIST上进行对比实验,实验结果表明,在联机手写数据集上与softmax损失函数相比,判别损失函数的识别率提高了1.04个百分点。在两个数据集上,与现有的用于手写字符识别的传统模型和深度模型相比,提出的判别卷积神经网络模型识别率分别达到95.53%和99.73%,获得了更高的识别精度。

基于改进R-FCN算法与类激活图的销钉类缺陷细粒度检测

销钉类缺陷常见于输电线路无人机巡检图像中,因图像占比小、缺陷特征不明显等原因,其检测精度低于其他类缺陷。针对该问题,采用基于区域的全卷积神经网络(region-based fully convonlutional networks,R-FCN)算法建立目标检测网络,分析混淆矩阵,确定算法改进策略。首先,通过网格化拆分实现高清晰度图像的预处理;其次,构建类别平衡的大间隔Softmax损失函数,平衡样本数量,增大类间方差,改善网络检测精度;最后,通过类激活映射的方法生成金具级类激活图,提取螺栓背景信息,实现2类易混淆螺栓的细粒度分类。在无人机巡检图像数据集中进行测试,比较所提改进算法与其他经典算法的检测结果,验证了改进R-FCN算法对销钉类缺陷的检测能力。

基于LSTM的电炉控制器多语言文本数据预处理研究

由于单语言文本数据分析方法对于电炉控制器多语言文本数据的处理会产生特征干扰,从而导致数据分析准确率和召回率较低的结果,容易造成诸多不良影响。为此,提出基于ConvLSTM的电炉控制器多语言文本数据分析方法。利用离散傅里叶变换均值处理时间序列并进行能量计算,滤除噪声能量期望较大的电炉控制器多语言文本时间序列数据,并在此基础上对数据进行去噪处理,从而完成文本的清洗处理。通过双向LSTM层来提取特征信息,将特征引入池化层过滤得到深层特征,传输送至Softmax激活函数中,对处理后的电炉控制器多语言文本数据进行分类分析。实验结果表明,所提方法的电炉控制器多语言文本数据分析具有较高的准确率,且分析召回率及F1值均较高,具有一定的有效性。

基于时空双分支网络的行为检测与识别技术研究

针对传统行为识别方法难以适应复杂的电厂环境,且未充分利用监控视频的时序信息等问题,提出了一种基于时空双分支网络的行为检测与识别技术。该技术利用时空双分支网络提取图像特征,分别基于卷积神经网络、循环神经网络获取图像的空域及时域特征,且使用混合组卷积与横向连接完成特征融合。同时将融合特征作为Softmax分类函数的输入,并经过分数计算得到行为类型。以某电厂的视频监控数据集为样本进行的实验分析结果表明,所提技术方案的行为识别准确率高达94%,且收敛速度快,优于其他对比技术,能够有效解决电厂的行为检测与识别问题。

基于三支决策的两阶段实体关系抽取研究

实体关系抽取作为信息抽取研究的重要研究课题之一,对知识图谱数据层的构建有着重要的意义。提出一种基于三支决策的两阶段分类技术实现实体关系抽取,首先构建SVM三支决策分类器实现第一阶段实体关系抽取,采用softmax多分类函数作为三支决策概率函数,然后采用KNN分类器对三支决策分类后的中间域样本进行二阶段分类。以ACE2005的语料作为实验数据,将三支决策两阶段分类结果与传统SVM方法分类结果进行比较,实验结果表明,基于三支决策的两阶段实体关系抽取方法取得了很好的分类效果。

基于机器视觉的随机纹理瓷砖的分选系统

针对日益加快的瓷砖生产速度与缓慢的人工分选速度之间不协调导致的瓷砖出产效率低下的问题,提出了以机器视觉软件HALCON 11.0为软件开发平台的结合瓷砖颜色、纹理特征提取的算法,以及针对多分类问题的改进多层感知器神经网络算法(MLPNN).首先对拍摄到的瓷砖图像进行去噪预处理,在HSI颜色空间中提取瓷砖的色调(Hue)特征并计算反映瓷砖的纹理特征的灰度共生矩阵(GLCM)和灰度幅值分布特征,再将得到的特征作为多层感知器的神经网络输入层神经元,然后设计以softmax为激活函数的多层感知器神经网络来进行模式匹配,并与BP神经网络模式匹配方法进行对比,最终搭建出具有简单人机交互界面的随机纹理瓷砖的分选实验样机.实验结果表明:本系统对实验的各类随机纹理瓷砖的分选准确率都在90%以上,具有较高的分选准确率,能应用于瓷砖生产实践.

基于深度学习的图像样本标签赋值校正算法实现

本研究针对当前大量应用深度学习建构训练模型的图像识别算法中普遍存在的忽视图像样本标签预判及校正的问题,提出了在深度神经网络传输层模型构建中,引入对样本所对应标签值进行校正的深度学习算法。以神经元和传输层模型设计这两个关键要素为基础,通过加入偏置量后具备非线性变换的Sigmoid激励函数设计神经元的结构模型,通过Softmaxloss损失函数计算样本标签出现的误差,并采用控制误差值趋近最少的机制,设计输出层模型。采用tensorFlow编程工具构建卷积神经网络进行迭代训练实验,实验结果表明,本研究提出的算法,有效地控制了因样本标签赋值错误出现频率和迭代次数不断增加而造成的识别准确率累加下降的问题,实验中图像识别准确率可达到96.91%以上。

应用k-means算法实现标记分布学习

标记分布学习是近年来提出的一种新的机器学习范式,它能很好地解决某些标记多义性的问题。现有的标记分布学习算法均利用条件概率建立参数模型,但未能充分利用特征和标记间的联系。本文考虑到特征相似的样本所对应的标记分布也应当相似,利用原型聚类的k均值算法(k-means),将训练集的样本进行聚类,提出基于kmeans算法的标记分布学习(label distribution learning based on k-means algorithm,LDLKM)。首先通过聚类算法kmeans求得每一个簇的均值向量,然后分别求得对应标记分布的均值向量。最后将测试集和训练集的均值向量间的距离作为权重,应用到对测试集标记分布的预测上。在6个公开的数据集上进行实验,并与3种已有的标记分布学习算法在5种评价指标上进行比较,实验结果表明提出的LDLKM算法是有效的。

基于数据的不平衡学习大规模分层的目标检测网络方案

通过对公开图形数据集的详细分析,发现数据集有四种典型特征:规模大、标签系统分层、标注不完整和数据不平衡。针对以上数据集的典型特征,在采用更大的骨干网、分布式Softmax损失函数、分类别采样策略、专家模型和重分类器等应对策略后,单模型mAP精度最优能达到62.29。经过集成之后,mAP精度能最终可提升到67.17。试验结果表明,基于数据的不平衡学习大规模分层的目标检测网络方案有效地提升目标的识别率和准确率。

基于改进池化层的弱标记声音事件检测

针对DCASE2017挑战赛任务4提供的大规模弱标记声音事件检测数据集,我们搭建了基于梅尔滤波器特征(Fbank)、卷积神经网络(CNN)以及循环神经网络(RNN)的多类别声音事件检测系统,分析了attention和linear softmax两种已有的常用池化层在神经网络反向传播中的部分推演过程,并在linear softmax池化层的基础上进行改进,提出了一种"指数可学习的幂函数softmax"池化层。实验结果表明,相比于DCASE竞赛中获得第一名的模型,应用"指数可学习的幂函数softmax"池化层的检测系统,将段级别的声音事件预测的F1值从0.556提高到0.652,帧级别预测的F1值从0.518提高到0.583,帧级别预测的error rate(ER)从0.730降低到0.667。

基于改进的Faster R-CNN的齿轮外观缺陷识别研究

为了实现齿轮外观缺陷自动化识别,提高齿轮产品的合格率。针对传统缺陷识别算法泛化差,人工提取特征耗时,提出了一种改进的较快的基于区域卷积神经网络(FasterR-CNN)的齿轮缺陷识别模型。设计出VGG-2CF网络,提高识别较小目标的能力;引入AM-Softmax损失函数,以减小类内特征的差异性,进一步增大类之间差异性;结合机器学习算法中的F度量值(F-measure),提出一种AMF-Softmax损失函数,解决数据不平衡的问题。实验结果表明,提出的改进模型具有较高的识别率,适用于齿轮外观的自动化检测。

基于改进ResNet网络的有遮挡车牌识别

为了提高有遮挡车牌的识别准确率,提出一种改进深度残差网络(Deep residual network,ResNet)损失函数的车牌识别方法。首先运用图像平滑处理技术对图像特征进行增强,其次利用边缘检测算法实现对车牌的定位,然后基于先验知识按照标准车牌中各个字符的比例对车牌进行分割。在此基础上,运用改进后的ResNet网络对有遮挡车牌样本库进行训练以及识别,并采用同样样本大小的无遮挡车牌样本库进行对比实验。实验结果表明,改进后的ResNet网络采用有遮挡车牌样本库训练的模型具有较好的识别准确率,且更具有鲁棒性。