一种高效的Softmax函数计算方法及硬件电路

针对现有Softmax函数硬件实现中存在的面积消耗大、速度慢、计算效率低等问题,设计一种高效的Softmax函数计算方法及硬件电路。提出一种稀疏化最大值计算方式,仅选择有效的输入值进行计算和存储,并采用动态移位更新最大值的方式将最大值求取隐藏在流水线中,提高计算效率;优化分段线性拟合算法,避免乘法器的使用,减少了硬件资源开销。基于现场可编程门阵列(Field-Programmable Gate Array,FPGA)的语音识别实验的结果表明,本方法减少了60%的指数存储需求,同时减少了50%的Softmax计算时间。在45 nm互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)工艺下的逻辑综合实验表明,所实现的Softmax函数相较之前的工作,电路综合性能提升14%,面积减小51%。

基于Softmax函数增强卷积神经网络—双向长短期记忆网络框架的交通拥堵预测算法

对交通状态进行预测,需要准确识别和判断交通状态。基于道路自身的自由流速度,将具有不同速度等级的街道统一以旅行时间指数(travel time index, TTI)作为拥堵评价,相较于以车辆速度为基准的传统预测方法更能表现出道路的拥堵状态。提出了一种改进的深度学习预测模型(CS-BiLSTM),该模型基于卷积神经网络(convolutional neural networks, CNN)和双向长短期记忆(bidirectional long short-term memory, BiLSTM),并结合Softmax函数增强CNN提取出的交通空间特征信息。最后以成都市出租车的全球定位系统(global positioning system, GPS)数据进行验证。结果表明,所提出的CS-BiLSTM模型具有更高的准确性,其性能相比CNN-BiLSTM网络预测框架提升了13%。

深度神经网络Softmax函数定点算法设计

由于Softmax函数涉及高精度自然指数和浮点除法计算,深度神经网络推理计算占用大量硬件资源,导致神经网络部署难题。本文提出一种浮点数量化和定点计算方法,只用定点加法、移位操作即可实现精度高的Softmax函数值计算,满足高效推理需求。借助本文算法深度神经网络将易于部署到各种定点硬件平台,减少硬件资源占用,对神经网络部署应用启到促进作用。

基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法

为了实现精准畜牧业生产及畜牧业保险理赔中牛只身份的准确识别,试验提出了基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法,即采用深度卷积神经网络(deep convolutional neural networks,DCNNs)模型提取特征,利用去偏置项SoftMax损失函数优化特征空间中的特征分布,提高特征线性可分辨性,解决特征归一化后在投影超平面上的重叠问题;采用紧致度量损失函数结合去偏置项SoftMax损失函数联合监督模型训练,使同类特征与类内特征的平均距离最小化,提高特征聚类的紧凑性和可辨识性,同时兼顾了类内样本分布的多样性;最后试验将本算法(去偏置项SoftMax和紧致度量损失函数联合监督算法)与ArcFace损失函数、标准SoftMax损失函数、去偏置项SoftMax损失函数、标准SoftMax损失函数结合紧致度量损失函数进行了性能对分分析。结果表明:本算法的识别准确率在所有模型中最高,为97.61%;且能对高相似度牛脸正确识别。说明基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法可满足牧场牛只身份识别要求。

判别卷积神经网络的手写字符识别模型

目前用于离线和联机手写字符识别的深度学习模型一般深度较浅,且使用softmax损失函数进行训练,缺乏从不同类样本中学习判别信息的能力。为构建更深层卷积神经网络模型,提出了一种编码器与解码器相结合的卷积神经网络模型,该模型可以有效增加网络深度,避免模型参数剧增导致训练困难的问题。为了进一步提高深度学习模型的识别精度,提出了一种判别损失函数,该损失函数通过最小化训练样本在全连接层的输出与该样本同类别优化原型之间的距离来训练神经网络模型。由于优化原型由最小化分类误差算法学习得到,使用判别损失函数训练的卷积神经网络模型具备了更强的判别能力。在公开的联机手写汉字数据集IAHCC-UCAS2016和离线手写字符数据集MNIST上进行对比实验,实验结果表明,在联机手写数据集上与softmax损失函数相比,判别损失函数的识别率提高了1.04个百分点。在两个数据集上,与现有的用于手写字符识别的传统模型和深度模型相比,提出的判别卷积神经网络模型识别率分别达到95.53%和99.73%,获得了更高的识别精度。

基于改进R-FCN算法与类激活图的销钉类缺陷细粒度检测

销钉类缺陷常见于输电线路无人机巡检图像中,因图像占比小、缺陷特征不明显等原因,其检测精度低于其他类缺陷。针对该问题,采用基于区域的全卷积神经网络(region-based fully convonlutional networks,R-FCN)算法建立目标检测网络,分析混淆矩阵,确定算法改进策略。首先,通过网格化拆分实现高清晰度图像的预处理;其次,构建类别平衡的大间隔Softmax损失函数,平衡样本数量,增大类间方差,改善网络检测精度;最后,通过类激活映射的方法生成金具级类激活图,提取螺栓背景信息,实现2类易混淆螺栓的细粒度分类。在无人机巡检图像数据集中进行测试,比较所提改进算法与其他经典算法的检测结果,验证了改进R-FCN算法对销钉类缺陷的检测能力。

基于三支决策的两阶段实体关系抽取研究

实体关系抽取作为信息抽取研究的重要研究课题之一,对知识图谱数据层的构建有着重要的意义。提出一种基于三支决策的两阶段分类技术实现实体关系抽取,首先构建SVM三支决策分类器实现第一阶段实体关系抽取,采用softmax多分类函数作为三支决策概率函数,然后采用KNN分类器对三支决策分类后的中间域样本进行二阶段分类。以ACE2005的语料作为实验数据,将三支决策两阶段分类结果与传统SVM方法分类结果进行比较,实验结果表明,基于三支决策的两阶段实体关系抽取方法取得了很好的分类效果。

基于LSTM的电炉控制器多语言文本数据预处理研究

由于单语言文本数据分析方法对于电炉控制器多语言文本数据的处理会产生特征干扰,从而导致数据分析准确率和召回率较低的结果,容易造成诸多不良影响。为此,提出基于ConvLSTM的电炉控制器多语言文本数据分析方法。利用离散傅里叶变换均值处理时间序列并进行能量计算,滤除噪声能量期望较大的电炉控制器多语言文本时间序列数据,并在此基础上对数据进行去噪处理,从而完成文本的清洗处理。通过双向LSTM层来提取特征信息,将特征引入池化层过滤得到深层特征,传输送至Softmax激活函数中,对处理后的电炉控制器多语言文本数据进行分类分析。实验结果表明,所提方法的电炉控制器多语言文本数据分析具有较高的准确率,且分析召回率及F1值均较高,具有一定的有效性。

基于时空双分支网络的行为检测与识别技术研究

针对传统行为识别方法难以适应复杂的电厂环境,且未充分利用监控视频的时序信息等问题,提出了一种基于时空双分支网络的行为检测与识别技术。该技术利用时空双分支网络提取图像特征,分别基于卷积神经网络、循环神经网络获取图像的空域及时域特征,且使用混合组卷积与横向连接完成特征融合。同时将融合特征作为Softmax分类函数的输入,并经过分数计算得到行为类型。以某电厂的视频监控数据集为样本进行的实验分析结果表明,所提技术方案的行为识别准确率高达94%,且收敛速度快,优于其他对比技术,能够有效解决电厂的行为检测与识别问题。

应用k-means算法实现标记分布学习

标记分布学习是近年来提出的一种新的机器学习范式,它能很好地解决某些标记多义性的问题。现有的标记分布学习算法均利用条件概率建立参数模型,但未能充分利用特征和标记间的联系。本文考虑到特征相似的样本所对应的标记分布也应当相似,利用原型聚类的k均值算法(k-means),将训练集的样本进行聚类,提出基于kmeans算法的标记分布学习(label distribution learning based on k-means algorithm,LDLKM)。首先通过聚类算法kmeans求得每一个簇的均值向量,然后分别求得对应标记分布的均值向量。最后将测试集和训练集的均值向量间的距离作为权重,应用到对测试集标记分布的预测上。在6个公开的数据集上进行实验,并与3种已有的标记分布学习算法在5种评价指标上进行比较,实验结果表明提出的LDLKM算法是有效的。

基于机器视觉的随机纹理瓷砖的分选系统

针对日益加快的瓷砖生产速度与缓慢的人工分选速度之间不协调导致的瓷砖出产效率低下的问题,提出了以机器视觉软件HALCON 11.0为软件开发平台的结合瓷砖颜色、纹理特征提取的算法,以及针对多分类问题的改进多层感知器神经网络算法(MLPNN).首先对拍摄到的瓷砖图像进行去噪预处理,在HSI颜色空间中提取瓷砖的色调(Hue)特征并计算反映瓷砖的纹理特征的灰度共生矩阵(GLCM)和灰度幅值分布特征,再将得到的特征作为多层感知器的神经网络输入层神经元,然后设计以softmax为激活函数的多层感知器神经网络来进行模式匹配,并与BP神经网络模式匹配方法进行对比,最终搭建出具有简单人机交互界面的随机纹理瓷砖的分选实验样机.实验结果表明:本系统对实验的各类随机纹理瓷砖的分选准确率都在90%以上,具有较高的分选准确率,能应用于瓷砖生产实践.

基于深度学习的图像样本标签赋值校正算法实现

本研究针对当前大量应用深度学习建构训练模型的图像识别算法中普遍存在的忽视图像样本标签预判及校正的问题,提出了在深度神经网络传输层模型构建中,引入对样本所对应标签值进行校正的深度学习算法。以神经元和传输层模型设计这两个关键要素为基础,通过加入偏置量后具备非线性变换的Sigmoid激励函数设计神经元的结构模型,通过Softmaxloss损失函数计算样本标签出现的误差,并采用控制误差值趋近最少的机制,设计输出层模型。采用tensorFlow编程工具构建卷积神经网络进行迭代训练实验,实验结果表明,本研究提出的算法,有效地控制了因样本标签赋值错误出现频率和迭代次数不断增加而造成的识别准确率累加下降的问题,实验中图像识别准确率可达到96.91%以上。

基于深度学习的番茄叶部病害识别模型

番茄叶病种类多、成因复杂,其预防和识别难度较大。传统基于机器学习的方法多靠人工识别,需要一定的专家经验,且具有主观性强、识别准确率不高等缺点。为实现番茄叶病特征的自动提取,并提高识别准确率,提出一种基于深度学习的番茄叶病识别模型。该模型基于卷积神经网络对番茄叶部病害特征进行自动提取,获得高维特征后,采用PCA降维算法去除冗余特征;从增大类间距离并减小类内距离的角度改进了softmax分类器,提高了识别准确率。将该模型在CrowdAI提供的数据集上进行了仿真验证,结果表明,该模型能够对番茄叶部常见10种病害进行自动提取特征和识别,综合识别准确率达到95%以上。

基于改进池化层的弱标记声音事件检测

针对DCASE2017挑战赛任务4提供的大规模弱标记声音事件检测数据集,我们搭建了基于梅尔滤波器特征(Fbank)、卷积神经网络(CNN)以及循环神经网络(RNN)的多类别声音事件检测系统,分析了attention和linear softmax两种已有的常用池化层在神经网络反向传播中的部分推演过程,并在linear softmax池化层的基础上进行改进,提出了一种"指数可学习的幂函数softmax"池化层。实验结果表明,相比于DCASE竞赛中获得第一名的模型,应用"指数可学习的幂函数softmax"池化层的检测系统,将段级别的声音事件预测的F1值从0.556提高到0.652,帧级别预测的F1值从0.518提高到0.583,帧级别预测的error rate(ER)从0.730降低到0.667。

基于数据的不平衡学习大规模分层的目标检测网络方案

通过对公开图形数据集的详细分析,发现数据集有四种典型特征:规模大、标签系统分层、标注不完整和数据不平衡。针对以上数据集的典型特征,在采用更大的骨干网、分布式Softmax损失函数、分类别采样策略、专家模型和重分类器等应对策略后,单模型mAP精度最优能达到62.29。经过集成之后,mAP精度能最终可提升到67.17。试验结果表明,基于数据的不平衡学习大规模分层的目标检测网络方案有效地提升目标的识别率和准确率。

双线性模型在中国菜分类中的应用

本文以中国菜作为研究对象,提出了基于双线性模型的菜品识别方法.由于中国菜里很多菜品的相似性,导致分类的难度很大.本文借鉴了细粒度图像识别方法中的双线性模型,然后使用一种基于映射的方法得到一个更加低维的双线性特征表示.并在训练阶段采用一种大裕量softmax损失函数.该损失函数通过增加一个正整数变量,在损失函数里产生一个裕量,使同种类别的学习难度增加,从而使学到的特征更加有区分性.将网络在一个208类的中国菜数据集上的测试表明,与以往的方法相比,该方法提高了准确率,减少了过拟合,取得了更好的分类结果.

基于改进ResNet网络的有遮挡车牌识别

为了提高有遮挡车牌的识别准确率,提出一种改进深度残差网络(Deep residual network,ResNet)损失函数的车牌识别方法。首先运用图像平滑处理技术对图像特征进行增强,其次利用边缘检测算法实现对车牌的定位,然后基于先验知识按照标准车牌中各个字符的比例对车牌进行分割。在此基础上,运用改进后的ResNet网络对有遮挡车牌样本库进行训练以及识别,并采用同样样本大小的无遮挡车牌样本库进行对比实验。实验结果表明,改进后的ResNet网络采用有遮挡车牌样本库训练的模型具有较好的识别准确率,且更具有鲁棒性。