一种高效的Softmax函数计算方法及硬件电路

针对现有Softmax函数硬件实现中存在的面积消耗大、速度慢、计算效率低等问题,设计一种高效的Softmax函数计算方法及硬件电路。提出一种稀疏化最大值计算方式,仅选择有效的输入值进行计算和存储,并采用动态移位更新最大值的方式将最大值求取隐藏在流水线中,提高计算效率;优化分段线性拟合算法,避免乘法器的使用,减少了硬件资源开销。基于现场可编程门阵列(Field-Programmable Gate Array,FPGA)的语音识别实验的结果表明,本方法减少了60%的指数存储需求,同时减少了50%的Softmax计算时间。在45 nm互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)工艺下的逻辑综合实验表明,所实现的Softmax函数相较之前的工作,电路综合性能提升14%,面积减小51%。

基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法

为了实现精准畜牧业生产及畜牧业保险理赔中牛只身份的准确识别,试验提出了基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法,即采用深度卷积神经网络(deep convolutional neural networks,DCNNs)模型提取特征,利用去偏置项SoftMax损失函数优化特征空间中的特征分布,提高特征线性可分辨性,解决特征归一化后在投影超平面上的重叠问题;采用紧致度量损失函数结合去偏置项SoftMax损失函数联合监督模型训练,使同类特征与类内特征的平均距离最小化,提高特征聚类的紧凑性和可辨识性,同时兼顾了类内样本分布的多样性;最后试验将本算法(去偏置项SoftMax和紧致度量损失函数联合监督算法)与ArcFace损失函数、标准SoftMax损失函数、去偏置项SoftMax损失函数、标准SoftMax损失函数结合紧致度量损失函数进行了性能对分分析。结果表明:本算法的识别准确率在所有模型中最高,为97.61%;且能对高相似度牛脸正确识别。说明基于去偏置项SoftMax和紧致度量损失函数的牛脸识别方法可满足牧场牛只身份识别要求。

基于softmax的加权Double Q-Learning算法

强化学习作为机器学习的一个分支,用于描述和解决智能体在与环境的交互过程中,通过学习策略以达成回报最大化的问题。Q-Learning作为无模型强化学习的经典方法,存在过估计引起的最大化偏差问题,并且在环境中奖励存在噪声时表现不佳。Double Q-Learning(DQL)的出现解决了过估计问题,但同时造成了低估问题。为解决以上算法的高低估问题,提出了基于softmax的加权Q-Learning算法,并将其与DQL相结合,提出了一种新的基于softmax的加权Double Q-Learning算法(WDQL-Softmax)。该算法基于加权双估计器的构造,对样本期望值进行softmax操作得到权重,使用权重估计动作价值,有效平衡对动作价值的高估和低估问题,使估计值更加接近理论值。实验结果表明,在离散动作空间中,相比于Q-Learning算法、DQL算法和WDQL算法,WDQL-Softmax算法的收敛速度更快且估计值与理论值的误差更小。

基于Softmax回归分类模型的网页搜索排序算法

针对网页搜索结果存在返回的网页与搜索的关键词领域不相关的领域漂移现象,导致用户无法搜索到需求信息的问题,提出基于Softmax回归分类模型的网页搜索排序算法。选择网页搜索文本特征,得到相应的特征项,利用向量表示模型,将选择的网页搜索文本特征项转换为格式化数据,对网页搜索文本数据进行均衡处理,获取网页搜索文本数据集。采用Softmax回归分类模型,分类处理网页搜索文本数据集,预测网页搜索文本类别,通过Okapi BM25算法,对网页搜索文本进行排序操作,实现网页搜索排序。实验结果表明,所提算法具有较好的网页搜索排序,提升了网页搜索排序精度,避免网页搜索排序过程中的领域漂移现象。

基于Softmax回归在复杂地形条件下的降水相态预报模型——以山西省晋中市为例

利用2000—2018年山西省晋中市常规地面观测资料对当地降水相态时空分布特征进行统计分析,用ERA5再分析资料在显著性检验基础上筛选出与降水相态相关性较强的物理量参数,以筛选出的物理量作为特征数据,采用k-聚类法对晋中市进行区域划分,基于Softmax回归方法分别建立不同区域的降水相态分类预报模型。结果表明,晋中市发生雨雪转换日最多的是3月,其次为11月,4月、11月更容易发生液态降水向固态降水的转换;筛选出与降水相态相关性较强的3个物理量参数分别是T_(850hPa)、T_(0)和H_(700~850hPa),相变日数有明显的地域差异;第二区域和第三区域的模型预测精度均高于不进行区域划分的模型精度,说明进行区域划分再建模可在一定程度上提高模型的预报准确率。

基于Softmax的采摘机器人目标识别技术研究

首先,介绍了目标水果的形态、采摘机器人识别技术与试验平台;然后,设计了双目视觉系统,并基于Softmax分类模型设计了苹果的目标识别算法,实现了一套基于Softmax的采摘机器人目标识别模型。试验结果表明:采摘机器人对无遮挡的苹果目标识别率为94%,对部分遮挡的苹果目标正确识别率为88.7%,稳定性较好,精度较高。

基于卷积降噪自编码器和Softmax回归的微地震定位方法

本文提出了一种基于卷积降噪自编码器和Softmax回归的微地震定位方法.该方法首先将微地震数据输入到卷积降噪自编码器中进行随机噪声压制,利用卷积降噪自编码器的编码器提取微地震数据的鲁棒性特征.然后根据震源的地理位置,对每个微地震数据生成多个独立的位置标签.使用带有震源位置标签的微地震特征训练多输出的Softmax分类器模型,同时预测一个输入微地震数据的多个位置标签,进而获得精确的震源位置.合成地震记录的实验结果表明,该方法能够准确快速地定位低信噪比的微地震事件.

基于堆叠稀疏自编码器和Softmax分类器的路面裂缝识别方法研究

为了提高路面裂缝识别的正确率和实时性,文章提出了一种基于堆叠稀疏自编码器和Softmax分类器的路面裂缝识别方法。利用图像处理算法从每张路面图像中提取低维特征,输入到稀疏自编码器进行特征优化并提取高维特征后,使用Softmax分类器来进行识别。利用本文方法进行交叉试验,准确率、精度、灵敏度、特异性和F1-score分别达到99.5%、99%、100%、100%和99.5%。因此,本文提出的方法能够有效地自动检测路面裂缝。

基于Softmax分类器的小春作物种植空间信息提取

[目的]使用浅层机器学习分类方法和多光谱遥感影像快速准确提取研究区小春作物(油菜、小麦)种植空间信息。[方法]选择研究区小春作物识别最佳时期的Sentinel 2A MSI多光谱影像,融合得到10 m分辨率影像,然后降尺度生成15、20、30 m分辨率影像,结合地面调查数据,建立油菜、小麦、林地、居民地、水体等典型地物感兴趣区,训练Softmax分类器,基于不同空间分辨率影像提取油菜、小麦种植空间信息。[结果]①基于Softmax分类器和10 m分辨率融合影像的小春作物分类总体精度为90.02%,Kappa系数为0.8344,其中油菜生产者精度和用户精度分别为93.14%、91.42%,小麦的分别为87.93%,98.09%;②Softmax法的小春作物分类精度随影像空间分辨率下降而降低,15、20、30 m分辨率影像的分类精度较10 m的分别下降9.80%、12.04%和13.04%,Kappa系数依次减少0.1538,0.1873和0.2088;③15、20、30 m分辨率影像的油菜分类精度较小麦的低,影响因素为油菜花期和种植地块破碎分散。[结论]Softmax分类器在10~30 m中高分辨率影像小春作物分类中具备较高的精度,可作为常规方法应用于业务化的作物监测工作。

基于主成分分析和Softmax回归模型的人脸识别方法

文章介绍一种基于主成分分析(principal component analysis,PCA)和Softmax回归模型相结合的人脸识别方法,该方法通过PCA对整幅图像提取特征,然后将提取的特征经过非线性变换输入到Softmax回归模型中。将主成分提取特征看成是单层神经网络,将它与Softmax回归模型构成的级联结构看作是2层神经网络,在神经网络的训练过程中,主成分的特征向量可以微调。在不同人脸数据库上的实验表明,相比于传统的只用PCA降维的方法,本文方法可达到较高的识别率。

基于softmax回归与图割法的脑肿瘤分割算法

从医学图像中分割脑肿瘤区域可以为脑肿瘤的诊断以及放射治疗提供帮助.但肿瘤区域的变化异常且边界非常模糊,因此自动或半自动地分割脑肿瘤非常困难.针对这一问题,本文结合softmax回归和图割法提出一种脑肿瘤分割算法.首先融合多序列核磁共振图像(MRI)并标记训练样本,再用softmax回归训练模型参数并计算每个点属于各个类别的概率,最后将概率融入到图割法中,用最小切/最大流方法得到最终分割结果.实验表明提出的方法可以更好地得到脑肿瘤的边界,并能较准确地分割出脑肿瘤区域.

稀疏自编码和Softmax回归的快速高效特征学习

针对特征学习效果与时间平衡问题,提出了一种快速高效的特征学习方法。将稀疏自编码和Softmax回归组合成一个新的特征提取模型,在提取原始图像潜在信息的基础上,利用多分类器返回值可以反映输入信息的相似程度的特点,快速高效的学习利于分类的特征向量。鉴于标签信息已知,该算法在图像分类效果上明显优于几种典型的特征学习方法。为了使所提算法具有更好的泛化能力,回归模型的损失函数中加入了L2范数防止过拟合,同时,采用随机梯度下降的方法得到模型的最优参数。在4个标准数据集上的测试结果表明该算法是有效可行的。

中心损失与Softmax损失联合监督下的人脸识别

深度学习在人脸识别领域已经取得了巨大的成就,针对当前大多数卷积神经网络采用Softmax损失函数进行特征分类,增加新的类别样本会减小类间距离的增长趋势,影响网络对特征判别的问题,采用了一种基于中心损失与Softmax损失联合监督的人脸识别算法,来提高网络对特征的识别能力。在Softmax基础上,首先,分别对训练集每个类别在特征空间维护一个类中心,训练过程新增加样本时,网络会约束样本的分类中心距离,从而兼顾了类内聚合与类间分离。其次,引入动量概念,在分类中心更新的时候,通过保留之前的更新方向,同时利用当前批次的梯度微调最终的更新方向,该方法可以在一定程度上增加稳定性,提高网络的学习效率。最后,在人脸识别基准库LFW上的测试实验证明:所提的联合监督算法,在较小的网络训练集上,获得了99.31%的人脸识别精度。

利用红外特征和Softmax回归识别绝缘子污秽等级

提出了一种红外图像特征与Softmax回归相结合的方法识别绝缘子污秽等级。通过对红外图像的灰度化、图像滤波、二值化、盘面分割、半盘面提取等预处理过程,获取单个绝缘子半盘面区域。设计了以环境温度、绝缘子背景图像的平均灰度、绝缘子盘面区域的平均灰度、绝缘子盘面灰度分布的方差值、灰度熵和环境湿度共6个反映污秽等级的特征集的基于Softmax回归多值分类模型识别绝缘子污秽等级。引入概率阈值从问题源头出发,解决了拍摄时所产生的无效绝缘子红外图像对污秽等级分类的影响。实验结果表明所选取的特征集和绝缘子污秽识别模型高效且可行。

基于神经网络语言模型的动态层序Softmax训练算法

针对词向量训练过程中层序Softmax算法无法进行增量训练及海量数据训练低效的问题,提出了动态层序Softmax算法.通过对数据样本的增量加载,采用结点置换方法动态构建编码树,实现对样本的增量训练.为避免损失函数因样本量较少而呈现震荡式下降,利用梯度的一阶矩估计与二阶矩估计动态调整参数更新方向与学习率,通过梯度迭代缩小权值变化范围和收敛训练误差,提高词向量的训练效率.以维基百科中文语料作为数据进行了试验,完成了训练效率和质量的分析.结果表明:相较于现有方法动态层序Softmax算法显著提高了训练效率,当增量样本大小为10 kB^1 MB时,训练增速有近30倍的提升,有效地缩短训练周期.

基于知识图谱和Softmax回归的干扰信号识别方法

随着信息技术的发展,未来移动通信系统将是地海空一体化的综合性网络,因此通信系统所面临的干扰情况将异常复杂,这将导致干扰信号的识别与抑制任务更具有挑战性。针对此问题,文中提出一种基于知识图谱和Softmax回归的干扰信号识别方法。该方法首先构建干扰信号识别的专家知识图谱并利用TransR算法将其嵌入到低维向量空间中;然后,提取出每个干扰信号的多维特征并做归一化处理,将这些归一化特征值作为Softmax回归模型的输入,从而提高Softmax回归算法对干扰信号识别的准确率。仿真结果表明,对于典型的干扰样式,文中方法比基于Softmax回归和基于BP神经网络的干扰信号识别方法具有更好的识别性能。

RHS-CNN:一种基于正则化层次Softmax的CNN文本分类模型

传统的卷积神经网络分类模型(CNN)的输出层采用扁平式架构的标准Softmax,在数据量较大、类别较多的文本分类任务中计算复杂度高,训练耗时长;而基于霍夫曼树(Huffman tree)构建的改进算法--层次Softmax(hierarchical softmax,H-Softmax)能极大地提高训练速度,但由于加入了大量的节点参数,使得优化难度增加,优化需要更长的迭代步,且容易过拟合,继而影响模型的拟合速度和分类效果。为此,提出了改进算法模型RHS-CNN(regularization hierarchical softmax CNN),采用正则化的方法,对H-Softmax的节点参数进行约束,避免过拟合,增强模型的泛化能力。实验分析结果表明:所提出的方法在相应评价指标上相对Softmax、H-Softmax有着一定的提升。

基于Softmax回归分类分析的人体运动检测研究

提出一种基于分类分析的人体运动状态识别方法。通过手机内置的加速度传感器采集相关数据,然后对采集的数据进行预处理,采用Softmax回归分类算法对人体运动状态进行分类。在深度学习框架TensorFlow下的实验结果显示此算法分类精度较高,对静止、走路、慢跑、上下楼梯、骑车等五种运动状态的综合识别率为88.18%。

融合softmax的偏最小二乘法及中药数据分析研究

偏最小二乘判别分析(partial least squares discriminant analysis,PLS-DA)是一种线性分类方法,不能充分表达数据之间的非线性关系,难以适应非线性数据的分类识别。针对该问题,结合softmax回归能够表达非线性特征,提出融合softmax回归的偏最小二乘判别分析算法(PLS-S-DA)。为了验证PLS-S-DA对非线性数据的有效性,以准确率、运行时间、查准率、查全率和F1-score为评价指标,采用四组UCI数据集和中药寒热药性数据集测试PLS-S-DA的性能,并与PLS-DA等五种分类算法对比。结果表明,对具有非线性特征的数据,PLS-S-DA相比于其他算法有更高的准确率,并对寒药和热药有更强的识别能力。

基于核主成分分析-SoftMax的高压断路器机械故障诊断技术研究

高压断路器是保证电力系统安全、可靠运行的重要设备,对于高压断路器机械故障定位和诊断成为近年来重要的研究课题。本文针对高压断路器典型工况的振动信号,提出了一种基于核主成分分析(KPCA)的SoftMax故障诊断模型。首先,通过小波包分解计算振动信息的时频能量比,定义高压断路器六种典型机械工况下的特征描述。然后,利用KPCA对原始特征空间进行压缩,重构低维、高识别度的特征空间,采用SoftMax分类算法对高压断路器典型工况进行诊断定位。最后,对比原始特征空间下、主成分分析特征空间下和KPCA特征空间下的SoftMax分类结果以及KPCA特征下多种典型分类诊断算法,诊断结果表明结合KPCA特征空间重构的SoftMax诊断模型的优越性,为高压断路器机械故障诊断与定位提供新思路。