基于Mini-batch神经网络的船舶柴油机风险等级预测

文章针对现有的船舶柴油机健康管理智能化程度不高、管理技术落后等问题,引入神经网络风险预测方法。提出Mini-batch梯度下降方法,通过在网络训练不同阶段使用不同权重的训练样本,提升原有全量梯度下降算法预测模型不准确和较难更新等问题。并从船舶柴油机在一次机务风险所承担的风险着手,建立设备健康风险状态的综合评价指标体系,通过Minibatch梯度下降优化了风险等级分类器。结果表明,该方法能够对柴油机风险等级进行有效预测。

复杂背景下基于YCbCr颜色空间和Mini-Batch聚类的肤色检测

针对复杂背景下的人体彩色图像,提出了一种基于YCbCr颜色空间和Mini-Batch聚类的肤色检测算法.算法首先将目标图像转换到YCbCr颜色空间,并在Cb和Cr分量上进行统计建模,得出肤色阈值的高斯分布模型;然后采用Mini-Batch聚类算法在Cb和Cr分量上对肤色进行聚类分割,并对分割出的肤色区域进行面积过滤和区域归并,最终获得完整的肤色区域.仿真结果表明,相比传统算法,该算法对光照变化具有很好的鲁棒性,在背景复杂的人体图像中,能够得到较为完整、准确的肤色区域;同时该算法对大尺寸的图像具有较高处理效率.

高清彩色图像分割的Mini-batch FCM算法研究

模糊C-均值(Fuzzy C-Means,FCM)聚类算法是一种基于划分的无监督聚类算法,也是较为常见的图像分割算法之一,该算法通过寻找0~1之间的模糊隶属度等级来进行图像分割,并通过在特征空间中寻找聚类中心来达到最小化目标函数的目的。它的局限性主要有实时性较差、初始聚类中心的设置对最终结果影响较大、未考虑空间因素导致抗噪性弱。本文将mini-batch方法应用到FCM算法中,加快了FCM算法的收敛速度,提高了算法的效率及时效性,一定程度上解决了当数据特征复杂、集合较大时,FCM算法的实时性不是很理想的问题,继而节省算法运行的时间。

基于用户特征的谱聚类算法研究

复杂网络是由一系列具有一定关联性和独立性的社区结构所构成。在社区发现的相关算法中,针对传统谱聚类存在无法计算社交网络中的高维数据,同时聚类过程中对于大规模数据计算耗时时间过长的问题,提出基于用户特征的谱聚类算法。引入了余弦相似度将高维数据进行特征降维计算,并更新传统谱聚类中的相似度矩阵,提高用户之间划分社区的准确性,同时,使用Mini-Batch K-means算法代替传统算法聚类过程中的K-means算法,既保证社区划分的质量,又减少算法聚类过程所花费的时间,提高算法的运行效率。最终在Spark平台下通过在不同规模的微博数据集进行对比实验,并采用Davies-Bouldin指数和时间指数验证。实验结果表明,改进后的算法Davies-Bouldin指数较好,时间指数相对减少,可以有效解决谱聚类处理大规模数据存在的效率问题。

轧机轧制力的改进训练策略深度神经网络预测

为了提高双机架炉卷轧机的轧制力预测精度,提出了具有快速而高效训练策略的深度神经网络预测方法。介绍了双机架炉卷轧机的工作原理,分析了轧制力影响参数。在深度神经网络基础上,使用随机小批量的样本选取法,提高深度神经网络训练速度;提出自适应矩估计梯度优化算法,用于解决传统训练方法陷入局部极值的问题,从而给出了改进训练策略的深度神经网络轧制力预测方法。经轧制实验验证,改进深度神经网络的训练时间为226.15s,而传统网络的训练时间为862.93s;改进网络的预测误差绝大部分控制在3%以内,而传统网络的预测误差绝大部分控制在5%以内。以上数据表明,改进深度神经网络的训练速度和预测精度均远优于传统深度神经网络。

基于高速公路收费数据的用户交通出行多维度特征分析

为提升高速公路信息化管理水平,调节高速公路需求分布不均衡问题,构建了包含时间、空间、用户个人属性3个维度的特征指标体系,在K-means聚类算法的基础上,设计并使用Mini-Batch-Kmeans聚类算法对出行用户进行了分类,同时从时间、空间、个人属性3个不同维度深入分析了各类出行特征指标。研究结果表明:1)高速公路出行者多为单次出行或周末出行;2)经PCA降维和Mini-Batch-Kmeans聚类后,出行用户可分为6类;3)时间上,用户出行早晚高峰为7:00—9:00和16:00—18:00;空间上,用户出行站点多在经济水平较高城市,长途用户多在沿海或有货物中转站的城市;个人属性上,通勤用户与长途用户多使用ETC支付且花费金额高。

基于TFIDF+LDA和Mini Batch K⁃means算法的在线课程推荐方法研究

在线教育资源急剧增长让学习者难以抉择,研究在线课程分类推荐,能帮助学习者快速获取所需资源。首先将潜在狄利克雷分配算法融入词频-逆向文件频率算法对数据进行预处理,生成词向量矩阵;之后采用Mini Batch K-means算法训练聚类模型,并采用T分布随机邻域嵌入降维算法对训练结果进行可视化分析。实验采用从Pluralsight在线课程API获取8016条数据进行实验,实验结果表明融入潜在狄利克雷分配算法的词频-逆向文件频率算法效果更好。

用于图像分类的模糊策略学习率ResNet

ResNet深度神经网络用于图像分类时,全连接层训练算法收敛性差降低了分类效果。针对此不足,提出一种模糊策略梯度算法训练ResNet。推导出ResNet全连接层权重的迭代公式,用历史梯度信息修正当前一阶小批量梯度,用模糊策略学习率更新权重,通过上下边界函数处理学习率的过大或过小而引发的迭代振荡,改善训练算法收敛性。在CINIC-10和CIFAR-100数据集上的实验结果表明,所提算法训练的ResNet分类效果优于相比较算法。特别是在综合性分类指标Kappa系数上,所提算法训练的ResNet较最新的AdaBound算法平均提高了9.29%,改进效果显著。

人工参与的迭代式数据清洗方法研究

数据采集技术的进步导致了数据集规模的飞速上涨,由于数据的大规模和高复杂性引起了严重的数据质量问题,数据清洗是数据活动中必要且重要的环节。为了在保证清洗准确率的情况下有效地降低人工标注成本,提出了一种人工参与的迭代式的数据清洗方法(IDCHI)。该方法在检测模块中提出了数据选择优化方法,使分类器在初始阶段就拥有较高的准确度;并进一步提出了待人工标注数据选择方法,有效地降低人工标注的数据量。实验结果表明该方法可有效且高效地清洗错误数据。

一种渐进式增长条件生成对抗网络模型

渐进式增长生成对抗网络(PGGAN)是一种能够生成高分辨图像的网络模型,但是当样本间的类别不平衡或者样本类别过于相似或不相似时,容易出现模式崩溃现象而导致生成效果不佳。提出一种渐进式增长条件生成对抗网络(PGCGAN)模型,将条件生成对抗网络的思想引入PGGAN,在PGGAN的基础上加入类别信息作为条件,在网络结构和小批量标准差两个方面对PGGAN进行了改进,缓解图像生成过程中的模式崩溃现象。在对3个数据集的实验中,相比于PGGAN,PGCGAN在起始分数(IS)和Fréchet距离(FID)两个评价图像生成的指标方面都有较大程度的提升,生成的图像具有更高的多样性和真实性;且PGCGAN可以同时训练多个无关联的数据集而不崩溃,在类别不平衡或数据过于相似和不相似的数据集中均能产生高质量的图像。

基于在线梯度下降的Mini Batch K-Prototypes算法

K-Prototypes算法每次迭代都需要花费大量时间来计算所有样本与每个簇中心的相异度以将其划分到各个聚类簇中,这导致K-Prototypes算法在处理大型数据集时运行时间急剧增加。根据在线梯度下降算法对K-Prototypes算法的迭代过程进行优化,减少算法每次迭代所需的计算量从而降低算法的时间复杂度,提升算法运行效率。实验结果表明,提出的基于在线梯度下降的K-Prototypes聚类算法,可以在不影响算法收敛性和有效性的前提下降低算法的时间复杂度,提升算法运行效率。

文本挖掘在新能源汽车领域中的应用

在新能源汽车领域中使用文本挖掘,可以回顾新能源汽车的发展历程、预测未来发展趋势及研究热点。本文从中国国家知识基础设施数据库(CNKI)和科学网(WOS)数据库中分别获取了16293篇(2011~2020)和10328篇(2012~2020)论文,并使用文本挖掘算法对这些论文进行研究,包括词嵌入、T-SNE降维、小批量K-Means聚类等,得出国内外新能源汽车领域的研究热点、作者分布及其相互关系。最后,通过可视化分析,对新能源汽车领域未来的研究方向进行了展望。

基于小批量梯度下降法的高斯核参数优化

核函数是核方法的重要组成部分,设计得好坏直接影响模型的分类效果,高斯核函数以其优良的特性被广泛应用,但高斯核参数的优化十分困难.针对此问题,使用核目标度量准则制定目标函数,将问题转化为求极小值的最优化问题,利用小批量梯度下降法求解目标函数.在十六组机器学习领域常用的数据集上进行测试,实验结果表明,该方法均具有最短的训练时间和较高的分类准确率.

深度迁移学习在小批量图像分类中的应用

利用深度迁移学习算法,将深度模型迁移至小批量数据中进行使用,解决过拟合和对数据标签依赖性强的问题。首先,将已经训练好的模型应用在相似图像分类任务中,提高模型效率;其次利用微调策略,对深度学习网络全连接层进行调整,丢弃部分神经元以降低过拟合的发生,提高模型准确性;最后使用DogsVSCats数据集进行测试。实验结果表明,深度迁移学习算法在小批量样本数据中具有更高的准确性。

基于CSD-ELM的不平衡数据分类算法

基于代价敏感学习的极限学习机(ELM)算法在处理不平衡数据分类问题时,未考虑不同类别样本的分布特点以及同一类别中各样本的重要性对分类结果的影响。为此,提出基于样本数量比例的错分惩罚因子设置方法,并基于Mini-batch k-means聚类与距离测度设计一种类内样本权值确定方案。在此基础上,构建区分正、负类别的隐含层输出矩阵,根据训练样本数与ELM隐含层节点数间的关系,分2种情况计算ELM隐含层与输出层间的连接权值,以降低算法的时间复杂度。实验结果表明,与ELM、WELM等算法相比,该算法的G-mean、F1分类性能指标值均较高。

基于Fibonacci采样的数据预处理方法研究

提高神经网络(NN)的收敛速率和预测精度一直是人工智能领域的一个挑战性问题,尽管许多研究人员已在研究中使用小批量数据训练神经网络获得了较好的效果,但是这些方法并不够灵活.针对这个问题,该文提出了一种新的数据预处理算法即Fibonacci采样算法.根据Fibonacci数列规则绘制一个新的训练数据序列,这不仅可以恢复小批量数据的划分,而且还可以提供更灵活的批量规模的选择.实验结果表明:在梯度下降之前,Fibonacci数据划分序列能得到较好的实验结果.在应用于相同的单个CNN(5层卷积神经网络)和AlexNet中,Fibonacci采样算法比传统的小批量梯度下降算法能获得更高的准确度和更低的损失值,并且在几种通用网络(LeNet、AlexNet、VGG-16、GoogLeNet)上的性能也取得显著提升.

满足本地差分隐私的分类变换扰动机制

本地差分隐私作为一种隐私保护技术,被广泛用于连续数值型数据的均值估计,使用的扰动机制将直接影响均值的准确度.为进一步提高均值估计的准确性,提出了一种满足差分隐私的分类变换扰动机制.该机制对连续数值型数据划分变换范围并进行分段,根据分段将其变换为1维二元分类数据.转换后使用随机响应机制进行扰动,再根据扰动后的数据标识的数值段从中随机均匀抽取数值作为扰动值.在真实数据和合成数据中的均值估计实验结果表明该机制极大地提高了准确性.除此之外,将分类变换扰动机制用于构建满足本地差分隐私的小批量梯度下降算法,并完成线性回归学习任务,实验结果证明该方法同样优于其他已有机制,可得到更小的均方误差.

面向大规模服务性能预测的在线学习方法

为提高服务运行质量,需要主动预防服务失效和服务性能波动,而不是在服务发生错误时触发处理程序。高效地预测与分析大规模服务的性能是有效可行的主动预防工具。然而传统的服务性能预测模型多采用完全批量训练模式,难以满足大规模服务计算的实时性要求。在综合权衡完全批量学习法和随机梯度下降法的基础上,建立了基于在线学习的大规模服务性能预测模型,提出了一种基于小批量在线学习的服务性能预测方法,通过合理地设置预测模型的批量参数,一次迭代仅需训练批量规模较小的样本数据,从而改善大规模服务性能预测的时间效率;详细分析了在线服务预测模型的收敛性。实验表明,提出的在线学习算法有效地解决了大规模服务预测算法的时效性问题。

基于去噪自编码器网络特征降维与改进小批优化K均值算法的海量用户用电行为聚类及分析

海量用户用电特性的挖掘与分析对实现电网与用户间的双向互动具有十分重要的意义。提出一种适用于海量用户用电行为聚类及分析的算法,以降低算法时间复杂度,提升海量用户负荷数据分析效率。提取用户用电行为特征,构建多层去噪自编码网络,实现多维特征的降维;利用小批优化K均值算法进行聚类分析,并对算法进行初始聚类质心优化与超参数优化的改进以提升算法收敛速度与效果,其中超参数优化利用基于高斯过程的贝叶斯优化算法进行;利用类间分离度和类内内聚度的相关指标对聚类效果进行评价;通过互信息筛选有效聚类特征,实现用户画像。算例结果表明,所提方法在特征优化、聚类效果与收敛速度上均有较好的表现。

批量减数更新方差缩减梯度下降算法BSUG

机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达到线性收敛而被人们广泛研究。它的提出导致陆续出现如SAGA(Stochastic Average Gradient Average)和SCSG(Stochastically Controlled Stochastic Gradient)等新型方差缩减算法,它们有着过量消耗内存、迭代缓慢等问题。为了实现小成本存储以及快速迭代的目的,设计了一种以SVRG为基础的新型变异方差缩减算法BSUG(Batch Subtraction Update Gradient)。改进在于:使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新。每轮迭代中,随机抽取一批小样本进行平均梯度计算,同时在内部迭代时通过对过去模型梯度的舍去来达到更新平均梯度的目的。通过合适地降低批大小B,可以减少内存存储以及迭代次数。理论分析算法的收敛性,并基于Python进行算法实现,通过与Mini-Batch SGD、AdaGrad、RMSProp、SVRG和SCSG等算法进行比较证明了BSUG算法的有效性,并且通过对超参数进行探究证明了算法的稳定性。