基于TFIDF+LDA和Mini Batch K⁃means算法的在线课程推荐方法研究

在线教育资源急剧增长让学习者难以抉择,研究在线课程分类推荐,能帮助学习者快速获取所需资源。首先将潜在狄利克雷分配算法融入词频-逆向文件频率算法对数据进行预处理,生成词向量矩阵;之后采用Mini Batch K-means算法训练聚类模型,并采用T分布随机邻域嵌入降维算法对训练结果进行可视化分析。实验采用从Pluralsight在线课程API获取8016条数据进行实验,实验结果表明融入潜在狄利克雷分配算法的词频-逆向文件频率算法效果更好。

基于在线梯度下降的Mini Batch K-Prototypes算法

K-Prototypes算法每次迭代都需要花费大量时间来计算所有样本与每个簇中心的相异度以将其划分到各个聚类簇中,这导致K-Prototypes算法在处理大型数据集时运行时间急剧增加。根据在线梯度下降算法对K-Prototypes算法的迭代过程进行优化,减少算法每次迭代所需的计算量从而降低算法的时间复杂度,提升算法运行效率。实验结果表明,提出的基于在线梯度下降的K-Prototypes聚类算法,可以在不影响算法收敛性和有效性的前提下降低算法的时间复杂度,提升算法运行效率。

改进Mini Batch K-Means时间权重推荐算法

传统的协同过滤算法存在数据稀疏、可扩展性弱和用户兴趣度偏移等问题,算法运行效率和预测精度偏低。针对上述问题,提出一种改进的Mini Batch K-Means时间权重推荐算法。采用Pearson相关系数改进Mini Batch K-Means聚类,利用改进的聚类算法对稀疏评分矩阵进行聚类,计算用户兴趣评分并完成对稀疏矩阵的填充。考虑用户兴趣随时间变化的影响,引入牛顿冷却时间权重计算相似度,并基于已填充评分矩阵进行相似度加权计算,得到项目最终评分。实验结果表明,与传统协同过滤算法相比,该算法的平均绝对误差下降了31.08%,准确率、召回率、F1值均有较大提升,具有较高的评分预测精确度和准确度。

WSN中基于Mini Batch K-Means与SVM的入侵检测方案

无线传感器网络通常部署在复杂的户外环境,易遭受各种攻击。多数入侵检测系统均采用数据挖掘算法对网络数据包进行分析,但在处理大样本集时,其效率明显降低。针对这一缺点,提出一种基于Mini Batch K-Means和SVM的入侵检测方案。该方案首先分别对正常行为特征库和异常行为特征库进行Mini Batch K-Means聚类,取得类中心作为各类的代表样本并赋予权值,将其传入SVM分类器作为训练数据,得到分类超平面,通过该超平面对待测样本作出判断。解决了如K-Means、KNN、SVM等传统数据挖掘算法在大数据样本集数据分析中面临的低效问题。仿真结果表明,该方案能快速准确地判断样本类别,其检测率达到98.7%。与K-Means、KNN和SVM相比,不仅达到了同样高的检测率,而且明显提高了入侵检测的时间效率。

Mini Batch K-means算法在遥感影像分类中的应用

作为K-means算法的优化算法,Mini Batch K-means算法在遥感影像分类中的应用较少.分别利用Mini Batch K-means算法与K-means算法对10个不同幅度的EVI遥感影像数据进行分类.对比两种分类算法的精度和时间复杂度发现,相比于K-means算法,Mini Batch K-means虽然损失了小部分的精度,但却极大提高了分类效率,更适用于大数据量的遥感影像分类.

基于Mini-batch神经网络的船舶柴油机风险等级预测

文章针对现有的船舶柴油机健康管理智能化程度不高、管理技术落后等问题,引入神经网络风险预测方法。提出Mini-batch梯度下降方法,通过在网络训练不同阶段使用不同权重的训练样本,提升原有全量梯度下降算法预测模型不准确和较难更新等问题。并从船舶柴油机在一次机务风险所承担的风险着手,建立设备健康风险状态的综合评价指标体系,通过Minibatch梯度下降优化了风险等级分类器。结果表明,该方法能够对柴油机风险等级进行有效预测。

复杂背景下基于YCbCr颜色空间和Mini-Batch聚类的肤色检测

针对复杂背景下的人体彩色图像,提出了一种基于YCbCr颜色空间和Mini-Batch聚类的肤色检测算法.算法首先将目标图像转换到YCbCr颜色空间,并在Cb和Cr分量上进行统计建模,得出肤色阈值的高斯分布模型;然后采用Mini-Batch聚类算法在Cb和Cr分量上对肤色进行聚类分割,并对分割出的肤色区域进行面积过滤和区域归并,最终获得完整的肤色区域.仿真结果表明,相比传统算法,该算法对光照变化具有很好的鲁棒性,在背景复杂的人体图像中,能够得到较为完整、准确的肤色区域;同时该算法对大尺寸的图像具有较高处理效率.

高清彩色图像分割的Mini-batch FCM算法研究

模糊C-均值(Fuzzy C-Means,FCM)聚类算法是一种基于划分的无监督聚类算法,也是较为常见的图像分割算法之一,该算法通过寻找0~1之间的模糊隶属度等级来进行图像分割,并通过在特征空间中寻找聚类中心来达到最小化目标函数的目的。它的局限性主要有实时性较差、初始聚类中心的设置对最终结果影响较大、未考虑空间因素导致抗噪性弱。本文将mini-batch方法应用到FCM算法中,加快了FCM算法的收敛速度,提高了算法的效率及时效性,一定程度上解决了当数据特征复杂、集合较大时,FCM算法的实时性不是很理想的问题,继而节省算法运行的时间。

基于改进K-Means算法的电动汽车充电负荷特性分析

电动汽车充电行为具有较大的随机性,一定程度上影响电网的稳定运行和规划。为更准确地分析电动汽车充电负荷的特性,提出一种基于改进K-Means算法的聚类分析方法。针对K-Means算法在初始聚类中心选取上的随机性和不稳定性,首先利用Mini Batch K-Means算法的随机抽样能力优化初始聚类中心的选择,随后结合K-Means算法进行迭代优化,有效解决K-Means算法聚类结果不稳定的问题。以云南某城市充电桩负荷数据进行算例分析,结果表明,所提算法相比传统方法相比能更加准确地对多个不同负荷特性的用户进行分类,从而更有效地指导有序用电管理策略的制定。

Optimized air-ground data fusion method for mine slope modeling

Refined 3D modeling of mine slopes is pivotal for precise prediction of geological hazards.Aiming at the inadequacy of existing single modeling methods in comprehensively representing the overall and localized characteristics of mining slopes,this study introduces a new method that fuses model data from Unmanned aerial vehicles(UAV)tilt photogrammetry and 3D laser scanning through a data alignment algorithm based on control points.First,the mini batch K-Medoids algorithm is utilized to cluster the point cloud data from ground 3D laser scanning.Then,the elbow rule is applied to determine the optimal cluster number(K0),and the feature points are extracted.Next,the nearest neighbor point algorithm is employed to match the feature points obtained from UAV tilt photogrammetry,and the internal point coordinates are adjusted through the distanceweighted average to construct a 3D model.Finally,by integrating an engineering case study,the K0 value is determined to be 8,with a matching accuracy between the two model datasets ranging from 0.0669 to 1.0373 mm.Therefore,compared with the modeling method utilizing K-medoids clustering algorithm,the new modeling method significantly enhances the computational efficiency,the accuracy of selecting the optimal number of feature points in 3D laser scanning,and the precision of the 3D model derived from UAV tilt photogrammetry.This method provides a research foundation for constructing mine slope model.

基于小批量随机梯度下降法的SVM训练隐私保护方案

使用支持向量机(support vector machine,SVM)处理敏感数据时,隐私保护很重要,已有SVM隐私保护方案基于批量梯度下降法(batch gradient descent,BGD)进行训练,计算开销巨大.针对该问题,提出基于小批量随机梯度下降法(mini-batch stochastic gradient descent,Mini-batch SGD)的SVM隐私保护方案.首先,设计基于Mini-batch SGD的SVM训练算法;然后在此基础上,对模型权重进行乘法扰动,利用大整数分解问题困难假设确保模型的隐私性,使用同态密码体制对数据加密后再执行SVM训练,之后运用同态哈希函数进行验证;最终构建了SVM隐私保护方案.针对安全威胁,论证了数据隐私性、模型隐私性、模型正确性.对方案进行仿真实验和分析,结果表明,该方案在分类性能接近已有方案的情况下,其计算时间开销平均节约了92.4%.

轧机轧制力的改进训练策略深度神经网络预测

为了提高双机架炉卷轧机的轧制力预测精度,提出了具有快速而高效训练策略的深度神经网络预测方法。介绍了双机架炉卷轧机的工作原理,分析了轧制力影响参数。在深度神经网络基础上,使用随机小批量的样本选取法,提高深度神经网络训练速度;提出自适应矩估计梯度优化算法,用于解决传统训练方法陷入局部极值的问题,从而给出了改进训练策略的深度神经网络轧制力预测方法。经轧制实验验证,改进深度神经网络的训练时间为226.15s,而传统网络的训练时间为862.93s;改进网络的预测误差绝大部分控制在3%以内,而传统网络的预测误差绝大部分控制在5%以内。以上数据表明,改进深度神经网络的训练速度和预测精度均远优于传统深度神经网络。

用于图像分类的模糊策略学习率ResNet

ResNet深度神经网络用于图像分类时,全连接层训练算法收敛性差降低了分类效果。针对此不足,提出一种模糊策略梯度算法训练ResNet。推导出ResNet全连接层权重的迭代公式,用历史梯度信息修正当前一阶小批量梯度,用模糊策略学习率更新权重,通过上下边界函数处理学习率的过大或过小而引发的迭代振荡,改善训练算法收敛性。在CINIC-10和CIFAR-100数据集上的实验结果表明,所提算法训练的ResNet分类效果优于相比较算法。特别是在综合性分类指标Kappa系数上,所提算法训练的ResNet较最新的AdaBound算法平均提高了9.29%,改进效果显著。

人工参与的迭代式数据清洗方法研究

数据采集技术的进步导致了数据集规模的飞速上涨,由于数据的大规模和高复杂性引起了严重的数据质量问题,数据清洗是数据活动中必要且重要的环节。为了在保证清洗准确率的情况下有效地降低人工标注成本,提出了一种人工参与的迭代式的数据清洗方法(IDCHI)。该方法在检测模块中提出了数据选择优化方法,使分类器在初始阶段就拥有较高的准确度;并进一步提出了待人工标注数据选择方法,有效地降低人工标注的数据量。实验结果表明该方法可有效且高效地清洗错误数据。

一种渐进式增长条件生成对抗网络模型

渐进式增长生成对抗网络(PGGAN)是一种能够生成高分辨图像的网络模型,但是当样本间的类别不平衡或者样本类别过于相似或不相似时,容易出现模式崩溃现象而导致生成效果不佳。提出一种渐进式增长条件生成对抗网络(PGCGAN)模型,将条件生成对抗网络的思想引入PGGAN,在PGGAN的基础上加入类别信息作为条件,在网络结构和小批量标准差两个方面对PGGAN进行了改进,缓解图像生成过程中的模式崩溃现象。在对3个数据集的实验中,相比于PGGAN,PGCGAN在起始分数(IS)和Fréchet距离(FID)两个评价图像生成的指标方面都有较大程度的提升,生成的图像具有更高的多样性和真实性;且PGCGAN可以同时训练多个无关联的数据集而不崩溃,在类别不平衡或数据过于相似和不相似的数据集中均能产生高质量的图像。

文本挖掘在新能源汽车领域中的应用

在新能源汽车领域中使用文本挖掘,可以回顾新能源汽车的发展历程、预测未来发展趋势及研究热点。本文从中国国家知识基础设施数据库(CNKI)和科学网(WOS)数据库中分别获取了16293篇(2011~2020)和10328篇(2012~2020)论文,并使用文本挖掘算法对这些论文进行研究,包括词嵌入、T-SNE降维、小批量K-Means聚类等,得出国内外新能源汽车领域的研究热点、作者分布及其相互关系。最后,通过可视化分析,对新能源汽车领域未来的研究方向进行了展望。

基于高速公路收费数据的用户交通出行多维度特征分析

为提升高速公路信息化管理水平,调节高速公路需求分布不均衡问题,构建了包含时间、空间、用户个人属性3个维度的特征指标体系,在K-means聚类算法的基础上,设计并使用Mini-Batch-Kmeans聚类算法对出行用户进行了分类,同时从时间、空间、个人属性3个不同维度深入分析了各类出行特征指标。研究结果表明:1)高速公路出行者多为单次出行或周末出行;2)经PCA降维和Mini-Batch-Kmeans聚类后,出行用户可分为6类;3)时间上,用户出行早晚高峰为7:00—9:00和16:00—18:00;空间上,用户出行站点多在经济水平较高城市,长途用户多在沿海或有货物中转站的城市;个人属性上,通勤用户与长途用户多使用ETC支付且花费金额高。

基于小批量梯度下降法的高斯核参数优化

核函数是核方法的重要组成部分,设计得好坏直接影响模型的分类效果,高斯核函数以其优良的特性被广泛应用,但高斯核参数的优化十分困难.针对此问题,使用核目标度量准则制定目标函数,将问题转化为求极小值的最优化问题,利用小批量梯度下降法求解目标函数.在十六组机器学习领域常用的数据集上进行测试,实验结果表明,该方法均具有最短的训练时间和较高的分类准确率.

深度迁移学习在小批量图像分类中的应用

利用深度迁移学习算法,将深度模型迁移至小批量数据中进行使用,解决过拟合和对数据标签依赖性强的问题。首先,将已经训练好的模型应用在相似图像分类任务中,提高模型效率;其次利用微调策略,对深度学习网络全连接层进行调整,丢弃部分神经元以降低过拟合的发生,提高模型准确性;最后使用DogsVSCats数据集进行测试。实验结果表明,深度迁移学习算法在小批量样本数据中具有更高的准确性。

基于机器学习的K-Means聚类优化算法研究

K均值聚类(K-Means)算法是基于划分的聚类算法中的一个典型算法,是机器学习研究算法的基础。通过将相似的样本自动归到一个类别,合理地确定K值和K个初始类簇中心点,使聚类效果更好。经过适当的预处理,可以对数据做初步分析,甚至挖掘出隐含的价值信息。相比于SVM、GBDT等机器学习算法,具有操作简单、采用误差平方和准则函数、对大数据集处理上有较高的伸缩性和可压缩性的优点。但是,这种聚类算法仍然存在随机初始聚类中心导致算法不稳定、K值的选取不好把握、非凸性数据集非常难收敛等问题。为提升数据挖掘中聚类分析的效果,本文在分析数据挖掘、聚类分析、传统K-Means算法的基础上,提出一种改进的K-Means算法,经过实验证明,K-Means的改进算法可以有效地提高簇的质量,以及算法的效率和稳定性,使其提供更加精准有效的服务,并且减少了算法开销。