大数据与大数据机器学习

大数据时代已经到来,大数据是指具有海量(Volume)、多样(Variety)、时效(Velocity)、不精确(Veracity)和价值(Value)这5种特征的数据,大数据研究是近几年信息处理领域最热门的研究方向,已经引起了工业界、学术界乃至政府部门的高度关注.大数据之所以备受关注,是因为大数据里面蕴藏着巨大的价值.如何把蕴藏在大数据中的价值挖掘出来,为企业或政府部门提供决策支持具有重要的意义.大数据给传统的机器学习带来了许多挑战,这些挑战可以从大数据的5个特征或从5个不同的角度进行分析.本文首先介绍大数据的概念,并详细剖析大数据5种特征的内涵;然后在此基础上,重点分析大数据给机器学习带来的挑战及可能的解决方法.本文对从事大数据研究的人员,特别是从事大数据机器学习研究的人员具有较高的参考价值.

随机权分布对极限学习机性能影响的实验研究

极限学习机是一种训练单隐含层前馈神经网络的算法,它随机初始化输入层的权值和隐含层结点的偏置,用分析的方法确定输出层的权值。极限学习机具有学习速度快、泛化能力强的特点。很多研究都用服从[-1,1]区间均匀分布的随机数初始化输入层权值和隐含层结点的偏置,但没有对这种随机初始化合理性的研究。用实验的方法对这一问题进行了研究,分别研究了随机权服从均匀分布、高斯分布和指数分布对极限学习机性能的影响。研究发现随机权的分布对极限学习机的性能的确有影响,对于不同的问题或不同的数据集,服从[-1,1]区间均匀分布的随机权不一定是最优的选择。研究结论对从事极限学习机研究的人员具有一定的借鉴作用。

集成Dropout极限学习机数据分类方法

极限学习机(Extreme Learning Machine,ELM)是一种速度快,泛化能力强的训练单隐含层前馈神经网络(Single-hidden Layer Feed-forward Neural-network,SLFN)的算法.但是在应用ELM解决实际问题时,需要先确定合适的SLFN结构.然而,对于给定的问题,确定合适的SLFN结构是非常困难的.针对这一问题,本文提出了一种集成学习方法.用该方法解决问题时,不需要事先确定SLFN的结构.提出的方法包括3步:(1)初始化一个比较大的SLFN;(2)用ELM重复训练若干个Dropout掉若干个隐含层结点的SLFNs;(3)用多数投票法集成训练好的SLFNs,并对测试样例进行分类.在10个数据集上进行了实验,比较了本文提出的方法和传统的极限学习机方法.实验结果表明,本文提出的方法在分类性能上优于传统的极限学习机算法.

随机状态下基于期望经验回放的Q学习算法

强化学习的经验回放方法在减少状态序列间相关性的同时提高了数据的利用效率,但目前只能用于确定性的状态环境.为在随机状态环境下充分利用经验回放,且能够保持原有的状态分布,提出一种基于树的经验存储结构来存储探索过程中的状态转移概率,并根据该存储方式,提出基于期望经验回放的Q学习算法.该方法在保证算法复杂度较低的情况下,可实现对环境状态转移的无偏估计,减少Q学习算法的过估计问题.在经典的机器人随机行走问题中进行实验,结果证明,相比于基于均匀回放方法和优先回放的经验回放方法,基于期望经验回放Q学习算法的收敛速度约提高了50%.

动态调整语义的词性加权多模态情感分析模型

为更好地利用单词词性包含的语义信息和伴随单词出现时的非自然语言上下文信息,提出动态调整语义的词性加权多模态情感分析(part of speech weighted multi-modal sentiment analysis model with dynamic semantics adjustment,PW-DS)模型.该模型以自然语言为主体,分别使用基于Transformer的双向编码器表示(bidirectional encoder representation from Transformers,BERT)模型、广义自回归预训练(generalized autoregressive pretraining for language understanding,XLNet)模型和一种鲁棒优化的BERT预训练(robustly optimized BERT pretraining approach,RoBERTa)模型为文本模态做词嵌入编码;创建动态调整语义模块将自然语言和非自然语言信息有效结合;设计词性加权模块,提取单词词性并赋权以优化情感判别.与张量融合网络和低秩多模态融合等当前先进模型的对比实验结果表明,PW-DS模型在公共数据集CMU-MOSI和CMU-MOSEI上的平均绝对误差分别达到了0.607和0.510,二分类准确率分别为89.02%和86.93%,优于对比模型.通过消融实验分析了不同模块对模型效果的影响,验证了模型的有效性.

基于深度特征表示的Softmax聚类算法

图像和语音已成为日常生活和科研的常见数据类型,图像的聚类分析是数据挖掘和图像处理领域的重要任务之一.基于自编码器的深度聚类方法具有表征能力有限的缺点,并且特征的生成与聚类指派是分步进行的.为此,提出一种基于新颖卷积自编码器的深度Softmax聚类算法(ASCAE‐Softmax).首先设计一种非对称的卷积自编码器网络结构(ASCAE),通过优化卷积和添加全连接层,使整个网络呈非对称;接着使用Softmax聚类器把特征映射成聚类概率分布,构造辅助目标概率分布,将特征学习与聚类判别联合在一起.通过迭代最小化KL(Kullback‐Leibler)散度损失达到清晰的聚类划分.实验结果表明,该方法能够学习出使同类更加紧凑、异类更加稀疏的特征表示,且聚类结果优于经典的深度聚类算法.

水-土-作物系统的模糊随机优化配置研究

运用多目标模糊随机优化模型,对区域内水-土-作物系统的管理规划和优化配置进行了研究。模型以经济效益、社会效益、生态效益和劳动力的利用为主要目标,寻求作物种植的最优模式,实现对水土资源的最佳配置。为了很好地处理多目标规划中的权重分配问题,采用模糊定权的方法确定各个目标的权重。在建立优化模型时,同时考虑了模糊因素和随机因素对决策问题的影响,因而所得的模型更加客观、合理,能够使各种有限的资源得到充分有效的利用。应用实例表明,该模型理论严谨、操作简单、计算简便,将其应用到农业系统的水-土-作物的优化配置是可行的,能合理地分配各种资源,从而能提高作物产量和经济效益。

基于中心核对齐的多核单类支持向量机

多核学习(MKL)方法在分类及回归任务中均取得了优于单核学习方法的性能,但传统的MKL方法均用于处理两类或多类分类问题。为了使MKL方法适用于处理单类分类(OCC)问题,提出了基于中心核对齐(CKA)的单类支持向量机(OCSVM)。首先利用CKA计算每个核矩阵的权重,然后将所得权重用作线性组合系数,进而将不同类型的核函数加以线性组合以构造组合核函数,最后将组合核函数引入到传统OCSVM中代替单个核函数。该方法既能避免核函数的选取问题,又能提高泛化性能和抗噪声能力。在20个UCI基准数据集上与其他五种相关方法进行了实验比较,结果表明该方法在13个数据集上的几何均值(g-mean)均高于其他对比方法,而传统的单核OCSVM仅在2个数据集上的效果较好,局部多核单类支持向量机(LMKOCSVM)和基于核目标对齐的多核单类支持向量机(KTAMKOCSVM)在5个数据集上的分类效果较好。因此,通过实验比较充分验证了所提方法的有效性。

农作物种植结构的模糊随机优化模型与方法

指出了农业发展统筹规划中存在的最优化问题,运用多目标模糊随机优化模型对农作物种植结构的优化配置进行研究。模型同时考虑模糊性因素和随机性因素对优化问题的影响,并以经济效益、商品化程度、环境效益和成本需求最小为主要目标,寻求农作物的最优种植模式。利用模糊定权的方法计算各个目标的权重,以便更加客观、合理地体现各个目标在优化过程中的重要程度。模型理论严谨、计算简易、操作方便,可实现农村人力资源、农业资金以及水-土-作物系统的最佳配置,使各种有限的资源得到充分、合理利用,为区域农业的可持续发展提供优化模型与数学方法,促使农业发展获得更高的综合效益。