大数据时代公共图书馆消除数据不平等的路径选择

大数据时代的信息不平等主要是数据不平等,不同国家(地区)、组织、社群及个人在对数据的收集、分析和使用中形成多样化的信息差距,其实质是信息控制权的不平等。公共图书馆可以通过维护并发展公共图书馆制度、倡导社会责任与社会包容、提供公共智慧服务等方式消除数据不平等。

数据不平等:大数据时代的信息不平等引论

大数据开启了新的时代转型。数据不平等是大数据时代的信息不平等,是不同的国家(或地区)、组织、社群及个人在对数据的收集、分析和使用的实践活动中形成的多样化的信息差距,其实质是信息控制权的不平等。通过变革人们的行为与观念,重新定义个人信息权利,重建个人信息保护规则体系,推动公共权力、公民社会与公民权利的再平衡以及进行技术创新和人力资源创新消除数据不平等。

基于PSO-DBN结构的不平衡大数据分类研究

针对传统算法在分类处理不平衡大数据集时存在的精度差和效率低等问题,提出了一种基于PSO-DBN的分类算法。先采用融合渐进式的过采样模式改善大数据集的不均衡状况,并优化样本的类别与数量组合;设计了一种堆栈式的RBM结构,以当前RBM的隐含层输出项作为下一个RBM的可见层输入项,提升DBN整体数据训练能力;基于PSO仿生算法改善初始状态下DBN权值的分布状态,并优选出最佳的学习因子、惯性权重等核心参数,实现算法在全局范围内的寻优,同时提高网络模型整体的数据训练能力和收敛速度。实验结果显示,提出算法在不同的不平衡比例下分类精度均具有较为明显的优势,同时分类效率加速比值被控制在1.05以下。

改进RF算法在高维不平衡大数据分类处理中的应用

受大数据类别不平衡性影响,传统分类方法的分类性能会大幅度下降。针对上述问题,进行改进RF算法在高维不平衡大数据分类处理中的应用研究。首先针对不平衡大数据采用过采样技术,以增加少数类样本数量,实现大数据平衡化;然后利用主成分分析法提取大数据主成分特征,同时实现数据降维;最后利用粒子群算法改进RF算法构建改进RF分类模型,实现高维不平衡大数据分类处理。结果表明,与3种传统方法相比,基于改进RF的分类方法分类准确性更高,由此证明该方法的分类性能更强,更有利于处理高维不平衡大数据。

基于优化模糊C-means算法的不平衡大数据分类研究

针对不平衡大数据的分类问题,提出一种优化模糊C-means算法的不平衡大数据分类算法。先计算C-means模糊交叉算子,定义优化函数,并求解大数据不平衡增益。利用Spark分类平台,确定大数据样本压缩模糊近邻值的取值范围,再通过放大近邻值的处理方式,定义不平衡阈向量,从而完善整个分类流程,完成基于优化模糊C-means算法的不平衡大数据分类方法的设计。实验结果表明,上述分类方法的应用,可将正例信息、负例信息的取样长度区间完全分离开来,能有效解决因不平衡大数据分类不精准造成的信息样本混淆的问题,符合实际应用需求。

带重现概念漂移的不平衡数据流分类研究

数据流广泛存在于现实应用中,重现概念漂移和数据分布不平衡性是其重要特性,它们会导致传统数据流分类器负偏离、性能下降及学习时间倍增。针对重现概念漂移和数据分布不平衡的特点,本文提出重现概念漂移不平衡数据流的随机平衡采样集成分类算法(RBSRISEA),首先用随机平衡采样算法重新平衡数据分布,之后对预处理的数据流再进行重现概念漂移探测。实验表明,RBSRISEA对重现概念漂移有较强的敏感性和泛化能力。RBSRISEA可以处理带重现概念漂移的不平衡数据流分类问题。

概念漂移不平衡数据流随机平衡采样分类算法

带概念漂移不平衡流数据分类研究是机器学习和现实应用领域的一个难点和热点.针对带概念漂移不平衡流数据的动态性和不平衡性,本文中提出了随机平衡采样算法用于再平衡不平衡数据流.之后,在随机平衡采样算法的基础上提出了一种新的处理带概念漂移的不平衡流数据集成分类算法用于抵抗流数据的概念漂移和不平衡性.理论和实验表明本文中提出的集成分类算法对处理带概念漂移的不平衡流数据较强的多样性和泛化能力.

一种处理不平衡大数据的并行随机森林算法

基于MapReduce机制的并行随机森林算法MR_RF在处理不平衡大数据时,由于数据本身正类密度低且算法又以全局最优标准选择分割点,而导致正类有误分为负类的趋势,降低了分类效率.本文提出了一种改进的并行随机森林算法(SBWMR_RF),该算法利用分层自助抽样方法增大对少数类的抽样数量,同时考虑正负类不同的误分代价,动态计算每个分区的代价敏感矩阵,将其引入到构建基分类器的关键步骤,弱化数据偏置的影响.实验证明SBWMR_RF算法提高了对不平衡大数据的分类准确率,没有出现过拟合现象,在极不平衡环境下优势明显.

云计算环境下不平衡大数据动态分类仿真

针对传统大数据分类方法未对数据的主要特征进行优化分类,导致准确率低、效率差等问题,提出基于随机森林算法的不平衡大数据动态分类。设计分类系统基本框架以及分类处理器的硬件结构,针对大数据时域特征中的瞬时能量,计算帧数及过零率。依据得到的计算结果使用线性预测和梅尔频率倒谱系数两种方式,结合帧数大小构建不平衡大数据的主要特征函数。利用随机森林算法的表达函数,建立算法的基本框架,分别对其中的子模型优化分类。再获取决策树模型,对不平衡数据特征分裂处理,实现数据动态分类,并使用少数类和多数类评价指标,对结果进行理论检验。通过仿真表明,上述方法具有更高的数据分类准确率,更好的分类效果,可为今后的大数据动态分类工作提供良好的参考。

基于随机森林模型的不平衡大数据分类算法

针对目前不平衡大数据分类算法分类效果较差的问题,提出基于随机森林模型的不平衡大数据分类算法。首先采用SVM(Support Vector Machine)支持向量机算法对不平衡大数据进行信息过滤,然后利用反k近邻法检测并消除离群点,通过增量主成分分析法去掉不平衡大数据中协方差矩阵存在的奇异性,并依据熵值法对其展开权重解析,进而提取不平衡大数据特征信息。将CART(Classification and Regression Trees)决策树当作不平衡大数据的基分类器,进而构建随机森林决策树分类器,最后将提取的不平衡大数据特征信息输入分类器中,实现不平衡大数据分类。实验结果表明,该算法对不平衡大数据的采样效果较好,并且分类精准度、稳定性和性能都较高。

基于鲸鱼优化和深度学习的不平衡大数据分类算法

针对当前不平衡数据分类算法中存在的分类精度低和容易陷入局部最优状态的问题,提出一种基于鲸鱼优化和深度学习的不平衡大数据分类算法.该算法由特征选择、预处理和分类3个阶段组成:①为了提高分类精度,使用鲸鱼优化算法(whale optimization algorithm,WOA)在不平衡数据中寻找最优特征子集,消除不相关和多余的特征;②采用局部敏感哈希的合成少数类过采样技术(locality sensitive hashing synthetic minority oversampling technique,LSH-SMOT)对数据集进行预处理,解决类不平衡问题;③使用基于WOA算法优化的双向递归神经网络(bidirectional recurrent neural networks,BRNN)对预处理后的数据集进行分类.实验结果表明:本文算法能够有效解决不平衡数据集的分类问题,相比于其他算法,本文算法在分类精度和局部最优避免率方面具有明显优势.

基于深度卷积生成对抗网络的不平衡大数据监测与诊断

针对不平衡数据集的在线监测与诊断问题,提出一种基于深度卷积生成对抗网络的算法模型。通过生成器与判别器之间的不断对抗,实现对数据训练网络参数的调整和优化,并得到近似分布数据,用以矫正数据集的不平衡性。利用深度卷积网络的转置卷积层替代池化层,在检测空间内实现上下同步采样,同时避免反复选择数据训练层参数而带来高成本计算。生成器的损失函数降低了生成数据与真实数据之间的差距。仿真实验结果显示,提出的算法具有较强的不平衡数据训练能力、分类能力和故障诊断性能。

电网总调调度信息披露不平衡性数据处理模型

针对电网总调调度数据信息量剧增,导致信息披露系统的数据信息处理性能较差的问题,构建了一种电网总调调度信息披露不平衡性数据处理模型。通过数据清洗、数据标准化以及数据平衡化对不平衡性数据进行预处理,利用基于人工蜂群算法提取数据特征,构建决策树分类器,并组合成随机森林模型,实现不平衡性数据处理。以红水河水库日来水数据为例,对数据进行不平衡数据处理,结果表明,与对比方法相比,应用该文构建的模型,水库日来水数据的不平衡数据处理结果更好,得到的水库日来水数据趋势更为准确,并能够有效预测未来的日来水情况。

面向不平衡工业大数据集的SVM-tree分类算法研究

针对不平衡率较高的工业大数据分类问题,提出一种基于SVM-tree的不平衡大数据分类算法研究。利用Tomek-links对清除系统噪声的影响,基于K-means算法对不平衡数据集做分簇处理,降低数据分类的复杂度,构建SVM-tree模型,将不平衡数据样本映射到高维空间,根据数据集的规模和数据不平衡程度,调整SVM-tree的树形结构,在保证数据分类准确率的同时,也降低了算法模型的代价成本。实验分析结果表明,SVM-tree算法模型具有良好数据聚类性能,算法运行时间较短,且不平衡大数据分类准确率高。

国内图书情报界信息不平等研究观点评述

国内图书情报界对信息不平等的研究既保持了国际化视野,如对数字鸿沟和数字不平等的研究,又形成了本土化理论,如个人信息世界和数据不平等理论。以上述4种视角为主线评述国内图书情报界关于信息不平等的研究进展。总结国内信息不平等研究的特点,提出进一步研究的建议,并尝试提出元信息不平等的理论。

社交网站中用户评论行为预测

社交网站为用户相互交流、发表意见和观点提供了非常便利的平台。对社交网站的用户行为进行建模和预测对于安全、商业等多个领域具有十分重要的社会意义和应用价值,近年来逐渐得到研究者的重视。面向社交网站中用户评论行为,预测用户是否会参与讨论。采用基于特征的机器学习方法,其中特征包括讨论帖子及其内容、用户行为特征和社交关系,并引入参数控制数据集的不平衡性。实验采用来自豆瓣小组的真实数据。实验结果表明,新提出的用户行为和社交关系特征以及对不平衡数据集的处理方法能够有效提高用户评论行为的预测效果,进一步说明用户的历史行为和所在的社交关系网络对当前的评论行为有较大影响。

基于GA启发式抽样的交通事件自动检测

为了提高面向不平衡数据集的交通事件检测综合性能,提出了两种基于GA启发式抽样方法的交通事件检测算法。基于GA的实例选择抽样方法(GA-IS),解决非启发式抽样方法人为设定抽样率导致的检测效果不稳定问题。基于GA的支持向量选择抽样方法(GA-SS),改善学习集数据量较大时的检测效率。实验采用新加坡AYE仿真数据库,以支持向量机作为分类器进行事件检测。结果表明,基于遗传算法实例选择抽样的检测模型检测率达到94%,平均检测时间为1.413 3min,性能指标PI为0.157;基于遗传算法支持向量选择抽样的检测模型决策时间为4.55s,综合性能最优,其PI为0.151;基于少数类过抽样算法(SMOTE)的检测模型决策时间为35.21s,PI为0.329,与非启发式抽样方法相比,所提方法能有效改善面向不平衡数据集的事件检测综合性能。

基于一维卷积神经网络的蛋白质-ATP绑定位点预测

为了提高预测腺嘌呤核苷三磷酸(ATP)绑定位点的准确率,提出了一种基于一维卷积神经网络(1D-CNN)的方法。首先,以蛋白质的序列信息为基础,融合位置特异性得分矩阵信息、二级结构信息和水溶性信息,使用随机下采样的方法消除数据不平衡的影响,再对缺失的特征进行再编码补齐,得到训练特征。训练一个1D-CNN来预测蛋白质-ATP绑定位点,优化网络结构,并且进行实验来对比所提方法和其他机器学习方法的优劣。实验结果展示了所提方法的有效性,并且该方法与传统支持向量机(SVM)相比在AUC指标上有部分的提升。

基于不平衡大数据的CS-AdaBoost-DT模型在家电产品质检中的应用

质量检测作为质量管理的基础工作,是防止不良品流入市场的关键。针对工业大数据中不合格品(正类)密度极低,但现有算法多以全局最优为目标,难以检测出不合格品的问题,提出CS-AdaBoost-DT智能质检模型。使用AdaBoost自适应集成算法级联多棵决策树,以解决单个分类器易于陷入局部最优的问题;同时,引入代价敏感因子对分类结果、产品种类不同的样本权重进行差异化赋值,进而降低不平衡数据对模型分类结果偏移的影响,以期减少企业质检的损失。以Bosch公司家电生产线的大数据为例,使用决策树、SVM、AdaBoost-DT、CS-AdaBoost-DT模型进行实证分析,并进行十折交叉验证以分析模型性能。结果显示:CS-AdaBoost-DT漏检率均值为9.88%,AUC均值为95.21%,G-mean均值为83.9%,都优于其他三种模型,且各指标的标准差更小,表明CS-AdaBoost-DT模型不仅提高了产品质量检测的准确性,且具有更高的稳定性。

基于RF-BiLSTM的网络异常流量检测方法

随着网络技术的快速发展和网络流量的急剧增长,网络攻击事件屡见不鲜,对网络、系统和业务安全构成严重威胁。安全管理员在尝试识别和应对潜在的威胁、攻击及系统中存在的漏洞时面临诸多挑战,因此,有效检测和处置网络异常流量已成为网络安全领域亟待解决的重要问题。提出了一种基于随机森林-双向长短期记忆网络(Random Forest-Bidirectional Long Short-Term Memory,RF-BiLSTM)的网络异常流量检测方法。首先构建基于RF的初步分类器,对正常和异常网络流量进行初步筛选;其次引入Bi LSTM进一步处理RF分类器筛选出的疑似异常流量,旨在提高网络环境中异常流量的识别效率和准确性。为了验证方法的有效性,在CIC-IDS2017数据集上对所提方法进行了验证。实验结果表明,所提方法取得了较高的检测率和较低的误报率,解决了数据不平衡造成的模型评估指标失真的问题。与现有对比方法相比,所提方法具有更高的检测精度和显著的优越性。