Risk Analysis Technique on Inconsistent Interview Big Data Based on Rough Set Approach

Rough set theory is relativly new to area of soft computing to handle the uncertain big data efficiently. It also provides a powerful way to calculate the importance degree of vague and uncertain big data to help in decision making. Risk assessment is very important for safe and reliable investment. Risk management involves assessing the risk sources and designing strategies and procedures to mitigate those risks to an acceptable level. In this paper, we emphasize on classification of different types of risk factors and find a simple and effective way to calculate the risk exposure.. The study uses rough set method to classify and judge the safety attributes related to investment policy. The method which based on intelligent knowledge accusation provides an innovative way for risk analysis. From this approach, we are able to calculate the significance of each factor and relative risk exposure based on the original data without assigning the weight subjectively.

基于MapReduce框架的电力大数据增量式属性约简方法可行性分析

对于大数据时代中电网数据量大、速度快、类型多的特点,传统属性约简方法已经无法满足大数据预处理需求,以此提出基于MapReduce框架的电力大数据属性约简方法。利用某光伏发电系统对属性约简的求和算法进行分析,以传统算法改进属性约简算法,从而有效解决大数据环境下计算过程中的效率问题。改进的大数据属性约简算法是以实际需求开展,对复杂任务进行有效处理,结合实际需求解决问题,最后对方法进行实验分析。通过实验结果表示,文中分析算法具有良好的处理能力与可行性,并且能够提高属性约简效率。

基于MapReduce的健康大数据并行挖掘算法研究

随着信息技术的发展,健康大数据呈指数级别剧增,但数据量过大使得较多有价值的数据被埋没,医疗服务的质量与效率难以提升。为解决上述问题,文中提出一种基于MapReduce的健康大数据并行挖掘算法。首先对健康大数据进行预处理,消除一些不利因素对数据的影响;再以预处理后的健康大数据为依据,获取初始簇中心,度量健康大数据与簇中心之间的距离,聚类处理健康大数据;最后,应用MapReduce制定健康大数据并行挖掘程序,执行制定程序即可完成健康大数据的并行挖掘。实验结果表明,所提算法的健康大数据挖掘效率最大值为94 GB/s,加速比最大值为4.5,相比于其他方法,该算法对健康大数据挖掘的性能更佳。

属性关联模型下大数据集群查询仿真

在数据查询过程中,易受冗余数据、服务器异常、虚拟信息等问题的干扰,导致查询时间长、查询稳定性差等现象产生。为了解决上述问题,提出基于属性关联模型的大数据集群查询算法。采用扩展t-SNE算法对大数据集群中的数据节点做降维处理,避免冗余数据对查询过程产生干扰。将降维后的数据输入到属性关联模型中,实现大数据集群的特征提取,并将提取的特征输入到分布式并行架构中,通过查询负载量的计算完成大数据集群的查询。实验结果表明,所提算法的响应时间短,查询开销小于50Mb,且查询稳定性强。

基于偏序约简的智能电网大数据预处理方法

针对电力一次系统和电力信息系统的数据所具有的多维度、时空混杂等特征,建立了一种基于偏序约简的大数据属性约简预处理方法。该方法综合利用了MapReduce的可并行化优点,着眼于并发事件间的独立性,可以满足电力大数据属性维度与约简方面的覆盖要求。最后,分别以某光伏发电系统监测数据、变压器故障诊断数据和智能变电站通信系统实时性与可靠性预测数据为例,对属性约简进行模拟计算,并通过Hadoop平台进行测试,表明所提出的电力大数据属性约简方法性能优良。

基于云计算技术的电力大数据预处理属性约简方法

针对大数据时代下电网数据体量大、类型多、速度快的特点,传统的属性约简方法已经无法完成对电力大数据的预处理,为此提出一种基于云计算技术的电力大数据预处理属性约简方法。该方法剖析了粗糙集中相对正域理论的特性,利用MapReduce模型设计了可以并行计算正域中元素个数的属性约简算法MP_POSRS。最后,在Hadoop平台上对电网故障诊断表和风电实测数据进行属性约简,实验结果表明,该方法有效可行,并具有较好的加速比和可扩展性,适用于电力大数据预处理属性约简。

基于粗集理论的支持向量机分类方法研究

介绍了粗集理论的基本概念和支持向量机分类的基本原理,提出将粗集理论和支持向量机方法相结合。通过应用粗集理论对数据的预处理,消除决策表中大量的冗余信息和冲突对象,但不丢失任何有用信息。通过这样对数据维数的约简,大大简化了支持向量分类模型的结构,同时也有效地提高了支持向量机的分类效率。通过对一组实验数据的仿真验证了该方法的可行性。

大数据预处理中属性约简的特性保持分析

伴随着工业及社会信息化程度的增强,各个领域的自动化程度越来越高,大规模及超大规模海量数据应运而生,呈现出大数据特征;这些海量数据在提升行业发展动力的同时,也带来了巨大的挑战性问题—数据可用性;为了从海量数据中甄别出无用信息、挖掘有利于相关领域发展的有价值信息,就需要对其进行数据分析;数据预处理技术可以极大地减少数据分析时的处理量,提高数据分析处理的效率,而属性约简在数据预处理中是一个比较重要的环节;在分析大数据属性特征的基础上,较系统地分析了目前几种主流的属性约简算法,对各类算法的性能进行了剖析,并展望了今后大数据预处理的研究工作思路。

基于RBF神经网络的属性约简方法

提出了一种用径向基函数(Radial Basis Function)神经网络进行属性约简的方法，定义了影响度等概念来量化评价各属性与待求解问题关系的紧密程度，根据影响度对属性做出约简处理。实验表明，该方法是合理、有效的，明显地提高了机器学习的性能。

基于邻域关系矩阵的电力大数据增量式属性约简研究

电力大数据具有规模大、生成速度快和动态性等特点,数据之间的邻域关系难以界定,导致运算量增加,因此提出基于邻域关系矩阵的电力大数据增量式属性约简方法。将邻域关系集合转换为邻域关系矩阵,结合排序思想和邻域关系矩阵自身的特性优化单属性邻域关系矩阵,在此基础上设置矩阵启发信息。计算各属性邻域关系矩阵,逐次添加条件属性并对属性相关程度进行计算,结合属性重要程度选择属性放至约简子集合,迭代整个过程,一直到重要程度不再发生变化,实现电力大数据增量式属性约简。实验结果显示,研究方法的约简运算时间短,约简效果更好,更具可靠性。

基于加权变精度容差粗糙集模型的属性约简及应用研究

对变精度粗糙集模型进行了改进,结合相容关系,提出了加权变精度容差关系模型。在此基础上,将属性重要度和信息熵相结合作为启发式信息,研究了基于属性敏感度的约简算法,克服了传统属性约简算法中仅考虑单个属性分类能力的缺陷,保证了约简的完备性。最后,以海量中医方剂数据为例,说明该模型和算法在大数据分析中的有效性。

一种基于粗糙等价类的商业数据预处理方法

从信息论的角度分析目前属性约简算法的研究成果,并指出它们关于冗余处理显得不够完善;然后利用条件属性间相对独立性特点,划分出等价类,并以此为基础提出一种基于粗糙等价类的属性约简算法.最后对顾客评价表中部分数据进行了实例分析,以此表明该算法能够在保留原始有用数据的基础上有效减少冗余,减小误差,得到良好的效果.

并行PSO结合粗糙集的大数据属性约简算法

针对大数据挖掘和模式识别时基于传统粗糙集理论的属性约简很难使用暴力枚举手段求解的问题,基于MapReduce架构,提出并行粒子群算法与粗糙集理论相结合的数据属性约简算法。建立基于粗糙集理论的数据属性最小约简模型,基于MapReduce并行计算架构,采用并行粒子群算法求解最小约简模型。实验结果表明,相同迭代次数下,相比串行粒子群算法和未采用MapReduce并行架构的并行粒子群算法,提出的4计算节点的并行粒子群算法的平均运行时间分别可降低71.2%和58.13%,对数据集属性的维度压缩分别提高了11.3%和6%以上。

大数据在监护仪质量控制数据分析中的应用研究

目的:应用大数据技术分析和挖掘监护仪质量控制的检测结果,以提升质控效能、强化医疗设备质控的精准管理。方法:针对积累的海量数据及其特点,提出数据分析所需的相关项目及关联因素,并结合Map Reduce架构和Apriori算法进行数据挖掘。结果:从功能故障的分布、功能的数据分布和时间跨度内的误差变化率等方面分析了被检监护仪的运行情况,说明质控数据可在一定程度上反映设备对应的工况性能。结论:大数据分析可有效地辅助医工部门制订维修与预防性维护计划,在医疗设备的精细化管理方面具有较好的现实意义。

基于分布式计算模式的两种属性约简算法

粗糙集是一种处理不确定、不完全理论的经典理论,属性约简是粗糙集理论的核心知识之一。为适应大数据的发展,对广泛应用于数据不确定性、不完备性处理的属性约简算法相应改进,提出两种适应分布式处理的属性约简算法。首先提出基于MapReduce框架和正域的属性约简算法;并借鉴Hadoop分布式处理机制,针对差别矩阵all-to-all比较特性,提出一种新型分布式处理机制,基于该机制提出了一种适应分布式数据处理机制的新型数据分割及分布规则,基于该规则探讨了基于差别矩阵的属性约简算法在新型分布式处理机制下的具体实现方法。仿真算例表明了这两种算法处理大数据集的有效性。

大数据背景下粗糙集属性约简研究进展

在大数据时代,数据不仅类型多样、结构复杂还具有动态变化的特点,传统的分析工具已经不能满足大数据分析的需求。如何快速有效地从大规模数据中获取有价值的信息成了一个具有挑战性的问题。一些学者将粗糙集属性约简理论与其他理论相结合,从而可以有效地处理高维动态的海量数据。重点对基于并行计算、增量学习、粒计算的属性约简算法进行分类总结,分析了它们各自的特点,剖析了当前研究中存在的问题,展望了未来研究的重点关注方向。

深度AWB结合改进DIT的高效大数据分类

针对传统数据分类属性模型中存在的较为复杂且大数据分类效率低等问题,基于云计算环境,提出利用深度属性加权贝叶斯(deep attribute weighting Bayesian,AWB)算法结合改进差别信息树(differential information tree,DIT)的大数据高效分类方法。利用AWB算法构建大数据训练集的模糊知识库,提高大数据分类精度;采用改进DIT进行模糊粗糙集属性约简,以并行方式利用映射函数对信息进行分区,将洗牌算法融入模糊分类器的设计中,提高大数据分类效率;利用CloudSim仿真器在大型网络数据集对所提方法的性能进行实验论证。实验结果表明,所提方法提高了分类准确度,降低了计算时间,提高了计算效率。

面向大数据任务的调度方法

针对在大数据的处理过程中,对大数据任务的划分和资源分配缺乏合理性的问题,提出一种面向大数据任务的调度方法。该方法首先引入了调度理论用于处理大数据任务,帮助建立合理的大数据任务管理体系并规范大数据任务处理流程;然后,基于大数据任务的本质对数据集进行分析处理,引入决策表进行属性约简,以减小大数据分析任务的数据量和提高大数据分析效率;最后,采用模糊综合评价方法,将模糊综合评价的结果作为对任务调度的依据,以提高任务资源分配合理性。在UCI(University of California Irvine)数据集上进行测试,实验结果表明,该调度算法在平均预测准确度上比朴素贝叶斯(NB)算法高7.42个百分点,比误差反向传播(BP)算法高5.16个百分点,比均方根传递(RMSProp)算法高3.74个百分点。而对于特征数较多的数据集,所提算法在预测精度上较其他算法有显著提高。所提算法在平均调度长度比(SLR)上较HCPFS(Heterogeneous Critcal Path First Synthesis)算法和HIPLTS(Heterogeneous Improved Priority List for Task Scheduling)算法分别下降了12.14%和4.56%,在平均加速比上分别提升了7.14%和42.56%,表明该算法能有效提高大数据系统中任务调度的效率。综合比较分析,所提方法具有较高的预测精度,且高效可靠。

大数据分析在宽带精准营销业务中的应用

在大数据时代背景下,以数据挖掘精确识别用户,细分用户需求,推送差异化业务,实现精细化营销已成为未来决定企业竞争成败的关键。本文在查询相关资料的基础上,论述了大数据的基本特征和相关分析算法,分析了宽带业务精准营销的属性约简原则和基本流程,构建了基于大数据的精准营销模式,最后,举例对该模式进行了详细分析,验证其可行性。通过分析可以看出该设计可以有效地帮助企业降低营销成本,提高效率,实现移动宽带精准营销的系统化、精准化、高效化。

基于数据降维的复杂属性大数据分类方法研究

针对数据的多维度、非线性、不稳定性等特有的复杂属性,在传统数据分类方法的基础上,本研究将高维大数据进行降维处理,结合SVM分类方法和多元SVM-REF分类方法,提出一种基于数据降维的复杂属性大数据分类方法。试验证明,与传统数据分类方法相比,本设计方法能够有效地提升复杂属性大数据的分类效率,也为后续对高维数据分类和数据复杂波动规律分析的深入研究提供依据。