Improvement of Mining Fuzzy Multiple-Level Association Rules from Quantitative Data

Data-mining techniques have been developed to turn data into useful task-oriented knowledge. Most algorithms for mining association rules identify relationships among transactions using binary values and find rules at a single-concept level. Extracting multilevel association rules in transaction databases is most commonly used in data mining. This paper proposes a multilevel fuzzy association rule mining model for extraction of implicit knowledge which stored as quantitative values in transactions. For this reason it uses different support value at each level as well as different membership function for each item. By integrating fuzzy-set concepts, data-mining technologies and multiple-level taxonomy, our method finds fuzzy association rules from transaction data sets. This approach adopts a top-down progressively deepening approach to derive large itemsets and also incorporates fuzzy boundaries instead of sharp boundary intervals. Comparing our method with previous ones in simulation shows that the proposed method maintains higher precision, the mined rules are closer to reality, and it gives ability to mine association rules at different levels based on the user’s tendency as well.

A Study on Associated Rules and Fuzzy Partitions for Classification

The amount of data for decision making has increased tremendously in the age of the digital economy. Decision makers who fail to proficiently manipulate the data produced may make incorrect decisions and therefore harm their business. Thus, the task of extracting and classifying the useful information efficiently and effectively from huge amounts of computational data is of special importance. In this paper, we consider that the attributes of data could be both crisp and fuzzy. By examining the suitable partial data, segments with different classes are formed, then a multithreaded computation is performed to generate crisp rules (if possible), and finally, the fuzzy partition technique is employed to deal with the fuzzy attributes for classification. The rules generated in classifying the overall data can be used to gain more knowledge from the data collected.

从Fuzzy Taxonomic数值型数据库中挖掘一般化关联规则

挖掘关联规则是数据挖掘研究的一个重要方面 基于属性内通常还存在更高层次的抽象 ,即呈现出Taxonomic结构这一事实 ,Srikant和Agrawal等人提出了在确定的Taxonomic结构下挖掘泛化布尔型关联规则的挖掘算法 但在实际应用中 ,往往这种Taxonomic结构还呈现出模糊性 ;着重研究了在这种模糊Taxonomic结构下如何从数值型数据库中挖掘一般化关联规则的问题 ,提出了一种新的FuzzyTaxonomic数值型数据库模型 ,并提出了相应的规则发现方法 。

Parallel mining and application of fuzzy association rules

Quantitative attributes are partitioned into several fuzzy sets by using fuzzy c-means algorithm.Fuzzy c-means algorithm can embody the actual distribution of the data,and fuzzy sets can soften the partition boundary.Then,we improve the search technology of apriori algorithm and present the algorithm for mining fuzzy association rules.As the database size becomes larger and larger,a better way is to mine fuzzy association rules in parallel.In the parallel mining algorithm,quantitative attributes are partitioned into several fuzzy sets by using parallel fuzzy c-means algorithm.Boolean parallel algorithm is improved to discover frequent fuzzy attribute set,and the fuzzy association rules with at least a minimum confidence are generated on all processors.The experiment results implemented on the distributed linked PC/workstation show that the parallel mining algorithm has fine scaleup,sizeup and speedup.Last,we discuss the application of fuzzy association rules in the classification.The example shows that the accuracy of classification systems of the fuzzy association rules is better than that of the two popular classification methods:C4.5 and CBA.

Data Mining Based on Computational Intelligence

This paper combines computational intelligence tools: neural network, fuzzylogic, and genetic algorithm to develop a data mining architecture (NFGDM), which discovers patternsand represents them in understandable forms. In the NFGDM, input data arepreprocesscd byfuzzification, the preprocessed data of input variables arc then used to train a radial basisprobabilistic neural network to classify the dataset according to the classes considered, A ruleextraction technique is then applied in order to extract explicit knowledge from the trained neuralnetworks and represent it m the form of fuzzy if-then rules. In the final stage, genetic algorithmis used as a rule-pruning module to eliminate those weak rules that are still in the rule bases.Comparison with some known neural network classifier, the architecture has fast learning speed, andit is characterized by the incorporation of the possibility information into the consequents ofclassification rules in human understandable forms. The experiments show that the NFGDM is moreefficient and more robust than traditional decision tree method.

基于半监督竞争聚类和改进Apriori算法的大型火电机组燃烧优化

为消纳大规模新能源并网,火电机组通过数据挖掘进行燃烧优化时需处理更高维度、更大存量的数据,现有无监督聚类/Apriori算法挖掘效率低不适应机组高灵活性运行要求。针对此问题,在无监督聚类算法中引入约束惩罚因子使之转为半监督聚类以提高聚类效率,并基于划分思想对Apriori算法进行改进以避免冗余规则的产生,提高挖掘效率,形成基于半监督竞争聚类与划分关联规则挖掘结合的新数据挖掘算法。以某电厂660 MW机组为例,用新算法进行数据挖掘,得到各运行参数优化值,建立典型样本库实施燃烧优化,并与改进前算法做对比。结果表明:新算法提高了挖掘效率与存储空间利用率,对于大型火电机组的燃烧优化有一定的实际应用价值。

基于改进遗传算法和DBSCAN聚类的学习数据深度挖掘方法

为了从在线学习大数据中提取有用信息,实现自适应特征提取和聚类,提出了基于改进模糊遗传算法和DBSCAN聚类的细粒度学习数据挖掘方法。通过在信息管理平台中应用数据挖掘技术,将学习表现评估转换为文本分类问题,基于动态数据分析细粒度的知识获取结果。所提改进的遗传算法自动提取出文本中的最优特征集,利用模糊规则关联测试内容与知识点。最后,利用基于密度的聚类算法得到每个知识点的个体和整体测试结果。实验结果表明,所提方法能够自动处理大量数据,全面准确地分析测试结果中不同知识点的掌握程度,有助于信息管理平台数据的二次开发和深入挖掘。

Linguistic Valued Association Rules

Association rules discovering and prediction with data mining method are two topics in the field of information processing. In this paper, the records in database are divided into many linguistic values expressed with normal fuzzy numbers by fuzzy c-means algorithm, and a series of linguistic valued association rules are generated. Then the records in database are mapped onto the linguistic values according to largest subject principle, and the support and confidence definitions of linguistic valued association rules are also provided. The discovering and prediction methods of the linguistic valued association rules are discussed through a weather example last.

基于朴素贝叶斯的大数据模糊随机挖掘仿真

提出基于朴素贝叶斯的大数据模糊随机挖掘仿真方法,为用户挖掘海量数据特征并从中发现可用数据提供有效途径。该方法依据数据间的关联规则,对具备非线性特征的大数据进行融合处理,利用模糊层次聚类算法依据融合后大数据获取大数据语义关联特征;将语义关联特征作为朴素贝叶斯分类器的输入,输出大数据模糊随机挖掘结果。仿真结果表明,上述方法融合大数据时的关联规则支持度最大为100%,大数据融合效果较好;在大数据量为100GB时,其提取大数据语义关联特征时的概率化特征条件引入量高达96%;模糊随机挖掘大数据时,大数据空间聚焦能力较好,可有效实现大数据模糊随机挖掘。

基于特征选择和模糊类支持度的模糊分类关联规则挖掘算法

模糊分类关联规则(Fuzzy Classification Association Rules,FCAR)是一种特殊的模糊关联规则,挖掘FCAR对于构建基于规则的分类模型至关重要。传统关联规则挖掘算法挖掘FCAR时可能会包含较多冗余规则,并且在数据集类别不平衡时,挖掘到的小类规则的数量会急剧减少甚至降为0。为解决上述问题,提出了一种基于特征选择和模糊类支持度-模糊提升度框架(Fuzzy Category Support-Fuzzy Lift Framework,FCS-FLF)的FCAR挖掘算法FSFCS Based FCARMiner(Feature Selection and Fuzzy Category Support-Fuzzy Lift Framework Based FCAR-Miner),基于模糊隶属度矩阵迭代挖掘FCAR。在多个类别不平衡的数据集上的实验结果表明,相比其他算法FSFCS Based FCAR-Miner算法能够避免大量冗余规则的生成,同时也能适应数据类别不平衡的情况,不会出现各类规则数量相差悬殊的情况。

一种考虑气象因素的配电网设备故障关联挖掘模型

电网结构日益复杂,故障监测与防范的成本随之增大,而强对流天气的频繁出现使得设备故障与外界条件关联更加紧密,因此挖掘故障设备与故障因素间的关联关系,并对具有较高关联度的设备进行重点监测与防范,对电力系统的安全稳定运行具有重要意义。基于模糊频繁项挖掘算法,提出了1种考虑气象因素的配电网设备故障关联挖掘模型。该模型首先从多元信息库中提取故障特征数据,采用Relief-F算法排除相关程度较小的冗余特征,通过数据预处理与数据整合,构建包含气象因素的故障关联特征库。其次,以故障关联特征库为基础,引入模糊集理论,提出基于模糊频繁项集挖掘算法的故障因素与故障设备关联模型构建方法。最后,基于故障关联模型进行了算例分析,结果验证了所提方法的正确与有效性。

基于模糊关联规则的海量气象数据动态挖掘

海量气象数据之间存在模糊关联性,且这种模糊关联性难以确定,所以研究基于模糊关联规则的海量气象数据动态挖掘方法。结合EMD和MIC设计时间序列数据去噪算法,对海量气象数据进行去噪处理。搭建基于生成对抗网络与时间指数的GAN-TRTI缺失值补全函数,填补时间序列缺失值。使用模糊关联规则与粒子群优化算法设计海量数据动态挖掘算法,实现海量气象数据的动态挖掘。测试结果表明,在所设计方法的挖掘结果中,样本对于挖掘规则的平均置信度较高,最终稳定在92%左右,平均支持度最终达到90%,说明该方法的挖掘效果好。

基于数据挖掘的电站运行优化应用研究

火电机组运行优化目标值的合理确定是关系到机组经济性诊断正确性与准确性的重要因素,该文充分利用火电厂运行数据的关联特性,提出了基于模糊关联规则挖掘的电站运行优化目标值确定方法,利用改进的模糊关联规则挖掘算法从电站运行历史数据中挖掘定量关联规则,以指导优化运行,解决了传统优化目标值确定中对机组实际状态考虑不足而失去指导意义的问题。以某300MW机组历史运行数据为基础,对各典型负荷工况下的历史数据进行挖掘,得到各运行工况下的最优值以指导实际运行。运行试验结果表明,基于模糊关联规则挖掘的运行优化目标值确定方法可以提高机组运行效率,降低污染物排放,优化目标值来源于机组实际运行数据,能够反映机组在特定负荷和相关条件下的最优运行状态,可以指导机组的优化运行。

改进的模糊关联规则及其挖掘算法

针对现有网络事件的关联规则未考虑到事件发生频度,导致不能完整准确反映事件关联关系的问题,采用模糊理论将事件发生频度引入到关联规则中,定义网络事件之间改进的模糊关联规则;在传统遗传算法的基础上,引入并改进兴趣度和相似度的概念,采用小生境技术调整适应度函数,提出一种基于改进模糊遗传算法的网络关联规则挖掘方法。实验结果表明,改进的模糊关联规则显著拓宽了关联规则的内涵及其挖掘范围,降低了关联规则冗余度;所提挖掘方法具有一定效率优势。

中国全社会用电量增长主导因素辨识

目前负荷中长期预测时选取相关的社会经济指标没有统一的理论依据。文中将数据挖掘技术应用到电量增长的关联性分析中,从全国30个省(自治区、直辖市)的历史数据中选取25项相关指标,采用3种不同的隶属度函数进行赋值。在此基础上利用Apriori算法计算不同指标与用电量增长相关的模糊置信度,辨识出国内生产总值(GDP)、工业总产值、进出口总额、固定资产投资、居民人均可支配收入等与用电量增长较为相关的主导因素,并结合自组织映射神经网络获取中国用电量增长的一般性规律。该研究思路为年度负荷预测相关因素的选取提供新的策略。

基于模糊分类关联规则的分类系统

为了构建高性能的分类系统 ,应用模糊集软化数量型属性的划分边界 ,提出了模糊分类关联规则的挖掘算法 由于模糊集能很好地贴近人类的思维方式 ,因此挖掘得到的模糊分类关联规则易于被人理解 接着提出了基于模糊分类关联规则的分类系统 ,并采用遗传优化算法训练分类系统 实例分析的结果表明 。

基于模糊数据挖掘的虚拟环境主机故障预测

为避免虚拟计算环境中由于资源配置不合理,导致虚拟主机服务中断或数据丢失的问题,设计一种虚拟主机故障预测模型。利用主机运行日志进行模糊数据挖掘,获得故障预测的模糊关联规则。根据故障预测中聚类区域边缘数据,给出基于规则的阈值迭代算法求解日志数据预处理修正系数,进而提高规则的匹配率。实验结果表明,该模型能够在实际服务失效前预测故障,预测准确率达到85%以上。

基于FCM聚类的时间序列模糊关联规则挖掘

针对复杂系统产生的时间序列,研究其局部关联特征比研究系统全局特征模型具有明显的优势.为研究时间序列内部或局部形态的关联特征,首先借助FCM来软化时间序列属性论域的划分边界,然后,采用改进的布尔型属性关联规则并行挖掘算法来发现频繁模糊属性集,最后由多个处理器并行地产生满足最小模糊信任度的模糊关联规则.提出了基于FCM聚类的时间序列模糊关联规则的并行挖掘算法,并通过实验验证了算法的有效性.

遗传算法在关联规则挖掘中的应用

该文尝试用遗传算法挖掘关联规则,并结合图书馆智能型读者测评系统,给出了一个基于遗传算法进行关联规则挖掘的实例。

图像关联规则挖掘研究

介绍了图像关联规则的相关概念,描述了传统的双种群遗传算法的执行过程;针对采用固定染色体交叉概率和染色体变异概率容易出现早熟、收敛速度较慢等问题,设计出了能自适应调整的染色体交叉算子和变异算子。最后将改进后的双种群遗传算法成功地运用到Landsat卫星遥感图像,实现了图像关联规则的提取,为退耕还林决策提供了有力的依据。