高效用模式挖掘关键技术综述

通过分析有关高效用模式挖掘(high utility pattern mining,HUPM)最先进的方法,对其进行全面和结构化的概述。首先,通过介绍HUPM的相关概念、公式并给出应用示例,对HUPM有更深一步的理解;针对用于挖掘不同类型HUPM的最常见和最先进的关键技术进行分类,包括基于Apriori、基于树、基于列表、基于映射、基于垂直/水平数据格式、基于索引等方法。针对现有关键技术的用途和优缺点进行了全面概述,由于静态数据难以满足实际需要,总结了在数据流上应用的HUPM方法,主要包括基于增量方法、基于滑动窗口模型方法、基于时间衰减模型方法、基于地标模型方法等。最后,给出了现有技术的不足和改进方向,并且有针对性地提出了新的研究方法。

概念漂移数据流集成分类算法综述

针对概念漂移数据流集成分类算法的基本概念、相关工作、适用范围及优缺点等方面进行具体阐述,重点分析突变型、渐变型、重复型和增量型集成分类算法,以及集成分类中的Bagging、Boosting、基分类器组合学习策略与在线学习、基于块的集成、增量学习关键技术,指出现阶段概念漂移数据流集成分类算法所需解决的主要问题,并对集成基分类器的动态更新与加权组合、多类型概念漂移的快速检测等研究方向进行分析和展望。

融合XGBoost和Multi-GRU的数据中心服务器能耗优化算法

随着云计算技术的快速发展,数据中心的数量大幅增加,随之而来的能源消耗问题逐渐成为一个研究热点。针对服务器能耗优化问题,提出了一种融合极限梯度提升(XGBoost)和多个门控循环单元(Multi-GRU)的数据中心服务器能耗优化(ECOXG)算法。首先利用Linux终端监控命令和功耗仪收集服务器各部件的资源占用信息和能耗等数据,并对其进行数据预处理来得到资源利用率。其次将资源利用率串联构造成向量形式的时间序列,用其训练Multi-GRU负载预测模型,并根据预测结果对服务器进行模拟降频,以得到降频后的负载数据。然后将服务器的资源利用率与相同时刻的能耗数据相结合,并用其训练XGBoost能耗预测模型。最后将降频后的负载数据输入到训练后的XGBoost模型中,从而预测出降频后的服务器能耗。在6台物理服务器实际资源利用率数据上的实验表明,与卷积神经网络(CNN)、长短期记忆(LSTM)网络、CNN-GRU和CNN-LSTM模型相比,ECOXG算法在均方根误差(RMSE)上分别降低了50.9%、31.0%、32.7%、22.9%;同时,与LSTM、CNN-GRU和CNN-LSTM模型相比,ECOXG算法在训练时间上分别节省了43.2%、47.1%、59.9%。实验结果表明,ECOXG算法能够在服务器能耗预测和能耗优化方面提供一定的理论基础,且在准确性和运行效率方面明显优于对比算法。此外,模拟降频后的服务器能耗已明显低于真实能耗,且在服务器的利用率较低时降耗效果显著。

含负项top-k高效用项集挖掘算法

含负项高效用项集(HUI)挖掘是新兴的数据挖掘任务之一。为了挖掘满足用户需求的含负项HUI结果集,提出了含负项top-k高效用项集(THN)挖掘算法。为了提升THN算法的时空性能,提出了自动提升最小效用阈值的策略,并采用模式增长方法进行深度优先搜索;使用重新定义的子树效用和重新定义的本地效用修剪搜索空间;使用事务合并技术和数据集投影技术解决多次扫描数据库的问题;为了提高效用计数的速度,使用效用数组计数技术计算项集的效用。实验结果表明,THN算法的内存消耗约为HUINIV-Mine算法的1/60,约为FHN算法的1/2;THN算法的执行时间是FHN算法的1/10;而且该算法在密集数据集上的性能更好。

数据流高效用模式挖掘综述

数据流高效用模式挖掘方法是以二进制的频繁模式挖掘方法为前提,引入项的内部效用和外部效用,在模式挖掘过程中可以考虑项的重要性,从而挖掘更有价值的模式。从关键窗口技术、常用方法、表示形式等角度对数据流高效用模式挖掘方法进行分析并总结其相关算法,从而研究其特点、优势、劣势以及其关键问题所在。具体来说,说明了数据流高效用模式常用的概念;对处理数据流高效用模式的关键窗口技术进行了分析,涉及到滑动、衰减、界标和倾斜窗口模型;研究了一阶段和两阶段的数据流高效用模式挖掘方法;分析了高效用模式的表示形式,即完全高效用模式和压缩高效用模式;介绍了其他的数据流高效用模式,包括序列高效用模式、混合高效用模式以及高平均效用模式等;最后展望了数据流高效用模式挖掘的进一步研究方向。

数据流决策树集成分类算法综述

数据流的集成分类方法可以提高预测精度或者可将复杂、困难的学习问题分解为更简单、容易的子问题,且对概念漂移有良好的适应性和恢复性。结合Bagging、Boosting和Stacking三种集成学习框架的工作原理和方法,分别对其相关决策树算法进行了分析和总结。详细介绍了数据流中的概念漂移问题,以及对不同类型的概念漂移的检测处理方法。从所属集成学习框架、对比算法、算法优缺点等多角度对数据流决策树集成分类算法进行了分析和总结。同时对数据流决策树集成分类算法的典型应用和主要平台作了详细介绍。对数据流集成分类领域中的研究趋势进行了探讨,并归纳出下一步的研究方向。

精简高效用模式挖掘综述

全集高效用模式挖掘算法存在的关键问题之一是会产生冗余的高效用项集,这将导致用户很难在大量的高效用项集中发现有用的信息,严重降低了高效用模式挖掘算法的性能。为解决这一问题,衍生出了精简高效用模式挖掘算法,其主要包括最大高效用模式、闭合高效用模式、top-k高效用模式以及三者之间的组合高效用模式挖掘算法等。首先,介绍了精简高效用模式的相关问题描述;然后,从有无候选项集生成、一两阶段挖掘方法、数据结构类型和剪枝策略等角度,重点分类总结了精简高效用模式挖掘方法;最后,给出了精简高效用模式的进一步研究方向,包括处理基于负项的高效用精简模式、处理基于时间的高效用精简模式及处理动态复杂的数据等。

基于Boosting的迭代加权集成分类算法

在集成分类中,如何对基分类器实现动态更新和为基分类器分配合适的权值一直是研究的重点。针对以上两点,提出了BIE和BIWE算法。BIE算法通过最新训练的基分类器的准确率确定集成是否需要替换性能较差的基分类器及需替换的个数,实现对集成分类器的动态迭代更新;BIWE算法在此基础上提出了一个加权函数,对具有不同参数特征的数据流可以有针对性地获得基分类器的最佳权值,从而提升集成分类器的整体性能。实验结果表明,BIE算法相较对比算法在准确率持平或略高的情况下,可以减少生成树的叶子数、节点数和树的深度;BIWE算法相较对比算法不仅准确率较高,而且能大幅度减少生成树的规模。

基于紧凑效用列表的增量高效用模式挖掘方法

针对存在大量冗余数据等问题,提出紧凑增量高效用挖掘算法。采用HUI-trie结构和紧凑效用列表两种结构,前者用于更新高效用项集的效用,后者用于存储信息,而无需生成任何候选项。这两种结构使算法无需再次分析整个数据集,就可以将增加的数据反映到以前的分析结果中,更有效地处理增量数据集。试验结果表明,该算法在各种数据集上,运行时间平均提高38%,内存平均减少32%,具有一定的可扩展性。

基于分区列表的增量闭合高效用模式挖掘方法

为减少构建效用列表的数量和占用的内存,在时间和空间方面提高挖掘性能,提出增量闭合高效用挖掘算法(incremental closed high utility mining,ICHUM),从增量数据集中有效地挖掘闭合高效用项集。此算法提出一个增量分区效用列表结构,该结构仅通过一次数据库扫描即可构建和更新列表,更有效地处理增量数据。在构造此列表结构的过程中,算法还应用有效的融合修剪策略,从而减少无效列表的构建数量。在各种数据集上的试验结果表明,与对比算法相比,该算法减少了30%的运行时间和33%的内存消耗,具有一定的可扩展性。

矿难中,27名矿工的生还奇迹

2005年11月27日,黑龙江龙煤集团七台河分公司东风煤矿发生爆炸事故,事故中死亡171人,48人生还。这是国务院为整顿煤矿行业,改善国内煤矿安全生产形势,于2005年8月22日和9月3日发布《国务院办公厅关于坚决整顿关闭不具备安全生产条件和非法煤矿的紧急通知》和《国务院关于预防煤矿生产安全事故的特别规定》后,国内发生的死亡人数最多的一起矿难。而矿难中27名矿工生还的故事广为传颂。