MapReduce框架下支持差分隐私保护的k-means聚类方法

针对传统隐私保护方法无法应对任意背景知识下恶意分析的问题,提出了分布式环境下满足差分隐私的k-means算法。该算法利用Map Reduce计算框架,由主任务控制k-means迭代执行;指派Mapper分任务独立并行计算各数据片中每条记录与聚类中心的距离并标记其属于的聚类;指派Reducer分任务计算同一聚类中的记录数量num和属性向量之和sum,并利用Laplace机制产生的噪声扰动num和sum,进而实现隐私保护。根据差分隐私的组合特性,从理论角度证明整个算法满足ε-差分隐私保护。实验结果证明了该方法在提高隐私性和时效性的情况下,保证了较好的可用性。

基于MapReduce的并行抽样路径K-匿名隐私保护算法

K-匿名算法及现存K-匿名改进算法大多使用牺牲时间效率降低发布数据信息损失量的方法实现数据的匿名化,但随着数据量的急剧增长,传统的数据匿名化方法已不适用于对较大数据的处理。针对K-匿名算法在单机执行过程中产生大量频繁项集和重复搜索数据表的缺点,将MapReduce模型引入到抽样泛化路径K-匿名算法中对其进行优化。该方法兼具MapReduce及抽样泛化算法的优点,高效分布式匿名化数据集,降低发布数据集信息损失量,提高数据的可用性。实验结果表明:当数据量较大时,该优化算法在时间效率及数据精度方面有显著提高。

基于Map-Reduce的海量数据高效Skyline查询处理

Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性.

基于Map-Reduce的大数据缺失值填充算法

缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性相关性而建立起来的贝叶斯网中完成.为实现大数据处理的并行化,在Map-Reduce框架中给出这两个算法.实验部分分别验证了贝叶斯网构建方法和概率推理对分类数据处理的有效性,以及算法在hadoop中运行的并行化程度.

采用Map-Reduce模型的海量电能质量数据交换格式文件快速解析方案

针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案。通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析。Map-Reduce模型将数据集的大规模操作任务拆分成若干子任务分配给网络上的每一个计算节点(如PC机),实现多计算节点共同协调处理任务,达到提高运行效率的目的。方案采用Java和C++编写,在异构平台间具有较强的可移植性,并且可以通过增加计算节点来提高解析效率,具有较强的可扩展性。通过对海量PQDIF文件进行解析测试,结果表明该方案可以显著提高文件解析效率。

基于R-树索引的Map-Reduce空间连接聚集操作

空间连接聚集是一种常用并且非常耗时的空间数据库操作,特别是在面对大规模空间数据集时,单机运行环境难以满足其对时空开销的需求,如何设计高效的面向云计算环境中的分布式空间连接聚集算法越来越受到人们关注。Map-Reduce作为云计算的核心模式受限于其扁平化的串行扫描操作模型,常被用来加速非索引的空间连接操作,现有工作尚无将Map-Reduce和R-树索引结合来处理空间连接聚集。因此,提出了基于R-树索引的Map-Reduce空间连接聚集算法(RSJA-MR)来更高效地返回连接聚集结果。提出一种分布式R-树索引结构以支持大规模空间数据的索引,RSJA-MR算法利用分布式R-树生成任务集,任务集的执行满足无依赖并行计算模式,很容易在Map-Reduce框架中进行表达。文中提出一种实时缓存策略以支持索引并发访问。实验结果表明:相比非索引的Map-Reduce连接聚集算法,在空间交叠连接聚集查询上,时间性能最少提升8%,在空间包含连接聚集查询上,时间性能最少提升近35%。

基于改进蛙跳策略的Map-Reduce作业调度算法

为提高智能算法在Map-Reduce作业调度问题中的求解效率,提出一种基于改进蛙跳策略的调度算法。针对蛙跳策略在Map-Reduce作业调度中的应用,算法具体设计了编码方案和进化算子;同时,为提高算法收敛性能,对蛙跳策略进行改进:结合种群多样性指标增加逆转变异操作。仿真实验结果表明,提出的改进蛙跳策略在Map-Reduce作业调度问题求解中,收敛性能、作业总完成时间和平均完成时间三个方面均优于基本蛙跳策略和已有的智能调度算法,是一种实用的Map-Reduce作业调度方案。

基于Map-Reduce模型的云资源调度方法研究

为提高Map-Reduce模型资源调度问题的求解效能,分别考虑Map和Reduce阶段的调度过程,建立带服务质量(QoS)约束的多目标资源调度模型,并提出用于模型求解的混沌多目标粒子群算法。算法采用信息熵理论来维护非支配解集,以保持解的多样性和分布均匀性;在利用Sigma方法实现快速收敛的基础上,引入混沌扰动机制,以提高种群多样性和算法全局寻优能力,避免算法陷入局部最优。实验表明,算法求解所需的迭代次数少,得到的非支配解分布均匀。Map-Reduce资源调度问题的求解过程中,在收敛性和解集的多样性方面,所提算法均明显优于传统多目标粒子群算法。

异构环境下自适应的Map-Reduce调度

本文针对Hadoop自带的Map-Reduce调度器和LATE调度器的不足,提出了自适应的Map-Reduce调度方式。通过历史信息动态调整Map和Reduce任务各阶段的时间比例,以找出真正需要启动备份任务的任务。并将节点进一步分类,在快速节点上启动落后任务的备份任务,从而减小响应时间,并尽量避免节点空载,以免浪费系统资源。最后通过具体实验验证了自适应的Map-Reduce调度的有效性,从历史信息中学习的方式在实验中能减少15%左右的响应时间,综合各种技术,能够减少25%左右的响应时间。

基于关联规则的网络信息内容安全事件发现及其Map-Reduce实现

针对网络中信息内容安全事件的发现问题,该文提出一种基于关联规则的多维度用户行为特征关联分析法;对于存在的虚警问题,提出了基于邦弗朗尼校正的检验准则;为满足在海量数据中的应用需求,提出了一种Map-Reduce框架下的分布式幂集Apriori算法。实验结果表明,该文提出的方法及相应算法,并行运算能力强,在低虚警率和漏检率的情况下,具有较好的检测率,且运行时间短,收敛速度快。

基于Map-Reduce的XML区间编码方案

将XML文档区间编码思想和云计算相结合,提出Hadoop环境下基于Map-Reduce的并行的编码方案。该方案提出PXMR算法,解决了非同一分片内节点的区间编码。实验结果表明,相对非并行区间编码,PXMR是一种并行的快速有效的编码方案。

大黄素通过调节miR-582-3p影响MAP3K1活性抑制乳腺癌细胞增殖并诱导凋亡

目的 探讨大黄素(emodin,EMO)通过microRNA(miR)-582-3p/MAP3K1对乳腺癌细胞增殖、凋亡的作用及分子机制。方法 培养人乳腺癌细胞株MCF-7、MDA-MB-231以及人乳腺细胞系Hs578Bst,使用不同浓度的EMO处理细胞,细胞根据培养条件分为对照组、EMO(10μM)组、NC mimics组、NC mimics+EMO组、miR-582-3p mimics组和miR-582-3p mimics+EMO组,检测EMO及miR-582-3p异常表达对乳腺癌细胞增殖及凋亡的影响。荧光定量(qRT-PCR)检测miR-582-3p及MAP3K1的表达。MTT和EdU实验检测乳腺癌细胞增殖,流式细胞术和TUNEL实验检测细胞凋亡及细胞周期。蛋白印迹(Western blot)检测增殖标志蛋白Ki-67及凋亡标志蛋白Bcl-2、Bax和Caspase-3在癌细胞中的表达水平。结果 EMO可以抑制乳腺癌细胞MDA-MB-231及MCF-7的增殖能力[(17.65±0.96)%比(28.63±2.16)%,(15.02±1.71)%比(28.22±1.89)%,P<0.05]、调节细胞周期并促进细胞凋亡[(23.67±1.25)%比(5.73±0.84)%,(27.33±1.73)%比(5.17±0.85)%,P<0.05]。Western blot结果显示,EMO可抑制细胞中Ki-67及Bcl-2的表达并促进Caspase-3(cleaved)及Bax的表达(P<0.05)。EMO处理乳腺癌细胞后miR-582-3p的表达显著下调[(0.45±0.09)比(1.00±0.10),(0.37±0.05)比(1.00±0.11),P<0.01],而过表达miR-582-3p会逆转EMO对乳腺癌细胞生物学活性的影响(P<0.05)。EMO还会通过miR-583-3p调节癌细胞中MAP3K1的表达(P<0.05)。结论 EMO可能通过调节miR-582-3p影响MAP3K1活性抑制乳腺癌细胞增殖并诱导凋亡。

基于Map-Reduce并行构架和AE的大数据指纹监控识别算法

传统的指纹识别监控方法在应用到以海量、在线和增量为特征的大数据环境中时,不能自动高效地进行识别;由此设计了一种基于Map-Reduce并行框架和AE的大数据智能监控指纹识别算法;首先,设计了基于AE和BP神经网络的识别模型,采用AE进行指纹图像自动特征提取,然后提出了一种基于比较差异算法对AE进行参数初始化的训练算法,采用BP神经网络进行具体识别;最后,将识别过程分解为Map函数和Reduce函数;在Map-Reduce并行框架下对FVC2004中的指纹数据库进行实验,实验结果表明了文中方法能自动、高效地进行指纹识别。

Map-Reduce在媒资系统数据收集中的应用

在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就是购买更高性能的服务器,然而,近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop Map-Reduce框架来实现数据收集功能,并通过实验,将数据收集工作在传统的单线程模式(传统实现模式)、Hadoop伪分布模式和全分布模式下所需时间进行比较,并对执行结果进行了分析。研究表明:使用Map-Reduce的这种云模式,确实可以缩短执行时间,以达到提高服务器端性能的目的。

基于Map-Reduce的向量空间约束连接路径查询方法

随着交通路网、社交网络等与空间位置有关的新型服务逐渐增多,向量空间数据规模正以极快速度增长和累积,传统数据处理技术在大规模向量空间数据上的执行效率及结果集优化等方面面临着巨大的挑战.本文提出一种基于Map-Reduce的向量空间约束连接路径查询算法,首先,算法在向量空间上进行等边距网格划分,以距离为阈值进行约束连接;其次,利用MapReduce框架,通过节点到单元格的筛选、节点所在约束区域的筛选、单向边集合的筛选以及节点到节点的距离筛选的四阶段筛选策略找到满足约束条件的全部备选路径,从而减少大量的文本复制和路径计算过程.实验表明,本文提出的算法具有较高的执行效率和较低的误差率.

Map-Reduce应用于并行同步联合聚类学习的研究

许多数据挖掘应用中涉及的预测模型庞大并且数据集复杂。这样的应用程序急需创新的算法。该算法不仅需要有效的预测精度,而且需要有效的运行于分布式计算系统中并在合理的时间内产生结果。本文重点介绍多关系数据的预测模型,首先举例说明设计这些数据的应用模型,然后描述一个基于并行同步聚类(SCOAL)的总体框架,该框架适用于分而治之的方法进行数据分析。最终将论证基于并行同步聚类的框架在应用Map-Reduce的情况下可以有效的实现并行化。

基于Map-Reduce的大数据实体识别算法

实体识别是数据量质融合管理中的一项关键技术,对能否提高数据质量起着决定性作用.其目的在于识别出数据中表示同一对象的不同形式;以及同一形式所代表的不同对象.随着大数据研究技术的发展,大数据上的实体识别问题受到了广泛关注.因此,在大数据的信息集成背景下,给出了一个基于Map-Reduce框架的大数据实体识别算法(entity identification in big data based on Map-Reduce,EIBM).该算法首先通过属性值计算记录间的相似程度,而后基于图聚类的方法进行实体识别从而输出得到最终结果.最后,在Hadoop平台上对真实数据集和人造数据集进行了多组实验,实验结果验证了算法的并行程度和对于处理大数据的有效性与高效性.

基于Map-Reduce的PageRank算法设计

随着网络信息量的急速增长,搜索引擎搜索信息的准确、高效显得尤为重要。PageRank算法是根据网页间链接关系对网页进行评分的算法之一,在细致剖析Map-Reduce计算模式的基础上,提出了对PageRank算法的改进策略。

基于Map-Reduce的FP-Growth算法研究

针对FP-Growth算法在处理海量数据时需要耗费大量系统资源无法实现快速的挖掘出关联规则,提出基于Map-Reduce框架的FP-Growth算法.通过使用Map-Reduce计算框架实现FP-Growth算法对数据的并行处理,提高算法的执行效率.最后通过实验证明所提出的算法在处理海量数据方面具有较好的性能.

云计算环境下的改进型Map-Reduce模型

Map-Reduce模型在分配输入文件时没有考虑集群中大量异构节点的计算性能,导致运行map任务时网络数据传送量增加。针对该问题,提出一种云计算环境下的改进型Map-Reduce模型。根据集群中大量节点计算性能不同的特点,采用最小化最大计算时间的目标函数进行建模,利用遗传算法求解该模型得到分配方案。仿真结果证明了该模型的有效性。