期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
基于MapReduce的海量事件日志并行转化算法 被引量:11
1
作者 窦蒙 闻立杰 +1 位作者 王建民 闫志强 《计算机集成制造系统》 EI CSCD 北大核心 2013年第8期1784-1793,共10页
随着大数据时代的来临,为了高性能地转化海量分布式日志,提出事件日志在云平台上基于MapReduce架构的分布式转化算法。提出基于案例拆分的改进算法,以转化单机上的日志,使其变得可行;进一步提出基于MapReduce的并行转化算法。这是在过... 随着大数据时代的来临,为了高性能地转化海量分布式日志,提出事件日志在云平台上基于MapReduce架构的分布式转化算法。提出基于案例拆分的改进算法,以转化单机上的日志,使其变得可行;进一步提出基于MapReduce的并行转化算法。这是在过程挖掘领域中首次实现从海量原始日志到可扩展事件流事件日志的并行转化,极大地提高了转化性能。 展开更多
关键词 大数据 事件日志 过程挖掘 映射归约 可扩展事件流 信息系统
下载PDF
大数据分析与高速数据更新 被引量:46
2
作者 陈世敏 《计算机研究与发展》 EI CSCD 北大核心 2015年第2期333-342,共10页
大数据对于数据管理系统平台的主要挑战可以归纳为volume(数据量大)、velocity(数据的产生、获取和更新速度快)和variety(数据种类繁多)3个方面.针对大数据分析系统,尝试解读velocity的重要性和探讨如何应对velocity的挑战.首先比较事... 大数据对于数据管理系统平台的主要挑战可以归纳为volume(数据量大)、velocity(数据的产生、获取和更新速度快)和variety(数据种类繁多)3个方面.针对大数据分析系统,尝试解读velocity的重要性和探讨如何应对velocity的挑战.首先比较事物处理、数据流、与数据分析系统对velocity的不同要求.然后从数据更新与大数据分析系统相互关系的角度出发,讨论两项近期的研究工作:1)MaSM,在数据仓库系统中支持在线数据更新;2)LogKV,在日志处理系统中支持高速流入的日志数据和高效的基于时间窗口的连接操作.通过分析比较发现,存储数据更新只是最基本的要求,更重要的是应该把大数据的从更新到分析作为数据的整个生命周期,进行综合考虑和优化,根据大数据分析的特点,优化高速数据更新的数据组织和数据分布方式,从而保证甚至提高数据分析运算的效率. 展开更多
关键词 数据更新 大数据分析 数据仓库 日志处理系统 数据组织与分布算法
下载PDF
国家高性能计算环境事件流系统的设计 被引量:1
3
作者 赵一宁 肖海力 《计算机科学与探索》 CSCD 北大核心 2019年第3期374-382,共9页
国家高性能计算环境是由中国众多国家级计算中心和高校的计算集群聚合而成的大型高性能计算环境,为国内研究人员提供优质计算资源。出于维护环境正常稳定运行的目的,环境管理人员需要获取环境内部所发生的各种事件信息,以确保及时迅速... 国家高性能计算环境是由中国众多国家级计算中心和高校的计算集群聚合而成的大型高性能计算环境,为国内研究人员提供优质计算资源。出于维护环境正常稳定运行的目的,环境管理人员需要获取环境内部所发生的各种事件信息,以确保及时迅速地对环境产生的问题进行处理。针对这种需求,设计了国家高性能计算环境事件流处理与分发系统,用于对环境各类事件进行收集和按类型分类,最终提供给对事件有需求的环境应用。在该系统中,事件工厂模块负责对环境的各种事件进行格式解析以及初步过滤和处理等加工工作,然后将加工过的事件封装为统一的接口格式对外发布。初步实现了事件流系统的各部分功能,将其部署到国家高性能计算环境中,并对该系统的事件处理延时进行测试。实验结果表明事件处理过程的延时很低,可以满足对事件时效性的要求。 展开更多
关键词 日志处理 事件流 大数据分析 高性能计算
下载PDF
应用SAP Enterprise Threat Detection实时发现针对网络安全的攻击 被引量:1
4
作者 Gerlinde Zibulski 王成 《信息技术与标准化》 2019年第1期62-63,共2页
作为智慧企业的安全解决方案,SAP Enterprise Threat Detection(企业威胁检测解决方案)是一种可以检测SAP系统是否受到恶意攻击的产品。它运行在SAP的旗舰产品SAP HANA内存数据库上,并利用了SAP HANA的分析功能以及机器学习/人工智能方... 作为智慧企业的安全解决方案,SAP Enterprise Threat Detection(企业威胁检测解决方案)是一种可以检测SAP系统是否受到恶意攻击的产品。它运行在SAP的旗舰产品SAP HANA内存数据库上,并利用了SAP HANA的分析功能以及机器学习/人工智能方面的新发明。 展开更多
关键词 网络安全 SAP ENTERPRISE THREAT DETECTION SAP HANA 安全事件日志 大数据
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部