基于Hadoop平台的海量数据分析和处理

从海量数据中迅速提取有效信息是应用软件开发者们在项目开发中遇到的最大难题。该问题的出发点是在分析Hadoop集群技术组合的关键技术基础和其他现有的分布式存储和计算研究的基础上,以及它们的商业需求和实际的硬件和软件编程能力。提出了一种基于模型和数据结构设计程序的大规模Hadoop数据处理方法,在组织和使用编程方法的几个过程中,介绍了模型的开发、日志数据预处理模型及其在大型网站中的应用。

基于Kafka和Hadoop架构的工程研发数据挖掘

在智能制造大浪潮的推动下,传统制造型企业经历了大规模的数字化转型,越来越多的数字化研发系统被应用到企业的研发生产过程中;这些系统所带来的便利以及管理水平的提升显而易见,而系统所产生数据的潜在价值却未被充分挖掘。文章介绍了某国内知名汽车零部件企业在数字化转型过程中,利用Kafka、Hadoop等一些软件,将应用系统及用户的使用数据进行采集、存储、挖掘和分析,形成了一定的量化评估能力,并为后续利用这些数据通过机器学习进一步提升效率打下基础。

一种支持大规模数据的多维可视化分析框架

以Hadoop为代表的可扩展大规模数据库难以进行多维可视化分析。为此,设计基于B/S架构的可视化分析框架Bizard。数据模型通过封装底层数据接口以支持业界多维数据访问协议XMLA,从而在展现层易于接入支持XMLA的传统分析工具,同时采用视图物化技术提高分析性能,利用互联网技术丰富用户分析体验。实验结果表明,该框架能在高达千万条记录级的数据上进行多维可视化分析。

医院数据存储平台关键技术研究

从医院医疗数据存储的实际业务出发,建构起面向医院电子病历存储、PACS(Picture Archiving and Communication System)影像档案存储、其他业务数据存储的分布式管理平台,利用HDFS文件系统、HBase数据库等Hadoop存储集群,将分类索引、读写、合并整合的列文件存储至云服务后台之中,提升医院海量化医疗数据的读取索引、挖掘与存储质量。

信息安全设备管理私有云建设研究

设备管理正处在信息化发展的关键时期,传统的设备管理方式方法存在很大的局限性,因而需要加强设备管理信息化水平。信息安全设备是设备管理的重要领域,信息安全设备管理信息化对于提高信息安全服务效能和决策分析有着重要作用。云计算是一种产业界新兴的IT发展模式,通过一种集成化的思想加大了计算和存储的一致性。私有云是一种内部的云部署方式,该部署方式在保证云技术实现的同时保证了内部的安全性,在内部系统具有很好的适用性。论文通过对私有云的建设研究,提出了一种适合于信息安全设备管理的私有云架构,该架构对于信息安全设备管理信息化建设有着很好的推动作用。

基于云计算的数据挖掘算法研究

为提高海量网络入侵数据检测的效率和精度,将云计算和核极限学习机结合,提出一种基于云计算的核极限学习机的网络入侵数据挖掘算法。通过Map函数和Reduce函数的并行设计和计算,实现网络入侵数据的分布式分析和处理。在检测率和误判率指标上,研究结果表明,CC-KELM算法能够有效提高网络入侵检测的准确率,为海量网络入侵数据检测和挖掘提供新的方法。

大数据背景下构建政府公共信息平台应用初探

现代社会是一个强调"以人为本"的社会,为了提升群众办事效率,各级政府意识到需要构建公共信息平台,采用电子政务办公,将政府各级部门之间的海量数据进行共享处理,随着各部门职能逐渐细化,积累的数据逐渐增多。在此背景下,对如何构建一个公共信息平台,推广电子政务办公应用进行了探索。