HDFS数据存放策略的研究与改进

为了改善HDFS中集群负载的均衡性,提高数据节点的资源利用率,提出了一种改进的数据存放策略。在HDFS原始策略的基础上充分考虑了节点的差异性,通过采集数据节点的CPU负载、内存负载、网络负载和存储空间负载,引入负载因子计算数据的存放成本,以选择一个最优的数据节点存放数据。实验结果表明,改进后的策略优化了集群负载的均衡性,提高了数据块副本的传输性能。

Hadoop备份数据存放策略的改进

对于默认的Hadoop备份数据存放策略来说,一旦本地的数据副本发生失效,那么就需通过远端机架上存放的备份数据来实现恢复,而对于默认的备份数据存放策略,备份数据存放节点的选择具有随机性,那么可能带来的问题是不同节点间备份数据存放不均衡,数据恢复时由于距离的因素造成内部带宽的巨大消耗。针对上述问题,提出一种改进的备份数据存放策略。该策略将节点之间的距离,节点的负载以及备份数据恢复次数纳入节点选择的考虑范围,由此计算出每个节点的匹配度,随之选出匹配度最高的节点作为远端机架间的备份数据存放的最优节点。该策略不但实现了节点间备份数据放置的负载均衡,而且兼顾了数据恢复时消耗的内部带宽,将数据副本失效次数纳入考虑,实现了经常失效数据副本的快速恢复。通过在Hadoop平台上实现所提出的改进策略,结果达到了预期的要求。

供电企业营销数据存放方式及管理模式的探讨

论述了供电企业营销数据的2种存放方式(集中式存放方式和分布式存放方式),并对2种方式的优势和存在问题进行分析,提出了数据存放方式选择原则和数据集中存放、集中管理的模式是供电营销管理发展方向的观点。

一种数据安全存放的算法

系统中非常重要的数据如何存放才是最安全可靠的 ,这是任何信息系统都必须处理的关键问题 .把重要数据分组存放于不同点 ,等实际需要时再从部分存放点取出合成是一种非常好的数据保存方式 .本文比较具体地介绍了一种简单实用的算法 ,此方法比较好地解决了重要数据不会被非法得到 :即小部分存放点不可能依据自己存放的数据得出整体数据 。

管理数据空间 利用新的选项存放LOB和分区数据

SQL Server 2000只有两个对象：数据表和索引占用磁盘空间；只存在三类页：索引页、数据页和存放LOB数据的第三类页用于存储用户数据。SQL Server 2005中增强的存储模型扩展了占用空间的对象的数量和类型，并赋予用户存储变长LOB数据的更灵活的选择，还增加了将分区数据存放到不同位置的功能。本文详细介绍了SQL Server 2000的基本存储模型，以及SQL Server 2005如何管理数据的磁盘空间。

CD—ROM盘中数据的存放方式

为便于说明,本文将CD-ROM盘中数据的存放方式与我们所熟知的磁盘(包括软盘和硬盘)中的数据存放方式相比较。 1.磁道 磁道(包括软盘和硬盘)格式化后,被划分为磁面(对于软盘来说有两个磁面),每面分成若干磁道(对于容量为1.44MB的3.5英寸软盘,每面有80个磁道)。磁盘上的磁道是一簇半径不同的同心圆,如图1(a)所示。

数字化校园公共数据管理平台需求及设计分析

为进一步提升教学管理效率,各大高校纷纷尝试引入信息管理系统,创建数字化校园。部分高校所使用的信息管理系统缺少统一规划,系统内数据流通不畅,数据格式、数据存放、统计也较为混乱,造成“信息孤岛”问题,不仅浪费教学资源,还对数字化校园建设产生了消极影响。

浅析人口库数据建设及其应用

昆山市政府对运用大数据技术整合人口数据非常重视,抓早抓实,取得显著的成绩。本文就昆山市运用大数据技术进行系统建设框架、人口库基础数据采集、人口库基础数据开发应用三个方面做一浅析。一、系统建设框架。昆山作为苏州大市下面的一个县级市,在建设自己的人口基础数据库时,以电子政务外网为依托,将苏州市人口基础数据库为交换枢纽,通过数据解析、清洗、比对、校验、加工等一系列过程从苏州市人口基础数据库中定时抽取数据存放于昆山本地数据库中,并将本地采集的教育、医疗、人社等相关数据推送给苏州,形成与苏州市级人口数据的共享互补。

Sybase数据库自动备份与自动异地存放的实现

一、问题的提出 Sybase数据库系统已被广泛应用于各企事业单位的计算机信息系统中,其先进的复制服务器技术是实现数据库实时异地备份的很好途径,但该技术实现难度较大,需要的投资也较大,一般中小型企业用的比较少.

云环境下船舶电力数据中心架构及关键技术研究

云计算快速发展,其应用的范围越来越广泛。本文将其应用于船舶电力数据中心的架构,可以有效地从服务器虚拟化的角度来提高资源的利用。在船舶电力数据中心每天新增的数据是海量的,为保证数据的存放安全和智能性,将数据挖掘和Co Hadoop相结合实现了船舶电力系统的可靠性调度。最后进行仿真,并对实验结果进行分析。

升迁数据容灾系统如何选择磁盘阵列

存储硬件不再是简单的数据存放设备。在升级或迁移系统时选择适合自己需求的磁盘阵列,关系到系统未来的管理和安全。

基于Surpac软件的地质数据库研究

Surpac软件是由澳大利亚国际软件公司开发的大型矿业软件包,可应用于地质、测量、采矿设计及管理等,具有出众的3D图形功能,实用性极强,目前已有90多个国家在使用。本文主要通过将钻井数据进行综合分析和处理,讨论以Surpac为技术平台建立矿山地质数据库的方法。(1)Surpac的地质数据库功能模块数据库是一种有效的管理数据的工具。

使用中间件TongLINK/Q实现应用级数据复制

规划电力营销管理信息系统的总体结构 ,必然涉及数据是集中还是分布存放的问题 ,采用何种方案需要对主机、系统软件、通道等各项费用进行综合考虑。在选定数据分布存放的方案后 ,必须解决上下级系统间的数据复制问题。不同于复制数据本身这种传统的复制方式 ,文中使用中间件和交易复制技术实现了应用级的数据复制 。

基于实时数据库数据的一线场站报表应用系统设计与实现

中国石油西南油气田公司川西北气矿通过生产信息化、SCADA、物联网等项目建设已基本实现了一线场站开发生产数据的实时采集和远传。开发生产实时数据采集工作是底层数据从现场仪表通过RTU采集后,再传入场站SCS(站控系统),再由作业区RCC(区域控制中心)将数据传至气矿DCC(地区调度中心),最终将数据存放在西南油气田公司GMC(总调指挥中心)开发生产实时数据平台中,供A2(油气水井生产数据管理系统)、A5(采油与地面管理系统)等各大应用系统对其调用,依托物联网完善建设工程、作业区数字化管理平台、设备管理系统等现有应用技术及采集数据,以大数据分析、计算技术为基础,为进一步提高数据综合应用率提供支撑。

数据仓库信息生命周期管理的应用

随着IT技术的发展，越来越多的企业建立了数据仓库系统来管理数据并挖掘信息的价值。经过多年的数据积累，数据仓库系统中可能保存了TB级的数据。为了使这些数据财富发挥其应有价值，首先要解决数据存放和访问的问题。如果处理不好极有可能出现下列状况：

多管齐下让网盘数据更安心

网盘的兴起让无数网友丢掉身边的U盘,转而使用快捷方便的网络硬盘.但如何使网盘数据存放安全并且用得舒心,没有多重治理恐怕险象环生.

解读内存数据库的存储需求

随着处理器运算能力的提升，降低CPU与数据之间的延迟变得更加迫切，这使得本地闪存以及PCIe解决方案变得越来越流行。但是如果这种方式对性能的提升还不能满足企业的需求时，我们可以将数据直接存到系统内存当中。这就是内存数据库背后的理论，它们将数据放到内存当中来实现性能提升的最大化。内存数据库会将运转中的数据存放到系统内存当中，根据每张表的特定用例来判断其是否需要DRAM来加速。

打响电脑系统保卫战(1)——做好数据备份

“糟糕!昨天写的日记怎么找不到了?放哪里去丁?明明放在桌面上,怎么今天就没有了呢?”“电脑中病毒了,很多重要文件都不见了……这可是我几年的资料啊!”“遭遇黑客攻击,把我制作的网站给黑了……只有再辛苦重做了!”“刚刚做完的作品放到软盘上,却发现软盘坏了,白忙了一场……”你是否也遇到过这样的情况呢?想一想,电脑里什么对我们最重要?当然是电脑数据了,特别是那些我们辛辛苦苦收集的资料和制作的作品,所以在与木马、病毒对抗的过程中,最重要的是做好数据和电脑系统的备份,这样才能防患于未然。从本期开始,我们将用一个系列文章教大家提前动手,做好电脑系统和资料的防护工作。

汽车半轴楔横轧模具计算机辅助设计

针对楔横轧多楔精密成形汽车半轴模具设计计算和制造复杂难题,本文利用VB可视化程序对PRO/E进行二次开发,编制了汽车半轴楔横轧多楔模具的通用计算程序,计算出主楔和侧楔的端面移动量、轧齐曲线等数据,并将所有结果数据存放至Access数据库中,在PRO/E下生成三维实体模型,从而实现汽车半轴楔横轧多楔模具的计算机辅助参数化设计,为汽车半轴的规模化生产提供有效的数值工具。