数据存储技术在分布式数据库中的应用

随着科技的迅速发展,信息化时代、大数据时代已经到来,数据的使用范围在不断扩大,数据的功能也在不断扩展。近年来,分布式数据库开始出现,分布式数据库的出现更好的满足了用户的信息处理需求,推动了社会的进步和发展。但分布式数据库在使用的过程中需要关联较多的储存场地,在使用远程场地中储存的数据时往往要付出额外的代价,因而现阶段急需寻找新的数据储存技术来减小此代价。本文正是以此为背景,阐述了分布式数据库的概念,分析了分布式数据的体系结构,探讨了分布式数据库中的数据储存技术。

发力金融信创,神通数据库助力行业创新变革

近年来,信创的洪流滚滚而来,金融行业正经历着向数字化、智能化高速发展的进程,需要通过业务变革、技术创新等形式,提供给客户更加智能、便捷、优质的金融服务。如何实现关键底层技术突破、软硬件国产化适配和行业应用落地,成为金融信创发展的关键因素。

面向分布式数据库的自适应多级缓存机制分析

随着科技的迅速发展,大数据时代已到来,数据的使用不仅仅方便了人们的日常工作,还推动了社会的迅速发展。就目前而言,分布式数据库已建立并且得到了广泛的应用。但在其使用的过程中由于数据分散储存在不同的场地和数据节点,使得数据在使用和访问的过程中会导致节点间的不平衡,降低分布式数据库的整体性能,因而现阶段探寻新的分布式数据库缓存机制越来越重要。笔者以此为背景,从分布式数据库的系统概述出发,阐述了面向分布式数据库的自适应多级缓存机制的关键策略和实现算法,希望对分布式数据库的发展有一定的帮助。

一种安全可靠大数据存储平台的设计

基于目前国产通用关系型数据库软件,提出大数据适应性改造方案.该方案基于行列混合的压缩存储引擎(hybrid column compression,HCC),解决大数据的磁盘I/O读取性能问题,并降低了存储采购成本;利用智能索引、Hash索引、子串索引和自定义分词索引技术,解决大数据精确查询的性能问题;采用多机并行计算技术(multi-machine parallel,MPP)和多CPU核心并行计算技术(multi-CPU core parallel,SMP),解决大数据统计分析性能问题;通过数据全生命周期管理,解决大数据硬件资源优化分配问题;构建在线平滑扩展的完全无共享平台架构,解决大数据膨胀带来的系统扩展性问题;通过云化的大数据安全框架,设计了分布式的大数据安全解决方案;在应用改造方案中设计并实现了大数据存储平台,通过测试与应用效果分析,验证了技术方案的合理性,平台的技术指标接近国外同类产品的目标.

Spark协同过滤算法扩展性测试与分析

机器学习算法的线性扩展性要求算法的计算性能随节点数增加保持接近线性增长。针对当前ALS算法扩展性测试的不足,提出一种多维度扩展性测试方法,通过横向测试进行扩展性测试,使用纵向测试确定扩展性瓶颈。结合真实数据集在Spark MLlib上进行测试,实验结果表明,该算法对节点敏感,会出现任务聚集到某个节点上的问题,同时随着任务并行度增加,算法执行时间增加,效率降低。

论软件架构风格在航天软件中的作用

随着国家航天技术的迅猛发展和广泛应用,数字化控制、数据化分析已经广泛应用于具体实践中,数据资源的地位作用日益凸显。本文通对航天领域航天器飞行控制数据实时分析平台的软件架构研究,结合现有航天器飞行控制系统发展情况,阐述了C/S、虚拟机、隐式调用软件架构风格在航天领域的应用,探讨了在大型信息系统工程项目中软件架构风格对于指导软件系统功能的实现、成本的降低、质量的改进、按时按需交付产品所起到的关键作用。

神通大数据平台在政务领域的应用

在大数据领域，我们是一家做数据底层分析产品的公司，聚焦于数据库的领域，我从这个角度来谈下对大数据的一些理解和思考以及公司的实践应用。数据库的发展是从20世纪60、70年代，有了计算机之后在国外逐渐发展起来，那个时候的数据库并不像现在的数据库，最早的一批数据库是层次型的或者是网状型的，或者是对仗型的。到了2006年以后，Google的三篇论文撬动了大数据这个概念的快速发展。十年之后的今天，大家对于大数据的认识已经初步到位了，并且大家已经明确了大数据要去融合、开放，实现一些深层次的数据分析和挖掘，政府也在确定自己的位置，企业也在找准自己的位置。

基于CMMI质量管理体系引入敏捷方法的实践

针对依据CMMI模型进行质量管理的组织如何使用敏捷方法的问题,概述CMMI模型和敏捷方法的基本特点,单独使用CMMI或者敏捷方法时遇到的问题,分析了CMMI模型和敏捷方法的互补互利关系,说明依据CMMI建立的质量管理体系引入敏捷方法的可行性。针对组织初次引用敏捷方法时,介绍项目在项目已定义过程中引入Scrum和持续集成等敏捷方法的具体实践。

工商及电力数据的审计融合策略初探

审计大数据的综合利用面临一个重要障碍是如何融合不同领域的数据。其中，工商数据记录了众多市场主体的注册信息，电力数据则能非常客观地反映了经济社会主体的“活力”。这两类数据的相互融合既可以从微观上揭示“两高一剩”等特定类型企业的实际生产经营状态，也能从宏观上反映区域、行业的真实发展动态。笔者结合审计数据分析经验，对工商和电力数据的融合策略进行初步探索，以期对其他领域的审计大数据综合分析能有所助益。