强快照与强提交读隔离的多键云事务实现方法

当前云环境的存储系统一般只提供弱一致性和单键事务的数据访问功能,具有强一致性或多键事务需求的应用只能自行检测一致性或进行事务管理,增加了云应用开发的复杂度。这些要求高一致性和高可用性的云应用,对云存储系统的事务实现提出了新的挑战。在Megastore串行化事务实现方案的基础上,提出了基于读写集对比的事务强快照隔离和强提交读隔离方案,将并发事务之间读写冲突的判断提前,从而减少冲突事务回滚时引发的额外消耗。基于云存储系统Cassandra实现了两种方案,并针对云应用事务的访问模式,设计了实验验证框架。通过与Megastore事务实现方案的对比,验证了强快照和强提交读事务隔离方案能获得更高并发度的优化效果。

基于着色Petri网的HDFS数据一致性建模与分析

HDFS分布式文件系统作为Apache Hadoop的核心组件之一,在工业界得到了广泛应用.HDFS采用了多副本机制保证数据的可靠性,但是由于多副本的存在,在节点失效、网络中断、写入失败时可能会导致数据不一致.与传统文件系统相比,HDFS被认为其数据一致性有所降低,但用户并不知道何时会出现不一致的情况,目前也没有相关工作对其一致性机制进行验证说明.当数据存在一致性问题时,会增加上层应用的不确定性.可见,对数据一致性的研究十分必要.HDFS的软件规模庞大,且在分布式环境下运行,针对这些特点,采用了着色Petri网建模和状态空间分析的方法,完成了以下工作:(1)使用着色Petri网对HDFS的读写流程建立模型,该模型详细刻画了HDFS内部各个组件的功能及相互协作的机制;(2)基于着色Petri网模型,使用状态空间工具分析了HDFS的数据层一致性和操作层一致性,验证并详细说明了HDFS出现不一致的条件;(3)在分析过程中,提出了“时点重复读”的操作层一致性验证方法,采用串行化的重复读策略降低了状态空间复杂度.基于以上工作,针对HDFS上层应用的开发给出建议,帮助提高应用的数据一致性.此外,在建模过程中提出的建模技巧给基于CPN Tools工具分析其他系统提供了借鉴.

支持大规模监测数据分析的LaUD-KV聚集操作扩展

结合当前维护、维修和大修行业对于大数据存储和查询的需求,对当前工业数据存储方案和大数据查询模式的优缺点进行了研究和分析,提出一套在分布式存储环境下工业大数据的聚集函数查询框架和对应算法。基于现有的LaUD-KV存储模式和LaSQL语言,实现了一套能满足工业大数据查询需求的类SQL聚集函数,使得在数据过亿的情况下,系统对于聚集查询的响应时间缩短为原有的30%左右,同时为上层的维护、维修和大修监测平台提供了技术支持。