A Sharding Scheme Based on Graph Partitioning Algorithm for Public Blockchain

Blockchain technology,with its attributes of decentralization,immutability,and traceability,has emerged as a powerful catalyst for enhancing traditional industries in terms of optimizing business processes.However,transaction performance and scalability has become the main challenges hindering the widespread adoption of blockchain.Due to its inability to meet the demands of high-frequency trading,blockchain cannot be adopted in many scenarios.To improve the transaction capacity,researchers have proposed some on-chain scaling technologies,including lightning networks,directed acyclic graph technology,state channels,and shardingmechanisms,inwhich sharding emerges as a potential scaling technology.Nevertheless,excessive cross-shard transactions and uneven shard workloads prevent the sharding mechanism from achieving the expected aim.This paper proposes a graphbased sharding scheme for public blockchain to efficiently balance the transaction distribution.Bymitigating crossshard transactions and evening-out workloads among shards,the scheme reduces transaction confirmation latency and enhances the transaction capacity of the blockchain.Therefore,the scheme can achieve a high-frequency transaction as well as a better blockchain scalability.Experiments results show that the scheme effectively reduces the cross-shard transaction ratio to a range of 35%-56%and significantly decreases the transaction confirmation latency to 6 s in a blockchain with no more than 25 shards.

MongoDB数据库中Sharding技术应用研究

非关系型数据库的出现,对于解决面向文档的超大规模和高并发的问题提供了卓有成效的解决方案。MongoDB为了提高处理大数据量的性能,提供了分片集群的功能,支持自动分片和划分架构,可以利用它构建一个水平扩展的数据库集群系统,将数据库分表存储在各个Sharding节点上。文中在研究MongoDB特性的基础上,着重分析Sharding技术的应用,通过比较普通和分片这两种情况下的性能测试,提出使用MongoDB中的Sharding技术来解决随着数据量增加带来的数据库的读写性能和效率的问题。

一种改进的数据库Sharding方法

Sharding是用于开源数据库的一种水平扩展解决方案,包含两个主要步骤:逻辑划分和物理映射.对于前者,现有机制通常根据Shard Key采取基于Range或是Hash的方式来实现.然而,基于Range的方法不能够保证数据值域的均衡;基于Hash的方法不适用于范围查询,且当Shard Key不均匀时无法保证数据量的均衡.对于后者,现有机制通常采用一致性哈希来确保存储节点的动态扩展,然而该方法并未考虑数据增减导致Chunk大小变化时的数据均衡机制.为此,提出一种新的负载均衡的Sharding方法:一方面综合考虑上述两种划分方式的优缺点提出一种新的逻辑划分方法,另一方面给出一种Chunk大小变化而导致的不均衡处理机制.实验证明本文提出的方法能够有效保证数据的负载均衡.

Application of Blockchain Sharding Technology in Chinese Medicine Traceability System

Traditional Chinese Medicine(TCM)is one of the most promising programs for disease prevention and treatment.Meanwhile,the quality of TCM has garnered much attention.To ensure the quality of TCM,many works are based on the blockchain scheme to design the traceability scheme of TCM to trace its origin.Although these schemes can ensure the integrity,sharability,credibility,and immutability of TCM more effectively,many problems are exposed with the rapid growth of TCM data in blockchains,such as expensive overhead,performance bottlenecks,and the traditional blockchain architecture is unsuitable for TCM data with dynamic growth.Motivated by the aforementioned problems,we propose a novel and lightweight TCM traceability architecture based on the blockchain using sharding(LBS-TCM).Compared to the existing blockchain-based TCM traceability system,our architecture utilizes sharding to develop a novel traceability mechanism that supports more convenient traceability operations for TCM requirements such as uploading,querying,and downloading.Specifically,our architecture consists of a leader shard blockchain layer as its main component,which employs a sharding mechanism to conveniently TCM tracing.Empirical evaluations demonstrated that our architecture showed better performance in many aspects compared to traditional blockchain architectures,such as TCM transaction processing,TCM transaction querying,TCM uploading,etc.In our architecture,tracing TCM has become a very efficient operation,which ensures the quality of TCM and provides great convenience for subsequent TCM analysis and retrospective research.

一种基于Sharding碎片技术提升分布式非结构化数据库扩展能力的方法

大数据的扩展是分布式非结构化数据库的关键技术,Sharding碎片技术是水平扩展的一种解决方案,能够有效解决单节点数据库服务器的I/O扩展.对Sharding碎片技术的适用环境进行研究的基础上,给出了一种基于Sharding碎片技术的分布式非结构化数据库系统扩展能力提升方法.经验证,该方法能够有效提升分布式非结构化数据库在非事务型大数据处理中的I/O吞吐能力,显著提升数据库扩展能力.

基于Sharding-JDBC的海量北斗数据存储方案

随着北斗产业的快速发展,北斗导航技术在各行各业得到了越来越广泛的应用。本文针对北斗位置服务平台业务数量和应用规模的不断扩大,带来的高并发和海量数据读写性能的问题,提出了基于Sharding-JDBC分表的海量北斗数据存储方案设计。分表后,系统不再对所有数据进行操作,而只需要针对其中某个或某几个分表进行操作,以减小了单表的访问压力和磁盘IO占用。最后使用Jmeter测试工具对数据接口进行测试,结果表明,采用有效的分表方案,能在一定程度上缓解并发压力,并显著提高海量数据的读写性能和可维护性。

A load balance optimization framework for sharded-blockchain enabled Internet of Things

Recently,sharded-blockchain has attracted more and more attention.Its inherited immutabili-ty,decentralization,and promoted scalability effectively address the trust issue of the data sharing in the Internet of Things(IoT).Nevertheless,the traditional random allocation between validator groups and transaction pools ignores the differences of shards,which reduces the overall system per-formance due to the unbalance between computing capacity and transaction load.To solve this prob-lem,a load balance optimization framework for sharded-blockchain enabled IoT is proposed,where the allocation between the validator groups and transaction pools is implemented reasonably by deep reinforcement learning(DRL).Specifically,based on the theoretical analysis of the intra-shard consensus and the final system consensus,the optimization of system performance is formed as a Markov decision process(MDP),and the allocation of the transaction pools,the block size,and the block interval are jointly trained in the DRL agent.The simulation results show that the proposed scheme improves the scalability of the sharded blockchain system for IoT.

星型区块链架构的TKM分片算法

区块链系统的通量严重不足,而解决此问题最有效的一类方案是并行化处理,并行化方案主要为星型架构,当前星型架构对系统中节点的分片方式多为账户随机分片,这种分片方式的系统通量仍然不足。针对此问题,提出了一种基于星型结构的TKM分片算法,该算法将原始K-means聚类算法进行改进,并运用在节点分片上。TKM分片算法将聚类算法与区块链的网络分片技术相结合,使节点根据地理位置进行分片,极大提高邻近节点发生的交易为片内交易的概率,从而提高系统通量,同时在原始算法的基础上引入了时间戳,减少了恶意节点的攻击。仿真实验表明该算法与传统的随机分片算法相比,最大系统通量提高了20%。根据上述通量模型,通过实验得出基于TKM算法的星型区块链系统的最优分片数量。

基于级联编码的区块链分片存储方案

传统区块链存在存储可扩展性难题,现有研究基于纠删码理论降低了区块链存储开销,但在区块的译码恢复时会带来高额的计算与通信开销。为解决以上难题,提出了一种基于级联编码的区块链分片存储方案。通过添加预编码层改进现有无码率纠删码,实现了Ο(n)的编译码复杂度。考虑译码过程中节点间的通信时延差异,提出了基于Metis的时延感知分片算法,通过时延权重决定节点的分片归属,降低译码过程中的通信开销。仿真结果表明,所提方案不仅保证了区块链数据可靠性而且所需的计算开销与通信开销也优于传统方案。

降低跨分片交易比例的区块链分片方法

针对分片技术在优化区块链性能时引起的跨分片交易比例过高、跨分片交易验证复杂的问题,提出一种降低跨分片交易比例的区块链分片方法。首先,从数据分片的角度出发,构造区块链交易分片模型,并给出分片性能评价指标;其次,针对区块链中长期积累的交易数据,从账号关联性角度出发,构造发送方和接收方的交易频次集合;最后,设计考虑交易频次的区块链交易分片算法(FBTS),从而解决交易分片中跨分片比例过高的问题。在分片粒度为2、3、5、7、15、20、30和50的情况下,所提算法在跨分片交易比例、账号平均跨分片次数、账号的加权平均跨分片次数等性能指标方面均优于随机分片算法(RSA)和取模分片算法(MSA)。另外所提算法的大多数账号和交易量都集中分布在低跨分片次数处,说明交易的完成不需要多次跨分片。实验结果表明,所提算法可以有效地降低跨分片交易比例,缩短跨分片的交易的时延。

面向主从区块链的多级索引构建方法

主从区块链是一种面向领域的、采用高效密码学原理进行大数据可信化通信及存储的新型信息处理技术.随着领域数据规模的指数级增长,现有主从区块链系统存在的查询效率低、溯源时间长等问题愈发严重.针对这些问题,提出一种面向主从区块链的多级索引构建方法(multi-level index construction method for master-slave blockchain,MSMLI).首先,MSMLI引入权重矩阵,基于主链结构将整个主从区块链进行分片,并对各个分片进行权重赋值;其次,针对每个分片内的主区块链,提出基于跳跃一致性哈希的主链索引构建方法(master chain index construction method based on jump consistent Hash,JHMI),输入节点关键值和索引槽位数量,输出主链索引;最后,引入布隆过滤器,改进基于列的选择函数,对各个主区块对应的从属区块链构建2级复合索引.在3种约束条件和2类数据集上的实验结果表明,MSMLI对比现有方法,平均能够缩减9.28%的索引构建时间,提升12.07%的查询效率,同时降低24.4%的内存开销.

区块链分片技术研究综述

区块链技术以去中心化、防篡改等功能为特色,具有广泛的应用前景。然而,区块链系统难以支撑大规模海量的分布式数据管理和交易,所以区块链的性能和可扩展性问题成为重要的研究方向。目前,研究人员分别从修改链上的数据结构和共识算法,到添加链下操作技术,提出了一些解决方案,以提高区块链的性能和可扩展性。而其中,随着网络规模的增加,实现水平扩展性的最实用的方法就是分片技术。作为一种链上扩容方式,分片技术是一种将整个区块链网络划分成多个片段的方法,便于同时处理多个交易或合约。每个分片都可以独立运行,拥有自己的交易历史和状态,在不牺牲中心化程度的同时提高了区块链的性能和可扩展性。以往的大量区块链分片技术研究着重介绍了分片中的交易共识,而忽略了分片策略机制与分片架构。为此,首先对现有的分片区块链进行系统分析,将分片区块链的设计过程分为架构设置、节点选择、节点分配、交易分发、交易处理和分片重构等部分,并分析了分片区块链的设计过程的各部分的功能、属性;其次,对分片架构进行了分类和总结,重点研究了各种分片策略与机制,分析了它们的优缺点;之后,对主流的分片区块链系统做了比较,并分析了它们的可扩展性和可靠性,包括系统吞吐量、时延、通信开销、节点随机性、分片安全性和跨片智能合约等;最后,提出未来可能的研究方向。

城固饶家营“张骞墓”札记二则

城固饶家营“张骞墓”是重要的世界文化遗产,1938年经西北联合大学“修理”后得到更好保护。在收集、整理新发现档案资料、原始资料后,认为现在将当时对该墓所做的工作通称“发掘”,不符合当时的目的、经过,以及当事人、当时人记述。对墓中出土“封泥”的性质,应以陈直先生“决不可目为泥封”为正,当回归何士骥先生“字纹陶片”的命名。

基于分片区块链的车联网数据共享方案

高效安全的数据共享对于智能车联网的深度应用至关重要,在相互不信任的车辆之间实现可信的数据共享成为当前研究的热点.区块链技术以其防篡改、可追溯等特点,成为支撑智能车联网数据共享流通的主要途径之一.现有基于区块链的车联网数据共享方案,存在吞吐量小、安全性低等不足.引入区块链分片方法,提出基于机器学习的分片算法,将地理位置相近的路侧单元(road side unit,RSU)划分到同一分片,并迭代单个分片的数据共享最优负载,降低了片内通信延迟进而提高了吞吐量,平衡了不同分片之间的数据共享负载.为避免单个分片的贿赂攻击,提出了基于声誉的片内共识协议与监督人机制.选举具有高声誉的RSU参与片内共识过程,并动态计算RSU的最新声誉.设定声誉度高的RSU担任监督员,监督员可定期对不同分片产生的区块进行合法性验证.通过性能评估和安全性分析,证明方案有助于提升智能车联网数据共享的高效性和安全性.

面向6G物联网设备协同的区块链动态分片

随着物联网规模化应用的不断落地,海量设备协同工作,产生了大量高价值数据。这些数据若得不到有效的安全保障,就容易遭受数据滥用、隐私泄露以及数据篡改等威胁。因此,去中心化、不可篡改、安全的区块链分片网络逐步取代传统的集中式网络,被应用到该场景中。然而,区块链分片网络受限于复杂环境以及高比例跨片协同事务。针对上述问题,提出一种面向6G物联网设备协同的区块链动态分片优化方案。设计分片系统架构,建立整个系统的吞吐量模型、安全模型以及时延模型。在此基础上,提出两阶段分片优化策略。第一阶段采用信誉分级分片策略筛选节点,第二阶段采用基于深度强化学习算法的动态分片策略,降低跨片协同事务比例,决策分片数量。两阶段的设计目的是在保证安全的情况下最大程度地提升整个系统的吞吐量。实验结果表明,在面向物联网设备协同的区块链分片场景下,相较于传统的基于单一的信誉分级分片策略、均匀分片策略或者随机分片策略的方案,所提方案在保证安全性的情况下,平均每轮减少50%以上的跨片协同事务比例,有效地提升了系统的吞吐量。

面向RAFT共识的低能耗无线区块链分片算法

区块链系统由于共识协商需要多轮沟通,会消耗大量的能量。在一些无线网络中,节点电池容量有限,会迅速导致节点能量耗尽和脱机,从而影响共识性能。该文设计了一种面向RAFT共识的低能耗的分片算法,算法将无线区块链网络中的节点限制在基于地理区域的分片上,从而避免节点参与全局共识。同时,还提出了一种分片后的能耗估算方法,简化了分片无线区块链网络的能量计算。在太赫兹和毫米波两个信号场景中得到的仿真结果均验证了该算法的有效性,能耗可降低98.36%,估算方法的最小误差仅为0.40%。

基于PSO-GA的分片区块链系统性能优化方法

在这篇文章中,针对分片区块链(Sharded Blockchain)系统性能优化问题,提出了一种结合粒子群和遗传算法的系统性能优化方法(PSO-GA),目的是为了在尽可能满足当前网络环境情况下,提升其系统吞吐量.该方法考虑分片区块链中节点的计算能力、恶意节点的概率以及节点之间的传输速率等不同网络环境下,找到响应网络状态的最佳分片区块链系统参数;为了避免传统粒子群优化算法陷入局部最优的问题,引入遗传算法中的交叉操作和变异操作,有效提高方法的准确性.通过大量仿真实验对方法的有效性进行验证分析.实验结果表明,相比于其他的方法,本文所提出的方法可以在更短的时间取得更高的系统吞吐量.

基于多维信誉的区块链安全分片方案

区块链面临可拓展性问题.分片通过将区块链网络划分成多个子网络,并行处理交易,从而提升系统性能.但分片易导致恶意节点聚集,发动51%攻击,影响系统安全,现有的单维信誉方案存在重分配过程开销大和分片间共识不足的问题,性能与安全无法保证.针对上述问题,提出基于多维信誉的区块链安全分片方案.首先,综合节点多维指标,保证分片信誉与计算通信能力均衡,识别恶意节点.其次,提出双阶段重分配方案,通过第1阶段部分重分配和第2阶段全部重分配,减少重分配频次,降低开销.最后,设计基于多维信誉的快速拜占庭容错共识(multi-dimensional reputation based fastByzantinefault-tolerantconsensus,MRFBFT),将投票权与信誉结合,并在分片领导节点间增设一次共识,防止恶意行为.实验结果表明,各分片信誉和计算通信水平更均衡,共识时延大约降低20%,吞吐量提升15%左右.

元宇宙中区块链技术的应用、挑战和新策略

近年来,虚拟现实、人工智能等技术的发展,催生出了以沉浸式互联网为核心的元宇宙系统框架。在分析架构元宇宙环境核心技术所面临挑战的基础上,分析了融入区块链技术对元宇宙系统及其相关核心技术的作用,指出了现有区块链运行机制对其在元宇宙环境中应用带来的延迟性和扩展受限等问题。运用分片机制和斯塔克伯格博弈理论,提出了一种新的基于区块链的元宇宙应用策略,设计了相应的用户激励方案,并通过数值实验验证了该方案的有效性。最终,通过分析该策略的优势和面临的问题明确了后续的研究方向。

区块链动态分片自适应模型

分片机制是解决区块链吞吐量低和通信复杂度高等性能瓶颈问题的一种途径。然而在现有的分片系统中,分片之间的交易可以并行处理,这样会不可避免地出现频繁的跨分片交易,相比于片内交易,跨分片交易会增加确认时间。当系统中跨分片交易增多时会导致分片系统效率降低。提出了一种动态分片自适应模型,用于提高区块链平台的吞吐率和效率。将通过交易数据相关性动态地将数据拆分到同一个分片,同时将多个高度相关的分片自适应地合并到同一个分片当中。为了验证区块链动态分片自适应模型,使用超级账本对区块链动态分片自适应模型进行实验。实验结果表明所提出的模型可以提升区块链分片系统的可扩展性,同时保证安全性以及一致性问题。