Scheduling transactions in mobile distributed real-time database systems

A DMVOCC-MVDA(distributed multiversion optimistic concurrency control with multiversion dynamic adjustment)protocol was presented to process mobile distributed real-time transaction in mobile broadcast environments.At the mobile hosts,all transactions perform local pre-validation.The local pre-validation process is carried out against the committed transactions at the server in the last broadcast cycle.Transactions that survive in local pre-validation must be submitted to the server for local final validation.The new protocol eliminates conflicts between mobile read-only and mobile update transactions,and resolves data conflicts flexibly by using multiversion dynamic adjustment of serialization order to avoid unnecessary restarts of transactions.Mobile read-only transactions can be committed with no-blocking,and respond time of mobile read-only transactions is greatly shortened.The tolerance of mobile transactions of disconnections from the broadcast channel is increased.In global validation mobile distributed transactions have to do check to ensure distributed serializability in all participants.The simulation results show that the new concurrency control protocol proposed offers better performance than other protocols in terms of miss rate,restart rate,commit rate.Under high work load(think time is 1s)the miss rate of DMVOCC-MVDA is only 14.6%,is significantly lower than that of other protocols.The restart rate of DMVOCC-MVDA is only 32.3%,showing that DMVOCC-MVDA can effectively reduce the restart rate of mobile transactions.And the commit rate of DMVOCC-MVDA is up to 61.2%,which is obviously higher than that of other protocols.

Weak Serializable Concurrency Control in Distributed Real-Time Database Systems

Most of the proposed concurrency control protocols for real time database systems are based on serializability theorem. Owing to the unique characteristics of real time database applications and the importance of satisfying the timing constraints of transactions, serializability is too strong as a correctness criterion and not suitable for real time databases in most cases. On the other hand, relaxed serializability including epsilon serializability and similarity serializability can allow more real time transactions to satisfy their timing constraints, but database consistency may be sacrificed to some extent. We thus propose the use of weak serializability(WSR) that is more relaxed than conflicting serializability while database consistency is maintained. In this paper, we first formally define the new notion of correctness called weak serializability. After the necessary and sufficient conditions for weak serializability are shown, corresponding concurrency control protocol WDHP(weak serializable distributed high priority protocol) is outlined for distributed real time databases, where a new lock mode called mask lock mode is proposed for simplifying the condition of global consistency. Finally, through a series of simulation studies, it is shown that using the new concurrency control protocol the performance of distributed real time databases can be greatly improved.

A dynamic crash recovery scheme for distributed real-time database systems

Recovery performance in the event of failures is very important for distributed real-time database systems. This paper presents a time-cognizant logging-based crash recovery scheme （TCLCRS） that aims at distributed real-time databases, which adopts a main memory database as its ground support. In our scheme, each site maintains a real-time log for local transactions and the subtransactions, which execute at the site, and execte local checkpointing independently. Log records are stored in non-volatile high- speed store, which is divided into four different partitions based on transaction classes. During restart recovery after a site crash, partitioned crash recovery strategy is adopted to ensure that the site can be brought up before the entire local secondary database is reloaded in main memory. The partitioned crash recovery strategy not only guarantees the internal consistency to be recovered, but also guarantee the temporal consistency and recovery of the sates of physical world influenced by uncommitted transactions. Combined with two- phase commit protocol, TCLCRS can guarantee failure atomicity of distributed real-time transactions.

Quasi Serializable Concurrency Control in Distributed Real-Time Database Systems

This paper formally defines and analyses the new notion of correctness called quasi serializability, and then outlines corresponding concurrency control protocol QDHP for distributed real-time databases. Finally, through a series of simulation studies, it shows that using the new concurrency control protocol the performance of distributed real-time databases can be much improved.

ACTIVE-A Real Time Commit Protocol

Many existing real time commit protocols try to improve system performance by allowing a committing cohort to lend its data to an executing cohort, thus reducing data inaccessibility. They block the borrower from sending WORKDONE/PREPARED message and restrict them from lending data so that transaction abort chain is limited to one. Thus, transaction execution time increases. This paper proposes a modified real time commit protocol for distributed real time database systems (DRTDBS), Allow Commit Dependent and in Time borrowers for Incredible Value added data lending without extended abort chain (ACTIVE), where borrower cohorts are categorized as commit and abort dependent. Further, the commit dependent borrowers can lend data to executing cohorts with still limiting the transaction abort chain to one only and reducing the data inaccessibility. Also, an incoming executing cohort having borrowing factor greater than one can only borrow the dirty data items from lender. This minimizes the fruitless borrowing by the cohort. The performance of ACTIVE is compared with PROMPT, 2SC and SWIFT protocols for both main memory resident and disk resident databases with and without communication delay. Simulation results show that the proposed protocol improves the system performance up to 4% as transaction miss percentage.

基于PAS-300M DCS平台的监控软件设计与实现

基于国电南京自动化股份有限公司新一代的分散控制系统PAS-300M的硬件平台,采用Visual C++、eXtremeDB、SQLServer和VBA等开发工具和网络通信协议,设计并实现了分散控制系统的软件。介绍分散控制系统PAS-300M系统软硬件总体结构,重点分析了监控组态软件的设计与实现。介绍了其中的关键技术即实时内存数据库eXtremeDB技术、数据库组态及图形组态软件、监控画面的分析与设计等。

基于分布式内存数据库的HIRFL-CSR真空监控系统

简要介绍了国家"九五"重大科学工程——兰州重离子加速器冷却储存环(HIRFL-CSR)真空监控系统的总体结构,分析了在Web构架下,基于分布式内存数据库的多层真空监控系统的实现方法。采用分布式内存数据库,解决了基于Web构架的分布式实时应用环境下对系统和网络资源的消耗问题。在软件控制方面采用了统一调度,既简化了软件实现过程,又提高了系统的安全性、高效性和易维护性。该系统已成功运行。

分布式实时数据库的通用自动化测试方法研究

为提高大型分布式实时数据库的软件测试效率,面向数据库数据采样和存储标准符合性的测试需求,本文提出了一种测试设计左移的自动化测试方法,并在此基础上构建了数据型自动化测试用例形式的自动测试模型,实现了用例开发、执行和运维的自动化测试系统。实际应用证明该方法提高了数据型自动化用例的生成效率、易维护性、可读性和兼容性,提升了自动化测试用例转化效率和执行效率,满足了数据型接口功能测试需求。

基于分布式技术的旅游信息实时分析平台设计

针对旅游不断发展带来的旅游信息庞大繁杂,无法及时进行汇总分析的问题,提出基于分布式技术的旅游信息实时分析平台。信息分析平台以分布式结构为基础框架,结合物联网进行数据感知与处理。通过对旅游信息的数据特征进行采样提取,进行旅游信息的分析处理。构建分布式检测模型,以期及时有效分析处理旅游信息;对旅客进行有效的旅游导览,便于进行下一步的旅游决策。通过对比实验分析,结果显示,基于分布式技术的旅游信息实时分析平台对旅游信息的分析更加高效准确。

基于MDRTDB并发控制协议DHP-2PL的研究

并发控制协议是确保数据库性能目标的一个关键问题,对移动分布式实时数据库(Mobile Distributed Real-time DataBase,简称MDRTDB)并发控制协议-分布式高优先级两段锁协议(Distributed High Priority two Phrase Locking protocol,简称DHP-2PL)从两个方面做出了改进:一是采用动态优先级分配策略,能够缩短实时事务执行的等待时间和避免饥饿现象的产生;二是为了增加并发度在加锁机制中使用混合加锁粒度,同时能够减少加锁开销。最后通过模拟应用环境的性能测试表明,这两方面的改进更好地满足了事务截止期的要求,提高了移动实时事务的成功率。

基于Spark Streaming的气象自动站实时流处理与存储系统

在当前大数据技术蓬勃发展的时代,人们对气象数据的实时处理、数据质量、数据存储及大规模查询等要求也越来越高。针对现有气象自动站数据业务落地环节多,任务处理耦合紧但系统部署分散等问题,文中基于Spark Streaming的流式计算框架,研究使用Flume解析收集自动站原始数据,在Spark Streaming中设计融入自动站数据质控算法,最终通过对分布式数据库存储的表设计,使气象自动站数据具备高效率、高质量、高可靠的应用服务能力。性能测试结果表明,基于Spark Streaming的气象自动站数据实时流处理与存储系统,数据从文件采集、解码、流处理至入库的全流程能够在秒级完成,TB级数据查询响应为毫秒级,加权查询为秒级,完全满足自动站数据业务应用需求,从而为进一步提高气象自动站数据质量与服务水平提供基础支撑。

基于PI实时数据库的低压配电网降损辅助决策方法

为进一步提高低压配电网的降损效果,提出一种基于PI实时数据库的低压配电网降损辅助决策方法。通过工厂信息(plant information,PI)实时数据库计算低压配电网中的三相相线和中性线线损,判断出中性线负荷不平衡极易导致出现较大的损耗;将温度作为影响低压配电网损耗的主要因素,凭借增加低耗能变压器占比、增加导线截面积以及优化配电网运行方式,完成配电网降损决策。并在某市树干式低压配电网中进行试验测试。测试结果表明:所提方法可以有效改善配电线路负荷不平衡的情况,对比未降损前的各相相线和中心线损耗,降损后的损耗值出现了明显下降趋势,且所提方法的总线损率相对较低,各相线损均控制在2%以内。

电网调控系统集群分布式实时数据库关键技术

随着特高压和新能源项目的建设,需要监控的数据点数急剧增多,对电网监控系统的数据库容量和实时性要求日益提高。传统只是作为关系库缓存、查找完全依赖Hash算法的实时数据库因存在数据库下装、查找速度均随数据点数增多而变慢的问题而面临较大挑战。本文分析电网调控系统中实时数据库的实时性和一致性这两个核心问题,通过对象线性转换定位、指针级紧耦合访问等方案解决实时性的问题,通过增加数据版本、支持增量和全量同步等方案解决一致性的问题。在包含60多个计算机节点、200多万监控数据点的地区级配电网主站项目的工程实践中验证了上述方案的可行性。

基于分布式实时数据库的线损一体化监测方法

针对数据特征量提取能力较差、难以准确监测出线路波形的问题,基于分布式实时数据库提出一种新的线损一体化监测方法。以区段为单位,从负荷形状数据中提取线损参数,并计算负荷形状系数、线损参数。将分布式实时数据库中的数据片段融入到各类节点中,形成等效节点网络,在等效节点网络中形成节点容量矩阵能够更有效地计算出支路功率。在线损四分监测与线损异常监测两个角度建立线损一体化监测模型,对比计算实时线损数值与线路分支接头处线损数值,判断是否存在窃电行为。实验结果表明,基于分布式实时数据库的线损一体化监测方法能够很好地提取数据特征量、分析线路波形、得到更准确的监测波形、提高监测效果、实现线损一体化监测。

城市天然气智慧管控平台建设与运行管理

进入21世纪,随着IT技术、网络技术、管理技术的发展,生产型企业的管理层逐渐意识到“管理出效益”的重要性,早期一个生产企业一般就有一两个信息化系统,类似SCADA系统、视频监控系统、OA系统等。管理层在原先“只监不管”基础上,逐渐投资建设相关信息化系统,如GIS系统、巡检系统、综合调度系统、智慧燃气等,结合相关的管理措施,使得企业的生产效益得到了有力的提升。

基于组件技术的电力系统实时数据库平台

组件技术是近年来计算机软件开发的一个重要发展方向 ,IEC6 1970系列就是基于组件技术的电力系统数据互操作标准 ,它对电力调度自动化系统平台的标准化具有重要意义。作者介绍了基于组件技术的电力调度实时数据库管理系统。

电网调度广域分布式实时数据库系统体系架构和关键技术

实时数据库是电网调度自动化系统的核心组成部分,目前的实时数据库主要在一个系统的局域范围内提供实时数据服务,无法支持多个系统间广域范围的实时数据存储和共享。文中分析了现有电网调度自动化系统实时数据库的系统架构,在此基础上提出了适用于广域环境的电网调度分布式实时数据库系统体系架构,讨论了该架构下实时数据的存储、定位、冗余、同步、安全等关键技术,并展望了其应用前景。

电网调控集群分布式实时数据库的设计与关键技术

为解决电网调度控制系统大规模实时数据的处理性能问题,设计了一种集群分布式实时数据库,通过分布式技术实现海量数据存储,并使用集群技术实现数据的统一访问和管理。对集群分布式实时库架构及所使用的分布式存储技术、分布式数据定位技术和分布式访问技术进行了讨论,解决了调度控制系统实时数据的灵活分片、分布式存储和快速定位问题。最后通过测试和现场运行验证了集群分布式实时数据库能在确保系统高可靠性的条件下,实现实时数据的高性能访问。

改善Linux核心可抢占性方法的研究与实现

随着开放源码的Linux应用逐渐普及 ,改进Linux的性能 ,使其适用于实时领域成为一个极具潜力的发展方向 .在参考了与此相关的研究的基础上 ,该文对改善Linux核心可抢占性的方法提出了 3个改进措施 :中断管理进程化、改进互斥锁的机制和增加互斥锁协议支持 ,并在Linux 2 .2系列的核心上加以实现 .试验证明 ,这些改进达到了减少系统的抢占粒度 。

DCS组态软件实时数据库系统的设计

实时数据库系统是DCS组态软件体系结构的关键部分。通过分析实时数据库的特点和DCS系统的使用要求,提出了采取传统数据库系统、文件系统和内存数据库系统兼用的多种存储介质来构建的实时数据库系统,并利用DLL来建立动态实时数据库,从而实现代码和资源共享,进而实现任务间的快速通信。最后给出了实时数据库及相关数据模型的实现方法实例。