高并发集群监控系统中内存数据库的设计与应用

在具有大量并发连接的高并发集群监控系统中,传统磁盘数据库由于内外存交换开销过大,无法支撑数据的实时存储与处理,因此大量实时系统都选择采用内存数据库作为数据支撑模块。从介绍内存数据库的关键技术点出发,通过引入虚拟影子内存和粗粒度意向锁来分别改进内存数据库的数据组织和并发控制,设计实现了一个用于支撑高并发集群监控系统的高效内存数据库模块,并且研究了其在实际系统中的应用情况。

一种改进的内存数据库封锁机制

事务之间的封锁协议一直是数据库领域中的研究重点。在典型的内存数据库系统中,由于事务通常都比较短小,执行速度快,因此事务之间通常采用类似单写多读这样较为简单的封锁控制协议,将不同事务近似串行地分别执行。在事务并发量较高但是相互之间数据交集不大的情况下,可以通过引入粗粒度意向锁和锁粒度变换的方式来进一步提高事务之间的并行程度,加速事务的整体执行,提高事务吞吐量和系统响应速度。

RealMon:处理低质量SNMP数据流的实时监测系统

提出了一个新颖的数据流监测系统RealMon的设计和实现。该系统能够在大量的网络流量数据中通过分析不同数据流之间的关联关系及时地检测出数据异常。通过应用数据流挖掘算法,该系统能够对电信骨干网络的SNMP流量数据进行监测。同时为了解决所采集SNMP数据中存在着的大量数据质量问题,该系统集成了数据流清洗算法,该算法能够实时处理SNMP数据来提高所采集数据的质量。在模拟环境中的测试表明,该系统能够在SNMP数据流上同时对数千条链路进行有效监测。