基于NoSQL的海量航空物流小文件分布式多级存储方法

为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于NoSQL的海量小文件分布式多级存储方法。充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相关性将文件合并,然后采用分布式多级存储,使用内存式Redis数据库做缓存,HDFS做数据的持久化存储,其过程采用预取机制。实验结果表明,该方法有效提高了小文件的存取效率和磁盘的利用率,显著地降低了网络的带宽占用和集群NameNode的内存消耗,适合解决航空领域海量小文件存储问题。

基于B+树的发布/订阅并行匹配算法

现有的消息匹配算法不能很好地满足大规模分布式发布/订阅系统中海量数据的有效分发。为此,提出一种高效的发布/订阅并行匹配算法。采用B+树的存储结构,订阅消息按属性-值进行空间划分,建立多级索引订阅属性树,消息匹配采用改进的B+树查询方法,结合计数的思想实现快速消息匹配。实验结果表明,该算法在大规模分布式发布/订阅系统中,消息匹配时间短,订阅匹配树生成迅速,匹配效果更好。

基于数据库安全保障的审计系统的设计与实现

针对目前大多数据库内部操作不透明,易造成机密信息泄漏、资源滥用等问题,设计了一套数据库审计系统.该系统采取旁路监听的方式,对同一局域网中服务器的指定端口进行流量抓取,获得监听网络数据,通过分析抓取到的网络数据包,将审计信息及时备份到安全的数据库中,以备查找与分析.系统通过监控外界用户对数据库的访问操作,记录操作行为,并及时反馈给审计人员,从而使审计人员能够实时掌握数据库系统的安全状态,有效保障数据库的安全.测试结果表明,系统的有效性和实时性良好.