轨迹数据的非关系管理及相似性分析

针对高动态、半结构化的轨迹数据,充分利用文档型非关系数据库Mongo DB的特性,本文首先提出了一套分层、分区、分片的存储策略,设计了以整条轨迹为基本粒度的非关系组织模型,能够有效应对轨迹数据的海量性和动态性挑战。然后据此开展轨迹相似性分析的研究,提出了一种兼顾时间维和轨迹形状的轨迹相似性度量方法 DTWEUCLI,可计算长短不一且含有噪声的轨迹数据之间的相似性。最后基于轨迹的非关系存储和相似性计算,开展了轨迹簇生成的试验与分析,设计实现了基于轨迹相似性计算的轨迹聚类计算框架。基于3个轨迹数据集的试验表明,DTWEUCLI算法能够对多源轨迹数据集进行有效聚类,输出轨迹簇。

面向海量非结构化数据的非关系型存储管理机制

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。