空间文本数据流上连续k近邻查询(Continuous k-nearest neighbor Queries over Spatial-Textual data streams,CkQST)能在空间文本对象组成的数据流上检索并实时更新k个包含指定关键字的空间邻近对象,是空间文本数据流上连续查询(Contin...空间文本数据流上连续k近邻查询(Continuous k-nearest neighbor Queries over Spatial-Textual data streams,CkQST)能在空间文本对象组成的数据流上检索并实时更新k个包含指定关键字的空间邻近对象,是空间文本数据流上连续查询(Continuous Queries over Spatial-Textual data streams,CQST)的一种,以预订(subscribe)的方式广泛应用于广告定位、微博分析、地图导航等领域.求解CkQST采用CQST的求解框架——构建空间文本混合索引组织查询,利用索引的空间过滤和文本过滤能力,为不断到来的对象匹配查询.该框架的求解效率取决于索引的过滤能力,提高索引过滤能力的主要途径是将查询的空间搜索范围映射到索引结构的最小区域,减少需要验证的查询数量.这一途径适用于查询空间搜索范围很少变化的情况.对于CkQST,覆盖k个最邻近对象的空间范围随着符合文本匹配条件的对象的数量的变化而变化,与之对应的索引项需要同步更新,代价高.针对这一问题,本文选择能够高效支持空间范围变化的Quad-tree和关键字查找的倒排索引,构成空间文本混合索引,组织CkQST.在空间过滤方面,提出内存代价模型VUMBCM(Verification and Update of Memory-Based Cost Model,VUMBCM),通过平衡索引更新代价和验证代价,优化查询空间搜索范围到Quad-tree节点的映射.在文本过滤方面,采用基于块的有序倒排索引,组织Quad-tree节点内的查询,以快速定位需要验证的查询,避免对倒排列表中大量不可能匹配查询的访问;批量处理包含共同文本项的对象,提高文本验证时的对象吞吐量.由此构建的混合索引,称为OIQ-tree.实验表明,OIQ-tree中的代价模型及基于块的有序倒排索引能够支持CkQST的高效求解.与目前先进的索引技术相比,当查询规模达到2000万时,因数据流中对象的变化导致的索引平均更新时间降低了46%,数据流中对象的平均处理时间降低了22%.展开更多
提出了一种基于时间戳和关键字的聚类算法来解决告警数据种类繁多且难以提取关键信息的问题。首先,对告警数据中的最新发生时间进行K-Means聚类;其次,基于告警数据开始时间进行K-Means二次聚类;再次,使用具有噪声的基于密度的聚类算法(D...提出了一种基于时间戳和关键字的聚类算法来解决告警数据种类繁多且难以提取关键信息的问题。首先,对告警数据中的最新发生时间进行K-Means聚类;其次,基于告警数据开始时间进行K-Means二次聚类;再次,使用具有噪声的基于密度的聚类算法(Density-Based Spatial Clustering of Application with Noise,DBSCAN)对每列关键字进行聚类;最后,对结果进行了整合,并给出了关联性描述结果。实验结果表明,通过上述聚类算法构建的告警数据分析与处理模型的平均压缩率为79.28%,平均准确率达到93.41%,能够有效提高对现有告警数据的具象化描述能力,降低告警数据理解的复杂度。展开更多
A co-location pattern is a set of spatial features whose instances frequently appear in a spatial neighborhood. This paper efficiently mines the top-k probabilistic prevalent co-locations over spatially uncertain data...A co-location pattern is a set of spatial features whose instances frequently appear in a spatial neighborhood. This paper efficiently mines the top-k probabilistic prevalent co-locations over spatially uncertain data sets and makes the following contributions： 1） the concept of the top-k prob- abilistic prevalent co-locations based on a possible world model is defined; 2） a framework for discovering the top- k probabilistic prevalent co-locations is set up; 3） a matrix method is proposed to improve the computation of the preva- lence probability of a top-k candidate, and two pruning rules of the matrix block are given to accelerate the search for ex- act solutions; 4） a polynomial matrix is developed to further speed up the top-k candidate refinement process; 5） an ap- proximate algorithm with compensation factor is introduced so that relatively large quantity of data can be processed quickly. The efficiency of our proposed algorithms as well as the accuracy of the approximation algorithms is evaluated with an extensive set of experiments using both synthetic and real uncertain data sets.展开更多
文摘空间文本数据流上连续k近邻查询(Continuous k-nearest neighbor Queries over Spatial-Textual data streams,CkQST)能在空间文本对象组成的数据流上检索并实时更新k个包含指定关键字的空间邻近对象,是空间文本数据流上连续查询(Continuous Queries over Spatial-Textual data streams,CQST)的一种,以预订(subscribe)的方式广泛应用于广告定位、微博分析、地图导航等领域.求解CkQST采用CQST的求解框架——构建空间文本混合索引组织查询,利用索引的空间过滤和文本过滤能力,为不断到来的对象匹配查询.该框架的求解效率取决于索引的过滤能力,提高索引过滤能力的主要途径是将查询的空间搜索范围映射到索引结构的最小区域,减少需要验证的查询数量.这一途径适用于查询空间搜索范围很少变化的情况.对于CkQST,覆盖k个最邻近对象的空间范围随着符合文本匹配条件的对象的数量的变化而变化,与之对应的索引项需要同步更新,代价高.针对这一问题,本文选择能够高效支持空间范围变化的Quad-tree和关键字查找的倒排索引,构成空间文本混合索引,组织CkQST.在空间过滤方面,提出内存代价模型VUMBCM(Verification and Update of Memory-Based Cost Model,VUMBCM),通过平衡索引更新代价和验证代价,优化查询空间搜索范围到Quad-tree节点的映射.在文本过滤方面,采用基于块的有序倒排索引,组织Quad-tree节点内的查询,以快速定位需要验证的查询,避免对倒排列表中大量不可能匹配查询的访问;批量处理包含共同文本项的对象,提高文本验证时的对象吞吐量.由此构建的混合索引,称为OIQ-tree.实验表明,OIQ-tree中的代价模型及基于块的有序倒排索引能够支持CkQST的高效求解.与目前先进的索引技术相比,当查询规模达到2000万时,因数据流中对象的变化导致的索引平均更新时间降低了46%,数据流中对象的平均处理时间降低了22%.
文摘提出了一种基于时间戳和关键字的聚类算法来解决告警数据种类繁多且难以提取关键信息的问题。首先,对告警数据中的最新发生时间进行K-Means聚类;其次,基于告警数据开始时间进行K-Means二次聚类;再次,使用具有噪声的基于密度的聚类算法(Density-Based Spatial Clustering of Application with Noise,DBSCAN)对每列关键字进行聚类;最后,对结果进行了整合,并给出了关联性描述结果。实验结果表明,通过上述聚类算法构建的告警数据分析与处理模型的平均压缩率为79.28%,平均准确率达到93.41%,能够有效提高对现有告警数据的具象化描述能力,降低告警数据理解的复杂度。
文摘A co-location pattern is a set of spatial features whose instances frequently appear in a spatial neighborhood. This paper efficiently mines the top-k probabilistic prevalent co-locations over spatially uncertain data sets and makes the following contributions： 1） the concept of the top-k prob- abilistic prevalent co-locations based on a possible world model is defined; 2） a framework for discovering the top- k probabilistic prevalent co-locations is set up; 3） a matrix method is proposed to improve the computation of the preva- lence probability of a top-k candidate, and two pruning rules of the matrix block are given to accelerate the search for ex- act solutions; 4） a polynomial matrix is developed to further speed up the top-k candidate refinement process; 5） an ap- proximate algorithm with compensation factor is introduced so that relatively large quantity of data can be processed quickly. The efficiency of our proposed algorithms as well as the accuracy of the approximation algorithms is evaluated with an extensive set of experiments using both synthetic and real uncertain data sets.
