基于HAMA的半监督哈希方法

在海量数据检索应用中,基于哈希算法的最近邻搜索算法有着很高的计算和内存效率.而半监督哈希算法,结合了无监督哈希算法的正规化信息以及监督算法跨越语义鸿沟的优点,从而取得了良好的结果.但其线下的哈希函数训练过程则非常之缓慢,要对全部数据集进行复杂的训练过程.HAMA是在Hadoop平台基础上,按照分布式计算BSP模型构建的并行计算框架.本文尝试在HAMA框架基础上,将半监督哈希算法的训练过程中的调整相关矩阵计算过程分解为无监督的相关矩阵部分与监督性的调整部分,分别进行并行计算处理.这使得使得其可以水平扩展在较大规模的商业计算集群上,使得其可以应用于实际应用.实验表明,这种分布式算法,有效提高算法的性能,并且可以进一步应用在大规模的计算集群上.

3D点云BSP并行计算模型及算法设计

根据3D点云数据处理计算特点,按照BSP模型的技术思想,建立了3D点云BSP并行计算模型。讨论了HAMA框架下的3D点云BSP并行计算模型的实现方法,构建了一个由普通PC组成的HAMA计算集群。以3D点模型构建计算为例,给出了一种3D点云数据处理BSP算法设计方法。实例的计算结果表明:BSP并行计算方法能高效地完成3D点模型构建计算,与其它计算方法相比,计算效率有所提高。

基于BSP的SPARQL基本图模式查询算法

随着语义网的不断发展,发布在互联网上的资源描述框架(RDF)数据达到百亿级三元组规模,并且呈现几何增长趋势,针对RDF数据的单机SPARQL查询方法已经不再适用。为此,提出一种基于整体同步并行(BSP)模型的SPARQL基本图模式查询算法。根据RDF有向图数据特性及基本图模式定义,将整个查询过程分成匹配和迭代2个阶段,在匹配出所需查询的三元组模式后,通过迭代使部分解逐步逼近完全解,得到最终查询结果。利用HAMA分布式计算框架进行算法实现,实验结果表明,与基于MapReduce的SPARQL查询算法相比,该算法具有较高的查询效率,能为大规模RDF数据的快速SPARQL查询提供支持。