多核处理器中基于MapReduce的哈希划分优化

针对传统的并行哈希划分算法不能高效地利用多核处理器的并行资源,且不能较好处理有倾斜的输入数据的问题,提出了一种在多核处理器中基于MapReduce的哈希划分算法,并且提出了存储结构优化、多步划分优化、数据倾斜优化3种优化策略。该算法将输入数据分成若干块后提交给各个线程并行处理,并选择合适的策略避免写冲突,使其能够高效地利用多核处理器的并行资源。文中提出的哈希表能够提高cache效率,从而提升算法的整体性能。引入MapReduce模型可使多步哈希划分在Map过程和Reduce过程中分别进行;数据倾斜优化策略能使算法适应有倾斜的输入数据,且具有较好的效果。实验结果表明:在多核处理器中,文中提出的算法能够适应各种分布的输入数据,并且使哈希划分的整体性能得到提升。

一种应用于智能照明的自动组网方法

简要介绍了针对当前智能照明产品在网络组织时的困难,主要是自动化程度不高以及在灯具发生故障时处理上的困难,提出了一种基于芯片识别码的自动组网方案。同时,为了能够对识别码进行有效处理,产生各自不同的组网注册时间,提出采用类哈希处理的方式对识别码进行了划分。同时,为了提高类哈希处理的有效性,进而提出了建立二叉树并通过比较二叉树左右孩子值对识别码进行加权处理的方法。通过这些方法,可以方便的实现网络的自动组织以及故障后更换灯具时的网络组织。

一种针对天猫购物平台的网页URL去重策略研究

本文在分析了Bloom Filter缺点的基础上,结合天猫购物平台网页URL的特征,对网页URL去重策略进行了改进,以此来提高网页URL去重效果及减小Bloom Filter误判率。实验结果表明,改进后的去重策略在针对天猫购物平台网页URL去重时,准确度上要优于传统的Bloom Filter。