基于MapReduce的文本语句向量算法实现

文本语句向量算法是针对文本语句元素提炼成为向量进行计算的一种文本比对算法,但是在处理海量数据和高维度矩阵时由于内存和I/O等资源的局限,该算法受到极大的影响。针对文本语句向量的相关特点,提出了基于Map Reduce模型的实现文本语句向量算法的方法,Map函数完成对向量的划分和文本的解析,Reduce函数完成文本语句属性的比对和结果的新构建。实验结果表明:在大数据的环境下使用Map Reduce并行算法模型的文本语句向量计算效率性和可拓展性有进一步的提升。