一种面向大规模特征集的高效特征匹配算法

针对传统特征匹配(网络和信息安全系统的核心技术)算法的性能随着特征集规模的不断增大而不断下降的问题,提出了一种面向大规模特征集的高效特征匹配算法ALPM。该算法基于传统算法WM的跳跃思想,并结合硬件体系结构的特点,对预处理过程和匹配过程分别采用了不同的优化策略,如采用不同的哈希函数索引Shift表和Hash表,在预处理过程中动态截取特征标志,在匹配过程中结合Cache大小和特征集规模调整哈希函数冲突概率等,以提高匹配的性能。实验结果表明,针对大规模特征集,ALPM算法匹配性能比经典算法提高5～10倍。

大规模特征集翻译系统判别式训练方法综述

由于传统机器翻译是在小规模的开发集上进行训练的,这样不能很好的拟合数据.为了更好的完成机器翻译任务,需要在大规模数据特征集合上进行训练,而且现在主流的机器翻译训练算法是判别式的训练方法,本文从这两个角度出发,在更大机器学习的框架下对于机器翻译任务进行建模,克服了原有机器翻译模型进行建模的时候数学抽象能力不够的问题,并从四个大的方面分析了大规模特征集机器翻译系统判别式训练算法所面临的问题进行了分析,并从文献上给出了相关问题的解决方法.

一种面向大规模短特征集的字符串匹配技术

面向大规模特征集的字符串匹配技术在病毒检测、内容过滤等问题上的应用愈加广泛,而短模式串一直是阻碍性能提升的重要瓶颈。针对短模式串进行分析讨论,基于跳跃算法优化,采用了动态块大小和动态Hash处理以及Hash函数设计场景化的策略,同时探讨了多核处理器与多线程设计之间的关系。实验数据证明改进的算法策略具有支撑百万级特征集字符串匹配的能力。