统计机器翻译中大规模特征的深度融合

对循环神经网络和递归神经网络进行改进,提出深度融合的神经网络(DNN)模型,在训练过程中加入大规模特征.该模型有很强的泛化能力,适合于现在主流的自底向上解码样式,融合了2种经典的机器翻译模型:基于短语的层次化文法(HPG)和括号转录文法(BTG).使用改进的循环神经网络,生成适合短语生成过程的短语/规则对语义向量,并在生成过程中使用了自编码器以提高循环神经网络的性能.使用改进的递归神经网络,使它在翻译过程中指导解码,考虑到另一个解码器在解码过程中的信息,互相影响共同提高翻译性能.提出的深度融合模型不仅适合于异类翻译系统,也适合于异类语料.相对于经典的基线系统,在异类系统上该模型的实验结果获得1.0~1.9倍的BLEU分数提高,在异类语料上该模型的实验结果获得1.05~1.58的BLEU分数提高,且进行了统计显著性检验.

一种面向大规模特征集的高效特征匹配算法

针对传统特征匹配(网络和信息安全系统的核心技术)算法的性能随着特征集规模的不断增大而不断下降的问题,提出了一种面向大规模特征集的高效特征匹配算法ALPM。该算法基于传统算法WM的跳跃思想,并结合硬件体系结构的特点,对预处理过程和匹配过程分别采用了不同的优化策略,如采用不同的哈希函数索引Shift表和Hash表,在预处理过程中动态截取特征标志,在匹配过程中结合Cache大小和特征集规模调整哈希函数冲突概率等,以提高匹配的性能。实验结果表明,针对大规模特征集,ALPM算法匹配性能比经典算法提高5～10倍。

大规模特征集翻译系统判别式训练方法综述

由于传统机器翻译是在小规模的开发集上进行训练的,这样不能很好的拟合数据.为了更好的完成机器翻译任务,需要在大规模数据特征集合上进行训练,而且现在主流的机器翻译训练算法是判别式的训练方法,本文从这两个角度出发,在更大机器学习的框架下对于机器翻译任务进行建模,克服了原有机器翻译模型进行建模的时候数学抽象能力不够的问题,并从四个大的方面分析了大规模特征集机器翻译系统判别式训练算法所面临的问题进行了分析,并从文献上给出了相关问题的解决方法.

一种适用于大规模特征集的快速匹配算法

提出了一种适用于大规模特征集的快速匹配算法——SRS算法,该算法性能优异,在特征集达到100000条时,匹配速度比经典算法快10倍以上。该算法适用于内容过滤、防病毒、反垃圾邮件、短信过滤、网络入侵检测和防御等众多领域。

一种适合于超大规模特征集的匹配方法

串匹配技术是入侵检测系统中的关键技术,随着特征数量的增加,现有的自动机类匹配算法都会面对内存占用过大的问题.当特征超过一定数目后,自动机可能根本无法构造.文中提出了一种针对超大规模特征匹配(SLSPM)环境的匹配算法SLSPM.SLSPM算法借助一个块式匹配自动机和若干个普通自动机完成匹配工作,而且能够支持至少上万规模的特征集.与普通匹配自动机先读入状态再判断读入符号的方式不同,SLSPM首先使用散列函数判断当前文本块是否可以被过滤掉.如果文本块无法被过滤且为合法文本块时,再检查当前状态是否是一个能够识别当前文本块的状态.仅在当前状态吻合的情况下再读入下一个文本块进行后续匹配.理论证明显示SLSPM算法具有近似O(n)的复杂度.由于SLSPM算法未能保存全部的跳转信息,其匹配速度相对于高级AhoCorasick算法未有大幅提升.算法的优势在于,该算法在软件环境下能够维持与AC算法相同的匹配性能,而且能够将特征加载规模至少提升至上万以适应超大规模特征集匹配环境.

一种面向大规模短特征集的字符串匹配技术

面向大规模特征集的字符串匹配技术在病毒检测、内容过滤等问题上的应用愈加广泛,而短模式串一直是阻碍性能提升的重要瓶颈。针对短模式串进行分析讨论,基于跳跃算法优化,采用了动态块大小和动态Hash处理以及Hash函数设计场景化的策略,同时探讨了多核处理器与多线程设计之间的关系。实验数据证明改进的算法策略具有支撑百万级特征集字符串匹配的能力。

大规模图像特征检索中查询结果的自适应过滤

针对大规模图像的快速检索问题,提出了面向倒排索引结构的检索方法中查询结果的自适应过滤方法:全面过滤和不完全过滤.目的是在不影响查询精度的前提下,提高查询效率.根据查询特征所在的空间位置,全面过滤通过构造以查询特征点为球心的超球体并自适应地计算半径,只对位于超球体内部的查询结果进行排序,从而减少需要排序的查询结果数量,提高查询效率.在此基础上,为了降低过滤查询结果的时间开销,不完全过滤将倒排列表划分为若个子倒排列表并将对应的聚类中心用于过滤查询结果.为了验证所提出方法的有效性,以一种典型检索方法:基于残差量化的检索方法为应用实例,分别将全面过滤和不完全过滤与该检索方法相结合.此外,为了提高特征量化效率,将一种欧式距离下限定理与残差量化相结合并用于过滤特征量化过程中非近邻聚类中心.通过在公开数据集进行实验,实验结果表明在保证具有相同平均查全率的前提下,全面过滤和不完全过滤都能明显减少基于残差量化的检索方法的查询时间,不完全过滤比全面过滤具有更快的检索速度.此外,非近邻聚类中心过滤可以有效提高残差量化的特征量化效率.

求解大规模矩阵内部特征值问题的精化与修正的精化调和块Arnoldi算法(英文)

调和块Arnoldi方法可以用于求解大规模矩阵的内部特征对,给定一个位移点τ可以用该方法求接近τ的内部特征值及其相应的特征向量.然而,理论分析表明,所求得调和Ritz向量可能收敛非常缓慢,甚至不收敛.为避免这种情况,给出了精化调和块Arnoldi及修正的精化调和块Arnoldi方法.此外,还给出了修正的精化调和Ritz向量和精化调和Ritz向量之间的关系.数值实验结果表明了新算法的有效性.

科学气氛

（上接第１期Ｐ３８）考察影响科学的各种大规模因素主要有以下几个方面：１权力从民族国家转向跨国公司最近几十年来，民族国家的民主力量确实已有了普遍增长，但这一增长被经济实力从而政治权力向跨国公司的转移所抵消。这些跨国公司的运作过程并不民主。在全世界最大...

科学气氛

马凯（ＡｌａｎＬｉｎｄｓａｙＭａｃｋａｙ）博士生于１９２６年９月，英国人，世界著名结晶物理学家、科学学家。英国皇家学会会员，伦敦大学教授。他１９４７年于剑桥大学三一学院毕业，随后入伦敦大学伯克贝克学院读科学学创始人著名物理学家贝尔纳（Ｊ．Ｄ．Ｂｅｒｎ...