校园导航系统Easy Nav的设计与实现

本文介绍了校园导航口语对话系统EasyNav的设计与实现。在分析了口语对话系统的特点和要求之后 ,我们提出了适合于对话系统的基于规则的语言理解流程。在这一流程中 ,句法分析使用GLR分析器处理上下文无关文法 (CFG) ,获取句子结构特征以便为语义分析服务 ,句法规则照顾到覆盖率和准确率间的平衡。语义分析使用考虑句法约束条件的模板匹配方法 ,以获取话者意图为目标 ,并消除句法分析引入的歧义。这一设计的优点是系统容易搭建 。

证券交易系统中的事务恢复方法

介绍上海证券交易所新一代交易系统中的事务建模和事务恢复技术。使用形式化语言描述证券交易事务模型,分析故障恢复的各种情况。证券交易系统的事务日志模型支持进程及主机热备切换和重启等应用场景。介绍实践中采用的优化技术,并对事务模型进行扩展。证券交易事务的建模丰富了事务信息系统模型的应用场景,为其他领域高性能高可用性系统的架构设计提供了参考。

基于排队论的交易系统时延分析

低延迟是证券交易系统从小型机迁移到PC服务器过程中的主要挑战,为此需要进行时延度量和分析。首先设计实现基于Redis和Python的时延数据采集监控框架。其次提出队列级联方法,分析分布式系统时延构成。最后通过参数试验和数据分析,找到令吞吐量和时延最优的配置方法,并分析解决可扩展性和毛刺问题。将分布式系统建模为级联队列,在此基础上通过量化分析、性能调优和流控保护等手段,令时延指标显著提升。所提出的队列级联方法可为企业级关键业务实时系统的设计和调优提供参考。

证券交易系统中的日志复制

介绍上海证券交易所新一代交易系统中的日志复制和热备切换技术。首先介绍日志和复制的概念与特性,提出基于内存的事务日志模型。其次介绍实现模型的数据结构、功能模块和主机部署情况,描述正常日志复制的机制和主机热备切换的机制。之后介绍在算法优化和操作系统特性方面的性能优化工作。对证券交易系统日志复制方面的建模和主机热备切换机制的设计为其它领域企业级高性能高可用性系统的架构设计提供了参考。

汉语语音识别技术综述

让人与计算机自由地交谈,机器能听懂人讲话,是汉语语音识别技术最终将实现的目标。进入九十年代,语音识别方面的研究进一步升温。连续语音识别技术正趋于成熟。还出现了诸多实用化的研究方向。今后,将由连续语音识别发展到自然话语识别与理解,并着手解决语音识别中的一系列难题。难度虽然很大,但前景乐观。

基于MapReduce的并行PageRank算法实现

分布式网络爬虫的广泛应用使得搜索引擎的数据规模呈几何式增长,面对数以TB甚至PB量级的数据,单机模式下的PageRank算法由于CPU、I/O和内存的开销过大导致效率低下。为此,提出一种基于MapReduce框架的并行PageRank算法。在算法的一次迭代过程中,利用Map函数对网页拓扑信息文件进行解析,使用Reduce函数计算网页得分,从而并行化PageRank算法的中间迭代过程。通过计算全局网页得分控制迭代次数,得到较精确的网页排序结果。实验结果表明,该算法在保持原有单机PageRank算法整体网页排序精度的基础上,具有较好的集群性能和较快的执行速度。

基于扩展FAST协议的金融消息压缩方法

为降低金融交换消息的大小,近年来已出现QuickFast、OpenFast等基于FAST1.1协议的金融消息压缩方法。然而现有方法不支持压缩率更高的FAST1.2协议,也无法支持面向过程的开发运行环境。提出基于扩展FAST的金融消息压缩方法FASTX,不仅可以达到更好的编码效率和速度,还为在面向过程编程模式下实现FAST1.2提供了新的方法。实验结果表明FASTX编码效率十分高,只需约DBF1/4的大小就可表示相同的内容,与其他几种常用数据格式也进行了对比,验证了新方法的可行性和有效性。

基于扩展FAST的高速证券交易接口文件交换方法

针对现有方法冗余度高和文件分段造成带宽浪费、延迟大的问题,提出一种基于扩展FAST的高速证券交易接口文件交换方法-FastFile.将接口文件记录映射为消息进行编码并组成段传输,使接收方即便只收到部分分段,也可解析出所含记录,同时利用扩展FAST高效的编码有效降低数据冗余度.实现了扩展FAST及FastFile,实验比较了FastFile与常用接口文件格式.实验表明FastFile处理数据的粒度更小,可降低重传,数据格式比现有的接口文件格式小70%以上,验证了新方法的可行性与有效性.

一种基于Paxos算法的证券交易系统内存复制方法研究

近年来随着高速网络技术的发展与高频交易需求的增加,提升交易速度成为电子商务交易提供者的重要关切。当前交易系统通常采用基于共享存储的主备机复制方法来保证高可用性与数据持久性,但因其存在持久化的性能瓶颈而无法进一步降低延迟。为此,提出一种基于Paxos算法的内存数据复制方法,即通过消息传递完成主备机复制,以保证结点间数据的一致性,容忍可能发生的良性故障;并以证券交易系统场景为例对其进行分析。实验结果表明,相比基于共享存储的主备机复制,该方法在万兆以太网环境下可将交易系统订单处理延迟由毫秒级降至百微秒级,并在主机故障时正确地完成热备切换。

口语对话系统EasyNav中的省略分析

为解决口语对话系统 Easy Nav中大量出现的语境省略现象 ,提出了用于刻画关注状态的主题结构 ,其动态生成的特点适合于在用户主导的场景下 ,对主题的变化进行建模。通过分析省略现象与指代现象的不同与联系 ,将指代分析的指导理论与处理流程延伸到省略分析中 ,从原先以句法结构信息为主进行省略分析 ,扩展到以语义知识和会话因素为主。提出的进行省略分析的主题结构方法 ,不仅使处理各种省略成分的方法统一 ,而且将片断型省略。