基于排队论的交易系统时延分析

低延迟是证券交易系统从小型机迁移到PC服务器过程中的主要挑战,为此需要进行时延度量和分析。首先设计实现基于Redis和Python的时延数据采集监控框架。其次提出队列级联方法,分析分布式系统时延构成。最后通过参数试验和数据分析,找到令吞吐量和时延最优的配置方法,并分析解决可扩展性和毛刺问题。将分布式系统建模为级联队列,在此基础上通过量化分析、性能调优和流控保护等手段,令时延指标显著提升。所提出的队列级联方法可为企业级关键业务实时系统的设计和调优提供参考。

面向大规模数据的在线新事件检测

通过分析基于新闻要素的在线新事件检测算法的时间消耗,提出一种面向大规模数据环境的在线新事件检测算法。该算法利用基于倒排索引的高效相似报道搜索机制,有效减少单路径聚类算法中的相似度比较次数。通过对报道预处理、报道与事件比较以及索引搜索这3个过程的并行化,提高算法在多机环境下的运行效率和可伸缩性。实验结果表明,该算法在不影响漏检率和误检率的基础上,提高了新事件检测的速度,并且在千万到亿级别的报道规模下,其吞吐量达到150条/s^200条/s。