Apache Flink复杂事件处理语言的形式语义

Apache Flink是目前最流行的流式计算平台之一,已经在工业界得到了广泛应用.复杂事件处理是流式计算的一种重要使用场景,Apache Flink平台定义并实现了一种复杂事件处理语言(简称FlinkCEP).FlinkCEP语法特性丰富,不仅包括常见的过滤、连接、循环等操作,还包括迭代条件、匹配筛选策略等高级特性.FlinkCEP语义复杂,尚缺乏语言规范对其语义进行准确描述,只能通过实现细节来理解,因此对其语义进行形式描述对于开发人员准确理解其语义非常必要.针对FlinkCEP提出一种数据流转换器的自动机模型,该模型包括用于刻画迭代条件的数据变量、存储输出结果的数据流变量、用于刻画匹配筛选策略的迁移优先级等特性.使用数据流转换器对FlinkCEP的语义进行形式建模,并且根据形式语义设计FlinkCEP的查询求值算法,实现原型系统.进一步,生成能够较为全面覆盖FlinkCEP语法特性的测试用例集,利用这些测试用例与FlinkCEP在Flink平台上的实际运行结果进行对比实验.实验结果表明所提出的形式语义与FlinkCEP在Flink平台上的实际语义基本是一致的.而且,对实验结果不一致的情况进行分析,指出FlinkCEP在Flink平台上的实现对于组模式的处理可能存在错误.

基于下推转换机的XML流数据处理方法

XML流数据在互联网领域有着广阔的应用,海量流数据的高性能处理与查询需求的多样性给对XML流数据的查询处理技术提出了更高的要求,针对XML流数据上的XPath查询,以下推转换机(Pushdown Transducer)为基础,提出一种新的查询处理方法。该方法支持包含PC轴、AD轴同时包含多重存在谓词、值谓词和嵌套谓词的XPath查询,覆盖XPath查询的核心部分。该方法能够满足用户复杂的查询需求,同时具有较高的性能。

基于森林自动机处理XML流数据方法

针对流数据在线实时到达,顺序性一次访问及处理时效性高、缓存量小的需求,提出一种基于森林自动机处理XPath查询的方法。定义XPath查询到森林自动机实例的转换规则;采用栈结构和抽象语法树相结合的方式,不断接收流数据结点,驱动自动机的运行,完成结点匹配和状态转换动作;在抽象语法树中维护各状态函数之间的关系及中间结果,归约过程中获得查询结果随即输出。实验结果验证了该方法处理流数据的有效性,在标准测试数据集下,与同类方法和引擎相比,在处理效率上有近30%的提高,内存占接近于常量,较好解决了时空复杂度平衡问题,为其它方法提供了有益的参考。