基于有状态实时流的流批一体数据处理平台的设计与研究

当今,数据的规模和复杂性不断增加,对数据处理平台的要求也越来越高。传统的批处理和实时处理技术各有优缺点,很难满足大规模数据处理的需求。因此,流批一体化的数据处理平台应运而生。文章在讨论流批一体核心架构设计的基础上,提出一种基于有状态实时流的流批一体数据处理方法,并通过平台化的方式实现流批一体数据的处理与计算。该平台先后在四川高速集团、贵阳政府单位示范应用,应用结果表明平台不仅统一了批处理和流处理框架,而且具有高效、可靠、可扩展等优点,同时能够满足大规模数据处理的需求。该平台的实现对于提高数据处理效率和准确性具有重要意义。

面向有状态网络协议的模糊测试优化方法

针对现有模糊测试工具应用于有状态网络协议时存在的测试报文合法性差、测试效率低等问题,提出了一种面向有状态网络协议的模糊测试优化方法。首先通过分析待测协议的校验规则,利用可拓展标记语言对报文中与校验相关的字段进行标记,结合标签对应的功能函数计算正确的校验数据,生成合法性高的测试报文;其次使用协议状态驱动算法识别当前协议状态并选择对应的测试报文完成测试。实验结果表明,与当前流行的协议模糊测试工具Boofuzz和Peach相比,该方法可有效提升测试报文合法性和测试效率,并发现了2个0day漏洞。

基于有状态DHCPv6的机顶盒IPv6地址分配系统实现

随着IPv6规模应用进入加速期,广电网络IPv6部署也在稳步推进。应用于机顶盒的TVOS 3.0以上系统已经实现了对IPv6的支持,向支持IPv6的机顶盒分配IPv6地址是实现广电网络核心业务向IPv6演进的关键环节。本文通过构建有状态DHCPv6系统,向支持IPv6的机顶盒分配IPv6地址及其他参数,实现了机顶盒接入IPv6网络,完成了机顶盒终端向IPv6的过渡。

基于有状态DHCPv6的机顶盒IPv6地址分配系统实现

随着IPv6规模应用进入加速期,广电网络IPv6部署也在稳步推进,应用于机顶盒的TVOS3.0以上系统已经实现对IPv6的支持。向支持IPv6的机顶盒分配IPv6地址是实现广电网络核心业务IPv6演进的关键环节。本文通过构建有状态DHCPv6系统,向支持IPv6的机顶盒分配IPv6地址及其他参数,可实现机顶盒接入IPv6网络,完成机顶盒终端向IPv6的过渡。

有状态消息队列在国内气象通信系统的应用

针对当前国内气象通信系统出现的消息队列异常情况下导致的整体传输时效降低的问题,本文引入了有状态化消息队列技术,通过对消息队列的异常信息进行分类监视和调度处理,优先保障了正常队列的快速传输,从而提升系统的可靠性和传输时效性.该优化方案在实际应用中得到了有效验证,取得了良好的应用效果,能够更好地满足气象海量数据收集与分发的业务要求.

6LoWPAN无线传感器网络有状态地址配置方案

提出一种基于分布式的6LoWPAN无线传感器网络有状态地址配置方案,其每个传感器节点都具有分配地址的权力且地址分配空间具有唯一性,从而将地址分配任务均匀地分布到每个传感器节点,实现了多个传感器节点的同时配置,提高了地址分配效率;同时,节点申请地址的控制信息的传输范围均控制在一跳范围内,降低了地址配置功耗,缩短了地址配置时间,延长了网络寿命。对所提方案与MANETConf、Strong DAD及LISAA的地址配置代价及地址配置延迟时间等性能参数进行了比较分析,分析结果验证了此方案的可行性和高效性。

混合体系结构中有状态硬件加速器的优化

在诸多计算领域中,硬件加速器可以代替通用处理器上执行的软件完成专用功能,达到提高性能和降低功耗的目的.网络应用中,许多硬件加速器是无状态的,这就需要一个网络流的全部数据包到达后才能被处理.有状态加速器则可以确保每个数据包到达后即可被处理,因而具有更好的性能和灵活性.由于网络流的并发性,有状态加速器需要维护众多并发网络流的状态,并在需要时进行硬件状态切换,从而增加了加速器的性能开销.该文基于请求队列提出对不同网络流的请求进行动态重排序的方法,其中请求所在的队列可以在片上也可以在片外,从而有效减少加速器的状态切换次数.对多种流行的有状态加速器进行的实验结果表明,该方法可以有效降低加速器的平均响应时间并提高吞吐率.实验结果表明:与传统的FIFO设计对比,解压缩加速器的吞吐率最大提高了26.7%,响应时间最大减少了50%.

一种求解有状态服务选取问题的遗传算法

基于QoS的Web服务选取问题,通常认为应用工作流中的任务是相互独立的,而在很多实际应用中,工作流的某些任务之间往往需要共享状态信息,由此增加了任务绑定约束,使得求解复杂度提高,影响了选取效率.针对现有方法的不足,提出了一种面向有状态服务选取的遗传算法,其中重新定义了交叉操作和变异操作,使得所有个体均满足任务状态关联绑定约束,同时在个体评价策略中引入罚函数,并进行个体相似性判断以防止过早收敛.实验表明,提出的算法在有状态服务选取问题中,可求得质量良好的解,且收敛速度快,选取效率亦优于现有算法.

基于接口契约的有状态Web服务用例集生成

Web服务具有对外只提供接口文档、技术规范复杂和运行时态瞬时多变等特性,如何有效地自动化生成测试数据仍旧是个难题.目前,针对有状态Web服务操作序列的测试研究较少,现有的方法对服务的行为信息和操作之间的数据依赖关系考虑不足,且缺乏有效的测试自动化手段,进而导致测试代价较高以及生成的测试数据缺乏针对性.对此,提出一种结合有限状态机(EFSM)模型和操作接口契约的测试数据生成方法,该方法根据标准WSDL文档建立操作模型,形式化描述操作之间的交互关系,并对其进行语义标注,基于EFSM模型生成操作序列测试路径,随后采用操作接口契约关系获取测试路径中的测试数据.通过案例表明,这种有状态Web服务的用例生成方法能够高效地生成合理的测试数据,并在错误检测能力以及用例有效性方面优于现有的方法.

环绕智能系统中有状态资源管理模型

为了使Web Service以标准的模式和方法来管理环绕智能(AmI)系统中的有状态资源,在分析AmI中有状态资源、Web服务以及面向服务的网格内在关系的基础上,提出了利用Web服务资源框架(WSRF)和Web服务通知(WSN)规范的AmI系统有状态资源管理架构模型,设计了AmI系统中有状态资源抽象、Web服务资源建模及交互机制.该模型解决了AmI系统中无状态的Web服务与有状态资源交互的矛盾,使网格、Web服务、有状态资源和AmI应用在WSRF的基础上实现融合.

有状态的Web服务及其在.NET上的实现

传统的Web服务不能进行状态的保存。为了实现有状态的Web服务,文章研究了基于数据库的有状态Web服务和基于单件模式的有状态Web服务两种实现方法。并以身份验证为例,分析了Web服务的消息传递机制,探讨了有状态Web服务在.NET框架中的实现方法。

基于可编程硬件的有状态网络功能硬件加速架构

为了解决无状态加速器对有状态虚拟网络功能(Virtual Network Function,VNF)的加速效果较差的问题,该文提出了一种基于可编程硬件的有状态功能处理加速架构(Stateful Function Processing Acceleration Architecture,SFPA).SFPA通过为数据平面提供有状态处理单元(Staeful Processing Unit,SPU),将数据包处理任务卸载到数据平面上.此外,SFPA能够为多个VNF独立地分配加速资源,并采用资源分配优化算法降低硬件资源开销,提高了加速架构的灵活性.基于Net FPGA-10G平台的实验结果表明,SFPA架构下,VNF的吞吐量是采用DPDK加速时的2.9倍,是无状态硬件加速器的1.7倍;资源分配优化算法的优化率最高可达41.9%.

收缩候选回溯集的有状态动态偏序归约方法

在验证多线程并发程序时,将基于无状态或有状态搜索的软件模型检测与动态偏序归约方法相结合,能大幅缩减待验证程序的状态空间,而动态偏序归约需不断利用当前候选回溯集更新相应回溯集,导致更新回溯集的计算成本过高。为此,形式化定义收缩候选回溯集,消除原候选回溯集中满足同一回溯条件的冗余迁移。针对各交织的回溯点,使用当前收缩候选回溯集更新相应回溯集,实现基于有状态动态偏序归约方法的并发多线程程序验证。实验结果表明,与现有动态偏序归约方法相比,该方法能减少遍历迁移数,加速回溯集更新,提高动态软件模型检测效率。

协议无关的有状态VNF的设计与实现

Middle Box在网络中的应用可以说是无处不在,Middle Box(如防火墙、NAT、限速器)在网络中的作用是至关重要的.然而传统的设备大多是基于硬件的,功能固化、可扩展性差、管理困难等.为了解决这些问题,可以使用软件的方法来实现虚拟网络功能(VNF),这些VNF可以是防火墙、NAT、限速器等Middle Box.本文使用P4语言进行开发,因为P4言语开发简单,且可以实现Middle Box协议无关.但由于P4的match-action工作方式,无法满足复杂VNF的实现,故文中进行有状态VNF的研究.本文实现了有状态的VNF——限速器,并将限速器部署于Docker容器当中.与虚拟机相比,Docker更加轻量级,方便移植,在通用的X86设备上即可部署本VNF.

基于RMI的多客户有状态服务系统的实现

在多客户环境中,Java RMI(Remote Method Invocation,远程方法调用)基本模型只能提供无状态服务。在分析RMI服务器的服务策略及线程实现原理的基础上,对RMI基本模型进行了扩展,使之能够为多客户提供有状态服务。同时,给出了RMI有状态服务模型的具体实现过程。通过在实际项目中的成功应用表明,该模型是一种简单、高效的有状态服务解决方案。

抗合谋攻击能力可调的有状态组密钥更新协议

逻辑密钥分层(LKH)协议已经被证明在抗完全合谋攻击时,它通信开销的下界是O(log n),但是在一些资源受限或者商业应用场景中,用户仍然要求通信开销低于O(log n)。虽然,有状态的完全排外子树(SECS)协议具有常量通信开销的特性,却只能抵抗单用户攻击。考虑用户愿意牺牲一定安全性来降低通信开销的情况,利用LKH协议的完全抗合谋攻击特性和SECS协议具有常量通信开销的优势,设计并实现了一种混合的组密钥更新协议(HSECS)。H-SECS协议根据应用场景的安全级别来配置子组数目,在通信开销和抗合谋攻击能力之间作一个最优的权衡。理论分析及仿真实验表明,与LKH协议和SECS协议相比,H-SECS协议的通信开销可以在O(1)和O(log n)区间进行调控。

实时嵌入式系统有状态应用的分布式并行计算架构

针对强实时嵌入式系统多节点按帧轮询并行处理计算架构下,有状态应用无法直接并行化计算问题,从状态信息实时并行角度出发,提出了基于状态分区的并行计算架构和基于全连接的并行计算架构两种并行计算架构,并从并行计算节点动态伸缩扩展、并行计算节点故障失效、状态信息维护通信资源占用情况三个方面对这两种计算架构的动态可伸缩可扩展性、系统可靠性、通信资源占用率进行了分析,显示基于全连接的并行计算架构综合性能更优,对有状态应用多节点并行计算的系统架构设计和工程实现具有重要指导意义。

有状态分组过滤器原理及实现

分组过滤器一般指无状态分组过滤器,通过制定规则对每一个IP分组的单向传输过程独立进行控制,但实际应用中常常需要针对某个服务相关的一组IP分组的传输过程实施控制,这种控制过程一是双向的,完成服务过程中需要双向传输IP分组,二是相关的,同一传输方向,不同顺序的IP分组之间存在相关性,两个不同传输方向的IP分组之间存在相关性,有状态分组过滤器就是这样一种基于服务对IP分组的传输过程实施控制的机制。

SOAP有状态/无状态分析及有状态实现

SOAP (SimpleObjectAccessProtocol)是Web服务和信息网格的协议 ,有无状态是协议的一种重要特性 ,为了更好的使用SOAP ,本文比较了无状态 /有状态协议的优缺点 ,结论是无状态的SOAP具有收缩性 ,而有状态的SOAP适合事务处理 .本文还介绍了XMLforAnalysis有状态SOAP的实现 。

有状态网络的实现方案比较与建议

HTTP协议是基于TCP/IP的Web通信的基础,但其固有的无状态性无法适应当前Web应用程序的需要。因此,本文就基于J2EE平台的Web应用程序中有状态网络的实现方案进行了研究和比较,并对各种方案的使用提出了建议。