基于有状态实时流的流批一体数据处理平台的设计与研究

当今,数据的规模和复杂性不断增加,对数据处理平台的要求也越来越高。传统的批处理和实时处理技术各有优缺点,很难满足大规模数据处理的需求。因此,流批一体化的数据处理平台应运而生。文章在讨论流批一体核心架构设计的基础上,提出一种基于有状态实时流的流批一体数据处理方法,并通过平台化的方式实现流批一体数据的处理与计算。该平台先后在四川高速集团、贵阳政府单位示范应用,应用结果表明平台不仅统一了批处理和流处理框架,而且具有高效、可靠、可扩展等优点,同时能够满足大规模数据处理的需求。该平台的实现对于提高数据处理效率和准确性具有重要意义。

基于FFmpeg和SDL实现多路实时流变换及播放

针对现有不同采集设备的实时视频流采集、解码和播放,以及对大场景监视和多路多画面监视的需求,提出结合FFmpeg跨平台视频方案、SDL多媒体开发库、SDL_gfx扩展库以及多线程编程技术的整体解决方案,实现基于实时流传输协议(RTSP)的多路网络视频流实时播放,并可对各路视频进行旋转、放大、仿射变换等操作。由于采用了SDL多媒体开发包及扩展库、FFmpeg视频方案等技术,因此该软件的跨平台可移植性和兼容性较高,并且该软件使用RTSP协议,在监控方面能够达到实时效果。

基于实时流数据的无线性能预警体系研究

随着无线网络技术的迅速发展和普及,确保无线网络性能的稳定和可靠性变得至关重要。提出一种基于实时流数据的无线性能预警体系,旨在实时预测无线网络的性能问题并给出相关处理建议,以支持网络运维人员及时采取相应措施。文中首先介绍相关背景和研究意义,然后详细阐述该预警体系的架构和工作原理,最后讨论实验结果和性能评估。实验结果表明,该预警体系能够准确、及时地发现和预警无线网络性能问题,为网络运维管理提供了有力支持。

论基于RTMP数据传输协议的实时流媒体技术

实时流媒体技术在现代互联网应用中发挥着重要作用,使用户能够即时获取和播放高质量的音视频内容。其中,RTMP(Real-Time Messaging Protocol)数据传输协议是一种常用的实时流媒体传输协议,具有低延迟、高可靠性和跨平台兼容性等优势。本文将探讨基于RTMP的实时流媒体技术及其应用领域,在论述了RTMP协议规范及通信机制的基础上,重点分析了ActionScript流媒体播放技术,并最后提出了流媒体播放过程中的步骤及关键要点,希望对全面提升实时流媒体技术应用水平有所帮助。

实时流测量体系结构的研究

通过对基于流概念的实时流测量系统RFC2722RTFM的形式化描述,讨论了实时流测量系统中各元素之间的关系。在实时流测量系统的基础上,通过测量目标定义了系统中各元素间的协作关系,引入了资源策略服务器组件,建立了维护系统资源一致性的机制和适合目前因特网流量统计的分布式实时流监测体系结构,并讨论了其原型系统的实现。

面向QoS的域间实时流覆盖组播方法研究

针对跨域远程协作中的实时流通信质量问题,构建了实时流服务网格(LSSG),这是一个可扩展的且面向用户QoS需求的覆盖组播通信中间件结构,LSSG服务由网络服务提供商策略部署的服务代理(SvB)提供。论文主要采用面向QoS的域间覆盖组播算法(QIOM)来组织SvB建立实时流组播服务树,根据用户服务质量请求提供跨自治系统的实时流组通信服务,将域间资源管理转变为流媒体应用的动态协同服务管理。仿真结果表明QIOM能有效地发现和提供QoS满意的覆盖服务及实现SvB间的覆盖流量负载平衡。

基于实时流媒体传输系统的H.264组包算法研究

有线和无线网络上的实时流媒体传输技术已成为研究热点而其中组包策略的选取是其中的一个关键问题。本文首先设计了一种基于RTP的H.264实时流媒体传输系统模型,在此基础上提出了适用于H.264实时视频流传输的RTP组包算法HMP。该算法针对H.264NAL视频流特点,在考虑到视频流关联性的同时加入了对重要信息的保护。实验结果证明,HMP算法在网络丢包率较大的情况下仍能获得良好视觉质量。

实时流媒体传输技术研究综述

为推动实时流媒体传输技术的进步,提高Internet流媒体服务质量,将实时流媒体传输流程分为用户层、编码层、流处理层、传输控制层和网络层,分层总结和综述了实时流媒体传输过程中的主要研究问题和研究进展,阐述了一些目前主流的基于UDP和TCP的实时流媒体传输技术,并且比较分析了它们的优缺点。最后指出低比特率、高丢包率与无线、强干扰环境下保证流媒体服务质量是未来的研究方向,移动实时流媒体业务则是实时流媒体传输技术应用的必然趋势。

TOW:一种新的P2P实时流媒体缓存替换算法

随着P2P实时流媒体在网络上的流行,可以预见在未来ISP主干链路的流量中,P2P实时流媒体应用将占有相当大的比例.ISP以前通过部署缓存设备的方法有效缓解了Web和VOD流媒体所产生的流量压力,这种缓存策略也可以应用到P2P流量的管理上.目前很少有直接针对ISP的P2P实时流媒体应用的缓存研究以及它与P2P文件分发应用缓存性能的差别比较.本文研究了各种缓存替换算法以及P2P实时流媒体应用与P2P文件分发应用流量在被缓存效果上差异的原因,提出了一种新的P2P实时流媒体缓存替换算法-时间权算法(TimeOverWeight),分析并用实验证实了它比常用的缓存替换算法具有更高的命中率.

基于实时流协议的流媒体客户端

介绍了实时流和实时流协议,针对基于实时协议的流媒体客户端播放器的特殊要求,提出了一种适用于视频点播(Video On Demand)的流媒体客户端结构模型,研究并设计了相应的流量控制策略、组包算法和缓存管理策略。试验结果表明,该客户端播放器占用系统资 源少,具有良好的实时性、容错性和同步性。

可扩展的实时流媒体应用层组播系统设计

分析应用层组播在流媒体分发领域的研究,设计了可扩展的实时流媒体应用层组播系统ALMLS。该系统基于非结构化Overlay,采用基于Gossip思想的节点加入算法和消息散播机制;设计了基于流媒体技术的数据缓存和获取策略;通过故障检测和恢复机制增强系统的健壮性。系统的特点是易于实现和具有良好的扩展性。

交换式以太网中连续实时流媒体的可靠组播

对目前局域网中连续实时流媒体的可靠组播进行了研究.首先分析了局域网影响可靠组播的几个特性,然后设计了局域网内针对连续实时流媒体的基于重传的可靠组播传输协议.协议中的错误恢复首先利用接收者检测包丢失,同时采用NAK(negative acknowledgment)抑制减少产生的反馈包;然后发送者根据NAK请求重传已经丢失的数据包;接收者根据本地播放时间限制决定接收或者丢弃迟到的重传包.实验结果和性能分析证明了该可靠组播协议的可靠性和有效性.

面向实时流处理的多核多线程处理器访存队列

针对多核多线程处理器中乱序访存影响计算实时性的问题,在对典型访存队列进行研究的基础上提出了一种新的访存队列构建模型及其硬件结构.该模型采用窗口优化算法控制最差情况下的访存延迟,保证访存的实时性,同时又利用优化的乱序调度策略减少访存延迟.实验证明,该访存队列可控制最大访存延迟,与顺序访存相比,存储器具备更高的带宽,与传统的乱序访存相比较,可以充分满足计算的实时性需求,而存储器有效带宽基本不受影响,解决了多核多线程处理器承担实时流计算的基础难题.

Linux下实时流媒体的编程实现

RTP协议是进行实时流媒体传输的标准协议和关键技术,重点分析了在Linux平台上运用RTP协议进行实时流媒体编程的实现方法。本方法可在网络中实现多媒体数据的发送、接收以及对控制信息的设置。文中给出了C++实现的代码。

面向TCP友好性的IP网络实时流媒体流预测控制

为了解决IP网络实时流媒体流控中既要避免网络拥塞又要将接收端缓冲区长度控制在合理范围的难题,本文提出了一种面向TCP友好性的IP网络实时流媒体流预测控制算法.该算法将IP网络实时流媒体流控转化为具有TFRC约束时变不确定条件的预测控制问题,使用改进的动态矩阵控制算法(DMC)进行优化求解.仿真实验结果表明该方法能够适应IP网络的复杂环境,满足了TCP友好性要求,有效地消除了网络传输抖动对播放带来的不利影响,具有良好的实用性.

基于大数据量实时流媒体P2P树算法研究

为了解决大数据实时流媒体传输(LRST)的QoS可控机制问题,根据现有的P2P模型,提出了一种新的基于RTCP的P2P树算法模型LrstP2P.该模型依托于RTCP XR协议和最小树深算法,通过三层模型的动态算法,增强了新用户加入网络时对父节点选择的有效性,优化了用户通信过程中由于节点的随机性和网络拓扑的易变性的应对策略,改进了数据传输的稳定性和实时性.通过实验,证实了该算法的优越性.

满足带宽的实时流覆盖组播算法

面对实时多媒体组通信应用中带宽瓶颈及用户对服务质量的不同需求,通过对带宽、时延、抖动等网络性能指标施加约束,设计一个满足大规模用户带宽需求的覆盖组播算法(BOM),用于构建层次化的覆盖组播树,平衡服务代理节点间的负载和链路间的流量.通过基于GT-ITM的网络仿真实验,证明该方法在实时流传输中具有较低的延迟、较小的抖动性和良好的可扩展性.

P2P实时流媒体系统服务器部署

P2P服务器部署作为解决P2P系统跨网络流量等问题的一种有效方案引起了业界的关注.由于peer的资源贡献能力,传统服务器部署模型不能在P2P系统中获得预期效果.本文通过简单示例来揭露P2P需要服务器部署.在此基础上提出一种新的P2P流媒体应有的服务器部署模型.该模型综合考虑了部署成本、服务性能和peer贡献能力等因素,能满足不同P2P流媒体提供商的需求.理论分析结果表明该部署模型具有很好的网络适应能力,适合P2P系统应用.

实时流覆盖组播服务网络研究

针对ISP在提供实时多媒体服务时对灵活性的需求,设计了一个基于覆盖组播的实时流网络模型,利用面向服务的方法传送语音、视频等流数据,改善了实时流应用中的QoS,较好地解决了ISP部署多媒体增值服务业务的灵活性问题。并结合NUQ应用实例,从服务控制和资源管理的角度,研究组合实时流服务和构件来实现组通信服务,并分析了满足QoS和控制资源的方法。

基于实时流媒体传输框架的用户接入算法研究

为了消除由于互联网异构性而导致的性能瓶颈,解决当前互联网流媒体系统所面临的服务能力不足问题,本文设计了一个以应用层流媒体技术为基础的实时流媒体传输框架,构建了由网络视频服务器(NVSs,Network Video Servers)和代理服务器(Proxy Servers)组成的视频服务组,并为多用户提供服务.提出一个基于蚁群算法的有效用户接入算法,在满足用户视频请求的基础上,实现了用户接入数目的最大化,提升了系统容量.