百度实时计算应用实践

实时计算及相应的应用实践是目前大数据领域的一个热点。本刊2月《百度实时计算系统》一文中已介绍了百度实时计算系统Dstream和Gem㈣的相关架构和技术，本文则主要分享这两套实时计算平台在百度实际生产环境中的应用实践。

百度实时计算平台的实现和应用

“大数据”在互联网行业中已是普遍现象，一家公司每天累积的用户行为数据甚至已不能用TB来衡量。海量数据对实时分析和计算提出了更高的要求，实时处理程序必须确保在严格的时间内响应，通常以秒为单位，甚至是毫秒。传统的批量计算模型已无法满足这些要求，必须用专门的实时计算系统替代。

百度大规模集群管理系统实现与应用

百度大规模集群管理系统（Matrix）是百度自主研发的新一代集群操作系统，致力于解决高负载业务下IT的高可用性。其主要原理是通过一个服务自动运维平台，实现了自动化的服务资源分配和故障修复，在低运维成本的基础上保证服务的稳定可用。本文将详细介绍Matrix技术、应用状况及发展前景。

基于内容转发模型的P2P流量识别算法

随着P2P技术的发展,单纯地依靠IP加固定端口、应用层特征匹配进行流量识别的方法已不能满足实际需求。本文基于P2P网络结点既下载数据内容又将其进行转发的事实,建立了P2P网络的内容转发模型,并在此基础上设计实现了基于P2P网络内容转发模型的流量识别算法。该算法不依赖于端口号或应用层特征等与特定应用相关的信息,而是充分利用了结点具有内容转发的内在特性,具有较好的扩展性和鲁棒性。同时,理论分析和实验结果表明:本文算法具有较好的识别精度和鲁棒性,对检测P2P流媒体应用及热门资源共享产生的流量更具适应性。

Ceph：一个可扩展的高性能分布式文件系统

最近百度完成了对HadoopHDFS元数据管理（Name Node）的分布式改造工作。在改进过程中，借鉴了很多Ceph的设计思想，所参考的论文是发布在OSD106上的《Ceph：AScalable，High-Performance Distributed File System》。本期以Ceph的分布式元数据管理实现作为引子，全面介绍了GFS、Lustre，HDFS在这方面的实现。

分布式流式计算平台——S4

许多大师和业界专家都非常强调技术论文的学习，我们近期采访的图灵奖得主Chuck Thacker甚至将阅读历史性的经典文献作为自己的成功之道。2071年开始，我们特别开辟“论文研读”栏目，欢迎大家推荐有价值的论文。

大数据时代之实时数据传输

在互联网企业中，日志数据是非常宝贵的，当然数据量也是巨大的，各家公司都会搭建日志处理平台。本文着眼于传输，因此对“日志处理”暂不做详述。随着百度云等移动业务的增长以及生态的逐渐完善，各种消息在不同App之间的实时分发需求也越来越大。总体来看，互联网公司的实时传输系统需具备以下几个特点：

数据中心空调智能散热技术研究与落地实践

基于智能大数据监控平台和深度学习平台,构建了一套数据中心空调水系统智能散热技术产品,从数据采集处理、模型深度学习、安全边界保障,实现了空调水系统能效最优下的智能调节,同时解决了安全性与普适性的问题。经测试,全年数据中心基础设施能耗可降低25%,年均PUE由1.17降至1.13,单模块机房节省电费100余万元。主要从数据处理、模型策略、落地实践三个方面进行分析说明。