轻量级大数据运算系统Helius

针对Spark数据集不可变,以及Java虚拟机(JVM)依赖环境引起的代码执行、内存管理、数据序列化/反序列化等开销过多的不足,采用C/C++语言,设计并实现了一种轻量级的大数据运算系统——Helius。Helius支持Spark的基本操作,同时允许数据集整体修改;同时,Helius利用C/C++优化内存管理和网络传输,并采用stateless worker机制简化分布式计算平台的容错恢复过程。实验结果显示:5次迭代中,Helius运行PageRank算法的时间仅为Spark的25.12%~53.14%,运行TPCH Q6的时间仅为Spark的57.37%;在PageRank迭代1次的基础上,运行在Helius系统下时,master节点IP接收和发送数据量约为运行于Spark系统的40%和15%,而且200 s的运行过程中,Helius占用的总内存约为Spark的25%。实验结果与分析表明,与Spark相比,Helius具有节约内存、不需要序列化和反序列化、减少网络交互以及容错简单等优点。

运用大数据运算调整确定电力计量方式实现降本增效

中国生物研究院(以下简称研究院或公司)亦庄新址于2012年投入运行。根据研究院为无生产性质(科研企业)的特点,亦庄开发区供电局将对我公司的电费计费模式确定为科研企业类别,即实行单一电价(1.04元/KWH),而供电局对生产类企业供电计费则实行大工业分段计费方式。

发射台故障智能诊断系统的应用

通辽广播发射中心台下属12个台站,分布在通辽市、兴安盟,地理位置较为分散,各个台已经建设了自动化监测系统,并通过局域网实现了在通辽广播发射中心台的集中统一监测,但各个发射台技术水平参差不齐,当技术水平欠缺的台站出现技术困难时,其他台站的技术人员往往由于地域的限制不能第一时间赶到,因此在目前现有的局域网内建设发射台故障智能诊断系统就变得尤为重要。