一种分布式动态负载平衡算法

在多处理机系统中,负载平衡是提高并行处理效率的一条重要途径。基于分布存贮的TRANSCUBE多处理机环境,本文提出一种分布式动态负载平衡算法。算法采用接收者开始的异步调度策略,通过“握手”协议在空载和重载处理机间建立联系,并自动实现任务(或进程)从重载处理机到空载处理机的迁移,该算法适于并行解具有动态特性的应用问题,而且在问题规模较大和处理机负载变化较慢时,性能较好。

UIMS—用户接口自动生成系统

UIMS是最近几年来兴起的关于用户接口设计的研究课题。用户接口和系统应用功能核心是组成应用系统的两个主要方面。本文首先通过对这两者关系的分析,提出了应用系统开发的独立性模型,并揭示了UIMS形成的必然性及其自动化思想实质。然后从软体自动化角度着重分析讨论了UIMS的内外特性和要求。最后结合软件自动化发展技术给出了UIMS的若干发展方向。

TRANSCUBE—一个超立方体结构的多处理机系统

TRANSCUBE是一个基于分布存贮和信件传递的多处理机系统.它的核心是一个由多个Transputer组成的超立方体结构阵列.本文重点介绍了TRANSCUBE的系统结构和通信软件结构.

大数据专刊

大数据正引领新一轮科技创新,并为社会经济转型升级、国家竞争力提升提供了新动力和新机遇。为此,许多国家都提出了大数据发展计划。我国国务院于2015年9月份颁布了《促进大数据发展行动纲要》,要求政府各部门促进数据共享,并提出＂推动大数据发展与科研创新有机结合,

云计算核心技术与应用研究

当前,云计算不仅是学术界的研究热点,而且也引起了工业界的极大兴趣,因此得到了全世界各国政府的广泛关注与重视。云计算的目标是要像使用水电一样使用计算资源,像使用银行一样使用存储资源。这样一种使用计算的方式将极大地提高计算资源的利用率,减少浪费。然而,要达到这样的目标绝非易事。

序言:人机智能协同系统

进入新世纪以来,伴随着互联网普及、传感网渗透、大数据涌现、信息社区崛起,人类社会的物理空间和信息空间三元交叉融合,人工智能外部信息环境在短时间内发生了巨大、深刻的变化。人机共融系统的不断发展,对人与机器自然、精准、安全交互的要求越来越高。人机智能交互已经成为人工智能发展的重要需求,人机智能交互技术将颠覆人与机器、环境的思维与交互方式。

一种新的常数度数的P2P覆盖网络

许多结构式P2P系统使用DHT技术将数据映射到相应的节点,以便在数据的存放与查找方面有很好的扩展性.但是,在节点数为n的网络中,大多数结构式P2P系统的每一次查询(lookup)都需要O(logn)步,而且每个节点都要维护O(logn)个邻居.该文提出了一种新的常数度数的P2P系统,它模仿立方体互连圈(CubeConnectedCycle)的拓扑结构,命名为Cycloid.在节点数为n=d×2d的Cycloid系统中,每次查询只要Ο(d)步,并且每个节点只需要维护Ο(1)个邻居.模拟实验表明,在网络规模较大和节点出入频繁的动态P2P网络中,Cycloid比其它常数度数的P2P系统(如Viceroy和Koorde)具有更好的性能,尤其是Cycloid具有更高的搜索效率、更均匀的数据分配、更平衡的节点负载.

大规模分布式文件系统元数据管理综述

文件系统的元数据主要是用来描述它的命名空间,访问权限和数据定位等信息的数据。由于50%-80%的文件系统访问要涉及到元数据,元数据服务的性能将极大地影响整个分布式文件系统的性能。为此,文章重点讨论元数据管理面临的问题,从元数据服务的高可扩展技术、高性能技术和高可用技术三个主要方向进行综述,重点分析了各自的主要问题以及目前发展起来的一些主流技术,同时对未来分布式文件系统的元数据管理一些值得关注的问题进行了梳理和展望,为相关研究提供一定的参考。

一种有效的任务分配算法

本文针对非均质问题,在TRANCUBE多处理机系统上利用图匹配中的启发式方法,提出一种新的任务分配算法.该算法不仅简单,而且效率高.

序言:政务大数据管理与智能服务

政务大数据是指政务部门为履行法定职责收集、制作的海量数据,政务大数据高效管理和利用是智慧城市立体化建设的重要环节。然而,当前面向政务的数据和承载这些数据的各平台间存在封闭孤立、功能分散、协同困难等问题,并缺乏与供水、供电、供气、通信、交通等公共数据和社会传感数据深度融合分析,导致城市欠缺立体化感知,存在城市要素动态演化认知不足,阻碍了城市实现精细化的管理和科学的应急指挥决策。在“互联网+”环境下,政务大数据关联公共服务数据和社会传感数据,综合共享、分析和利用这些资源,将使城市管理模式从单一走向立体,使城市服务系统从孤立走向共享,使城市决策模式从机械走向智能。因此,迫切需要建立有关政务大数据管理、业务协同和智能服务的新理论、新技术和新平台,以提升城市管理和政府应急指挥决策能力。

一种基于小数据同步写的回写I／O调度器

小数据同步写普遍存在于各种计算机环境中,并且可以由计算机系统的不同层次软件产生,从底层操作系统一直到上层应用软件都可以生成小数据同步写请求.然而,操作系统的文件系统是以块作为最小逻辑可寻址单位,小数据写将会导致严重的写放大问题,使得系统的I/O性能大幅度降低.为了解决上述问题,提出了一种I/O调度器,并将其命名为Hitchhike.该调度器可以识别小数据写,并通过对其他数据块中的数据进行压缩,将小数据嵌入到压缩出来的空间中,从而将小数据和该数据块一起写入到磁盘上,以异步回写的方式完成小数据的同步写,不仅有效缓解了磁盘的写放大问题,也极大地提高了小数据同步写的效率.基于Linux 2.6.32的Deadline调度器实现了Hitchhike原型系统,并利用Filebench基准测试来测试调度器在吞吐量、I/O延迟等方面的性能.通过与传统I/O调度器的性能进行比较,可以发现,Hitchhike调度器能够显著地提高小数据同步写的性能高达48.6%.

车载物联网技术探讨

基于车载无线通信技术的新进展,文章讨论了未来车载网络中不同网络协议层面临的挑战;信息传播是车载网络研究中最重要的研究课题之一,文章围绕信息这一中心元素,讨论了宏观和微观信息传播过程中面临的挑战;文章还介绍了美国和欧洲几个典型的车载网络应用案例。

基于Spark和浮动出租车全球定位系统数据的实时交通路况预测方法

随着大数据的发展和城市化进程的推进,城市交通路况预测成为智慧城市的焦点课题。而目前已有的实时路况预测模型由于软硬件的不足而不能进行准确高效的预测。文章利用真实的城市交通大数据,基于Spark分布式内存计算框架,提出了一种高效的实时路况预测方法,其中实时路况用路段的平均速度体现。首先并行地对大量车辆的全球定位系统数据进行水平时间窗口和垂直时间窗口切片抽样,然后利用Spark计算估测历史样本在各个时间段内历史平均速度的概率分布,最后采用贝叶斯最大后验估计基于新到的样本对未来的路况进行预测。实验结果表明,文章提出的方法可实现高效准确的实时路况预测。

几个常见分布式文件系统特征分析和性能对比(英文)

近年来随着云计算市场规模不断增长,作为云计算平台基础设施的云存储系统也随之显得越来越重要。数以万计的互联网应用已经运行于云计算环境,同时大量不同的应用也即将从传统运行环境转移到云计算平台。不同的互联网应用的存储需求可能不一样。例如:应用中涉及的单个文件大小,文件数量,IO访问模式,读写比率等,都对底层存储系统提出了不同的要求。这说明在云计算环境中,单个文件系统可能无法满足全部应用的存储需求,本文尝试通过在单一云计算平台中部署多个不同分布式文件系统来优化存储系统的总体性能。为了优化混合式文件系统的性能,首先需要分析不同文件系统的性能特征。本文通过量化方法分析了云计算环境下几个常用的分布式文件系统,这些文件系统分别是ceph,moosefs,glusterfs和hdfs。实验结果显示:即使针对同一文件的相同读写操作,不同分布式文件系统之间的性能也差异显著,当单个文件的大小小于256MB时,moosefs的平均写性能比其它几个文件系统高22.3%;当单个文件大小大于256KB时,glusterfs的平均读性能比其它几个文件系统高21.0%。这些结果为设计和实现一个基于以上几个分布式文件系统的混合式文件系统提供了基础。

基于多云服务器的企业网盘设计与实现

针对现有企业网盘存在的安全隐患、传输性能较差、可靠性不高、运营商锁定等问题。该文从网盘存储的机密性、可靠性和访问效率等方面,设计和实现一种基于多云服务器的安全企业网盘系统——SkyDisk,实现了数据的自主可控、高速存取和安全可靠。其中,基于Tahoe-LAFS系统将多个云服务器整合成分布式存储集群,为网盘系统提供后端存储服务;文件在存储之前采用256位高级加密标准加密,保证数据的机密性;通过纠删编码和分散存储保证数据的可靠性;本地网盘服务器与多个云服务器之间并行传输数据,实现了高速上传和下载。最终,SkyDisk实现一个Web服务,向用户提供Web方式的网盘系统。系统测试结果表明,SkyDisk能够实现安全、可靠的文件存储管理,多云服务器存储集群没有单节点故障。同时,能够满足快速上传、下载和便捷的文件分享等功能性需求,降低了企业文件管理成本、提高了生产效率和企业竞争力。

基于隐性反馈与交叉推荐的癫痫药物推荐系统

癫痫是一种较为常见的脑部疾病,也是一种长期性神经系统疾患。目前全球有大量的患者饱受癫痫带来的痛苦。癫痫虽然不能根治,但是约70%癫痫病例的抽搐发作可以通过药物控制。电子健康病历蕴含着众多癫痫患者的信息,为个性化药物的处方提供了海量大数据资源。文章通过对医疗电子病例进行大数据分析,提出一种基于隐性反馈模型与交叉推荐的药物推荐方法(Implicit Feedback and Crossing Recommendation,IFCR),以帮助医生选择合适的药物。该方法通过分析患者的看病历史以及相似患者的看病经历,建立患者症状与医生用药之间的对应关系,从而根据患者症状为医生提供药物推荐。与基于人工神经网络的药物推荐系统进行对比试验发现,文章提出的药物推荐系统在召回率上具有显著优势,而在精确率上二者各有优劣。总体来看,文章所提出的IFCR方法效果更为出色。最后,通过对两种方法的推荐结果做进一步分析发现,二者推荐倾向不同,因此存在建立集成模型的可能。

面向SDN和NFV融合机制的标准化业务链平台研究

业务链作为软件定义网络(SDN)和网络功能虚拟化(NFV)的创新业务模式,近年来已成为学术界和工业界的研究热点. SDN和NFV通过水平分层增强厂商采购时的议价能力,使网络功能无需依赖专有的硬件设备,进而能够实现新业务的即时部署.本文首先分析了传统业务链平台存在的问题,然后通过引入SDN和NFV的融合机制,基于MANO架构设计了一种标准化的业务链平台.基于此架构,对控制平面和数据转发平面进行了全新设计,提出了基于多控制器的控制平面和基于源MAC的数据转发平面,从而彻底解决了控制平面的可靠性问题以及数据平面的可扩展性问题.最后,对该业务链平台进行了功能和性能验证,结果证明了该方案的可行性.

电商集群的流量预测与不确定性区间估计

流量预测对智能容量规划和任务调度具有重要意义,然而大规模电商集群的流量会出现各种不确定的突发事件,如线上促销活动、用户聚集请求等。这些不确定性事件会导致时间序列中出现很多突发脉冲,从而给流量预测带来巨大挑战。同时,容量预测应当对不确定性具有鲁棒性,即能很好地应对未来可能出现的情况,保证集群稳定性,而并非严格地根据预测值进行容量收缩。针对大规模分布式电商集群的流量场景以及动态容量规划的需求,该文提出了包含不确定性估计的流量实时预测框架。该框架基于多变量的长短期记忆网络自动编码器和贝叶斯理论,在进行流量确定性预测的同时能够给出准确的不确定性区间估计。

大数据基准测试程序包构建方法研究

基准测试程序是评估计算机系统的关键测试工具。然而,大数据时代的到来使得开发大数据系统基准测试程序面临着更加严峻的挑战,当前学术界和产业界还不存在得到广泛认可的大数据基准测试程序包。文章利用实际的交通大数据系统构建了一个基于Hadoop平台的交通大数据基准测试程序包SIAT-Bench。通过选取多个层次属性量化了程序行为特征,采用聚类算法分析了不同程序-输入数据集对的相似性。根据聚类结果,为SIATBench选取了有代表性的程序和输入数据集。实验结果表明,SIAT-Bench在满足程序行为多样性的同时消除了基准测试集中的冗余。

基于磁耦合的水下无线携能通信系统

磁耦合无线充电技术不仅能够为水下设备不间断地提供能量,同时在其传输能量上加载特定的信号也可以为水下设备构建高速、稳定的数据传输链路,成为摆脱水下设备供电以及通信瓶颈的有效手段。该文提出一种基于磁耦合的水下无线携能传输技术,采用现场可编程逻辑门阵列(FPGA)开发了基于频移键控(FSK)调制的无线信息传输和无线能量传输模块,输入功率为20 W时,可实现1 Mbps传输速率的无线充电设备水下低功率损耗数能同传。针对水下设备的移动需求导致信道变化的问题,使用支持向量机(SVM)机器学习的方法进行数据解码,实现了99.9%的解码成功率。实验结果显示,该文所开发的无线携能传输原型系统在高速率、远距离传输条件下,具有良好的能量传输效率和信号解码准确率。