期刊文献+
共找到59篇文章
< 1 2 3 >
每页显示 20 50 100
Potential Off-Grid User Prediction System Based on Spark 被引量:2
1
作者 LI Xuebing SUN Ying +4 位作者 ZHUANG Fuzhen HE Jia ZHANG Zhao ZHU Shijun HE Qing 《ZTE Communications》 2019年第2期26-37,共12页
With the increasingly fierce competition among communication operators,it is more and more important to make an accurate prediction of potential off grid users.To solve the above problem,it is inevitable to consider t... With the increasingly fierce competition among communication operators,it is more and more important to make an accurate prediction of potential off grid users.To solve the above problem,it is inevitable to consider the effectiveness of learning algo rithms,the efficiency of data processing,and other factors.Therefore,in this paper,we,from the practical application point of view,propose a potential customer off grid predic tion system based on Spark,including data pre processing,feature selection,model build ing,and effective display.Furthermore,in the research of off grid system,we use the Spark parallel framework to improve the gcForest algorithm which is a novel decision tree ensemble approach.The new parallel gcForest algorithm can be used to solve practical problems,such as the off grid prediction problem.Experiments on two real world datasets demonstrate that the proposed prediction system can handle large scale data for the off grid user prediction problem and the proposed parallel gcForest can achieve satisfying per formance. 展开更多
关键词 data MINING OFF grid prediction SPARK parallel computing deep FOREST
下载PDF
基于MapReduce的并行化电网运行数据处理方法研究 被引量:1
2
作者 黄新宇 高嵩 +2 位作者 邱刚 谭笑 陈杰 《电子设计工程》 2024年第4期98-102,共5页
在大规模新能源的新型电力系统中,由于云端电力数据存在结构复杂、数据量大及多维度的特点,因此不利于发挥数据对运行的指导作用,甚至有可能危害电力系统的安全、稳定运行。针对上述问题,文中提出了一种基于MapReduce的电网数据分析方... 在大规模新能源的新型电力系统中,由于云端电力数据存在结构复杂、数据量大及多维度的特点,因此不利于发挥数据对运行的指导作用,甚至有可能危害电力系统的安全、稳定运行。针对上述问题,文中提出了一种基于MapReduce的电网数据分析方法。其将云计算应用于新型电力系统,并构建了基于MapReduce云计算模型的并行化处理算法,进而提升了系统的响应速度。通过将该方法应用于电网的数据处理结果表明,所提方法可以有效地提高电网运行数据处理的准确性和工作效率。在海量数据的工况下,其处理效率约为30 min,且随着数据量的增加仍可保持稳定性与准确性,实现了网格化的并行分析。 展开更多
关键词 电网运行数据 MAPREDUCE 并行计算 数据处理
下载PDF
Multisite co-allocation scheduling algorithms for parallel jobs in computing grid environments 被引量:4
3
作者 ZHANG Weizhe FANG Binxing +3 位作者 HU Mingzeng LIU Xinran ZHANG Hongli GAO Lei 《Science in China(Series F)》 2006年第6期906-926,共21页
Cooperation of multi-domain massively parallel processor systems in computing grid environment provides new opportunities for multisite job scheduling. At the same time, in the area of co-allocation, heterogeneity, ne... Cooperation of multi-domain massively parallel processor systems in computing grid environment provides new opportunities for multisite job scheduling. At the same time, in the area of co-allocation, heterogeneity, network adaptability and scalability raise the challenge for the international design of multisite job scheduling models and algorithms. It presents multisite job scheduling schema through the introduction of multisite job scheduling model and the performance model under the grid environment. It introduces two job multisite and cooperative scheduling models and algorithms with the core of the optimal and greedy-heuristic resource selection strategies. Meanwhile, compared with single and multisite cooperative scheduling models and algorithms introduced by Sabin, Yahyapour and other persons, the validity and advance of the scheduling model and the performance model herein are proved. 展开更多
关键词 computational grid parallel job multisite co-allocation resource selection resource reservation and job backfilling.
原文传递
Systematic Cloud-Based Optimization: Twin-Fold Moth Flame Algorithm for VM Deployment and Load-Balancing
4
作者 Umer Nauman Yuhong Zhang +1 位作者 Zhihui Li Tong Zhen 《Intelligent Automation & Soft Computing》 2024年第3期477-510,共34页
Cloud computing has gained significant recognition due to its ability to provide a broad range of online services and applications.Nevertheless,existing commercial cloud computing models demonstrate an appropriate des... Cloud computing has gained significant recognition due to its ability to provide a broad range of online services and applications.Nevertheless,existing commercial cloud computing models demonstrate an appropriate design by concentrating computational assets,such as preservation and server infrastructure,in a limited number of large-scale worldwide data facilities.Optimizing the deployment of virtual machines(VMs)is crucial in this scenario to ensure system dependability,performance,and minimal latency.A significant barrier in the present scenario is the load distribution,particularly when striving for improved energy consumption in a hypothetical grid computing framework.This design employs load-balancing techniques to allocate different user workloads across several virtual machines.To address this challenge,we propose using the twin-fold moth flame technique,which serves as a very effective optimization technique.Developers intentionally designed the twin-fold moth flame method to consider various restrictions,including energy efficiency,lifespan analysis,and resource expenditures.It provides a thorough approach to evaluating total costs in the cloud computing environment.When assessing the efficacy of our suggested strategy,the study will analyze significant metrics such as energy efficiency,lifespan analysis,and resource expenditures.This investigation aims to enhance cloud computing techniques by developing a new optimization algorithm that considers multiple factors for effective virtual machine placement and load balancing.The proposed work demonstrates notable improvements of 12.15%,10.68%,8.70%,13.29%,18.46%,and 33.39%for 40 count data of nodes using the artificial bee colony-bat algorithm,ant colony optimization,crow search algorithm,krill herd,whale optimization genetic algorithm,and improved Lévy-based whale optimization algorithm,respectively. 展开更多
关键词 Optimizing cloud computing deployment of virtual machines LOAD-BALANCING twin-fold moth flame algorithm grid computing computational resource distribution data virtualization
下载PDF
面向算力网络的跨域数据管理方法
5
作者 鲁蔚征 戴奇志 张策 《大数据》 2024年第2期94-108,共15页
跨域算力网络希望整合多个算力中心的计算和数据资源,但现有的方案对跨域文件和数据管理关注不够。提出了一种轻量级的跨域算力网络数据管理方案:通过文件系统协议转换,接入远程算力中心的并行文件系统存储资源;算力中心内部的存储资源... 跨域算力网络希望整合多个算力中心的计算和数据资源,但现有的方案对跨域文件和数据管理关注不够。提出了一种轻量级的跨域算力网络数据管理方案:通过文件系统协议转换,接入远程算力中心的并行文件系统存储资源;算力中心内部的存储资源作为一种补充,应对高IOPS应用;通过容器绑定技术,将远程存储挂载并绑定到指定目录。基于该方案的原型系统已经在高校校级计算平台部署运行。实测数据和用户体验显示,该方案能够满足常见高性能计算应用需求。 展开更多
关键词 算力网络 并行文件系统 数据管理 异构存储资源
下载PDF
智能边缘计算在智能电网通信中的应用部署与性能优化
6
作者 陆智 《通信电源技术》 2024年第20期194-196,209,共4页
随着物联网(Internet of Things,IoT)和5G的发展,智能电网对低延迟、高可靠的数据通信需求不断增加。文章探讨了智能边缘计算在智能电网通信中的应用与部署,涵盖智能电表数据采集和电力设备监控与维护等场景。通过优化智能边缘计算节点... 随着物联网(Internet of Things,IoT)和5G的发展,智能电网对低延迟、高可靠的数据通信需求不断增加。文章探讨了智能边缘计算在智能电网通信中的应用与部署,涵盖智能电表数据采集和电力设备监控与维护等场景。通过优化智能边缘计算节点的选址、硬件配置和网络架构设计,实现数据本地化处理和实时上传,减少数据传输延迟和网络负载。此外,文章从计算资源分配优化、任务调度与资源分配优化、数据传输优化等3方面提出了性能优化方法。通过实验验证,文章提出的智能边缘计算在智能电网中的应用部署与性能优化方法提升了数据处理效率和系统可靠性,展现出重要的应用价值。 展开更多
关键词 智能电网 智能边缘计算 数据传输 资源分配 网络架构
下载PDF
能源互联网——信息与能源的基础设施一体化 被引量:135
7
作者 曹军威 杨明博 +4 位作者 张德华 明阳阳 孟坤 陈震 林闯 《南方电网技术》 2014年第4期1-10,共10页
能源是人类生存发展的重要物质基础,能源互联网作为未来可能的能源可持续发展解决方案正逐渐成为研究的热点和潮流。阐述了能源互联网的概念和特征,提出其基本架构,并从广域网,局域网和基础设施三个层面讨论信息与能源的基础设施一体化... 能源是人类生存发展的重要物质基础,能源互联网作为未来可能的能源可持续发展解决方案正逐渐成为研究的热点和潮流。阐述了能源互联网的概念和特征,提出其基本架构,并从广域网,局域网和基础设施三个层面讨论信息与能源的基础设施一体化建设。综述了国内外能源互联网技术的发展现状,提出了能源路由器作为信息与能源的基础设施一体化的解决方案,并对基于能源路由器的能源互联网应用场景给出了详细描述。 展开更多
关键词 能源互联网 信息能源基础设施 智能电网 分布式能源 云计算 数据中心
下载PDF
改进粒子群算法在网格资源分配中的优化 被引量:9
8
作者 李志洁 刘向东 段晓东 《计算机集成制造系统》 EI CSCD 北大核心 2009年第12期2375-2382,共8页
针对并行网格任务的资源分配问题,提出了一种基于并行粒子子群优化的分配算法。该算法引入效用函数,反映网格任务的偏好和目标,利用乘子法转化约束条件,导出适应度函数。最后通过粒子子群的并行寻优过程,得到资源分配的最优解。仿真实... 针对并行网格任务的资源分配问题,提出了一种基于并行粒子子群优化的分配算法。该算法引入效用函数,反映网格任务的偏好和目标,利用乘子法转化约束条件,导出适应度函数。最后通过粒子子群的并行寻优过程,得到资源分配的最优解。仿真实验表明了该算法的有效性,且在任务较多的情况下,优化结果好于传统粒子群算法。 展开更多
关键词 网格计算 资源分配 粒子群优化 并行子群
下载PDF
资源定位服务的分布式生成树模型及算法研究 被引量:10
9
作者 王铁军 刘恒 +1 位作者 孙明 周明天 《电子学报》 EI CAS CSCD 北大核心 2011年第2期364-369,共6页
针对云计算中资源定位索引的瓶颈问题,基于分布式生成树DST提出了一种自适应的资源定位服务DST-RLS模型以及搜索半径限制的资源定位算法SRL.通过给出代表元选取规则,使代表元均衡分布在DST-RLS模型中,提高了资源定位服务的负载均衡性.SR... 针对云计算中资源定位索引的瓶颈问题,基于分布式生成树DST提出了一种自适应的资源定位服务DST-RLS模型以及搜索半径限制的资源定位算法SRL.通过给出代表元选取规则,使代表元均衡分布在DST-RLS模型中,提高了资源定位服务的负载均衡性.SRL算法支持复杂查询和灵活的搜索策略,算法的时间复杂度为常数阶.数学分析和仿真实验表明,DST-RLS模型具有较好的负载均衡性、可靠性和自适应性;通过限制搜索半径,SRL算法缩短了资源定位时间,减少了网络带宽耗用,性能优于DST定位算法. 展开更多
关键词 资源定位 分布式生成树 对等网络 云计算 数据网格
下载PDF
基于GPU加速的SDOG并行可视化实验 被引量:5
10
作者 薄海光 吴立新 +1 位作者 余接情 谢磊 《地理与地理信息科学》 CSCD 北大核心 2013年第4期72-76,共5页
球体退化八叉树格网(Spherical Degenerated Octree Grid,SDOG)及其三元组模型为全球变化及地球系统科学研究提供了一种地表及其内外空间统一表达与建模的全球空间数据模型。然而,现有SDOG模型可视化效率较低,难以满足全球模式下空间数... 球体退化八叉树格网(Spherical Degenerated Octree Grid,SDOG)及其三元组模型为全球变化及地球系统科学研究提供了一种地表及其内外空间统一表达与建模的全球空间数据模型。然而,现有SDOG模型可视化效率较低,难以满足全球模式下空间数据快速可视化的要求。该文采用GPU并行计算技术实现SDOG模型可视化加速。通过分析SDOG模型可视化过程的并行特征,选取格网码(C)解码及三元组渲染两个过程进行GPU并行化,分别利用数据并行及直接显存渲染策略实现GPU加速;设计了两组实验进行测试,结果表明:1)GPU并行对C解码过程具有明显的加速效果,且随数据量增长加速效果更加突出,加速比达15倍;2)受系统构建、数据传递等因素制约,GPU并行对C解码过程的加速效果与GPU性能呈正相关,但不呈正比;3)直接显存渲染优化策略可有效提高SDOG的GPU并行渲染效率,渲染速度可提高1.5倍。 展开更多
关键词 球体退化八叉树格网(SDOG) GPU 可视化 并行计算 全球格网 空间数据
下载PDF
数据挖掘网格中决策树并行算法设计及性能分析 被引量:3
11
作者 陈平 乔秀全 +1 位作者 刘臻 田小萍 《北京邮电大学学报》 EI CAS CSCD 北大核心 2009年第B04期49-52,共4页
提出了C4.5决策树算法的一种并行算法,使传统的串行分类算法能在多台PC机和服务器组成的数据挖掘网格上并行数据挖掘.采用数据纵横剖分,结合递归过程的并行化,实现了可扩展的高性能并行计算,解决了处理海量数据时没有较好并行分类算法... 提出了C4.5决策树算法的一种并行算法,使传统的串行分类算法能在多台PC机和服务器组成的数据挖掘网格上并行数据挖掘.采用数据纵横剖分,结合递归过程的并行化,实现了可扩展的高性能并行计算,解决了处理海量数据时没有较好并行分类算法的问题.并给出了指导该并行算法高效计算的方法.数据运行试验和算法分析表明,该并行算法的性能受多个因素影响,并具有高效的并行效率计算加速比. 展开更多
关键词 数据挖掘 网格计算 决策树 并行性能
下载PDF
多机群网格中的并行计算实现方法 被引量:5
12
作者 陈庆奎 崔同云 徐福缘 《吉林大学学报(信息科学版)》 CAS 2007年第3期286-291,共6页
在由多计算机机群构成的网格环境下,为了实现数据并行型计算,给出了由多计算机机群组成的网格、逻辑计算机机群、数据并行型计算和一系列Agent的定义;利用管理智能体、协同计算智能体、通信智能体以及协同计算组之间的协同计算机制来实... 在由多计算机机群构成的网格环境下,为了实现数据并行型计算,给出了由多计算机机群组成的网格、逻辑计算机机群、数据并行型计算和一系列Agent的定义;利用管理智能体、协同计算智能体、通信智能体以及协同计算组之间的协同计算机制来实现数据并行型计算。根据计算节点的主态、冗态和失效状态,描述了动态资源划分机制和网格计算过程。实践表明,该模型有效地适应了多机群网格环境的异构性、动态性等特性,降低了并行计算的失效率,其上运行的并行计算的加速比呈近线性趋势。该模型适合于基于多机群网格的并行型计算。 展开更多
关键词 多机群网格 多智能体 数据并行型计算 协同机制
下载PDF
基于元数据的网格应用系统研究 被引量:4
13
作者 冯涛 袁占亭 +1 位作者 余冬梅 任旭龙 《计算机工程与科学》 CSCD 2003年第2期71-75,共5页
通过对网格环境下资源的描述方式的阐述,结合元数据的应用目的和多层次元数据结构的定义,提出了基于元数据网格资源定位的网格应用软件框架,并对网格应用框架的内容进行了分析,最后介绍了应用框架体系中元数据服务器的设计与实现。
关键词 元数据 网格应用系统 计算机网络 高性能计算环境 数据网格
下载PDF
配网线损大数据高性能计算解决方案 被引量:8
14
作者 孙立华 胡牧 +2 位作者 孟庆强 钱亚康 王松 《计算机与现代化》 2016年第12期42-46,50,共6页
针对配网线损数据分析中存在数据同步慢、存储资源不足、计算处理慢等问题,提出基于大数据分析的营配贯通数据分析方案,阐述营配贯通数据同步、线损数据存储、台区线损计算等关键技术。同时针对Hadoop进行线损大数据分析时不适用的问题... 针对配网线损数据分析中存在数据同步慢、存储资源不足、计算处理慢等问题,提出基于大数据分析的营配贯通数据分析方案,阐述营配贯通数据同步、线损数据存储、台区线损计算等关键技术。同时针对Hadoop进行线损大数据分析时不适用的问题点,提出数据更新、数据反馈、海量数据交互式查询等优化方案。经测试表明,系统整体处理性能提升了6倍以上,为Hadoop大数据技术在配网线损计算及其他专业电力应用提供技术参考。 展开更多
关键词 大数据 线损 智能配电网 HADOOP 营配贯通 并行计算
下载PDF
网格实例与关键技术分析 被引量:1
15
作者 杜江 周念生 +2 位作者 刘然 王小鸽 都志辉 《计算机科学》 CSCD 北大核心 2003年第12期9-15,共7页
过去的几年中,随着网格计算的出现和网格技术的成熟应用,很多现成的网格工具能够支持在局域网甚至广域网上搭建网格,众多的客户端和服务器的计算资源可以被这些网格整合起来,以实现安全、高效、大吞吐量的并行大规模计算.
关键词 局域网 广域网 网格体系结构 网格实例 服务器 计算机网络
下载PDF
分布式技术在电力大数据高性能处理中的应用 被引量:24
16
作者 衡星辰 周力 《电力信息与通信技术》 2013年第9期40-43,共4页
随着中国电力工业步入"大数据时代",大数据在电力生产运行和经营管理中的应用需求日益凸显。为解决当前电力大数据在存储和计算方面存在的性能瓶颈,提升电力业务系统应对大数据的支撑能力,提出基于分布式技术的电力大数据存... 随着中国电力工业步入"大数据时代",大数据在电力生产运行和经营管理中的应用需求日益凸显。为解决当前电力大数据在存储和计算方面存在的性能瓶颈,提升电力业务系统应对大数据的支撑能力,提出基于分布式技术的电力大数据存储和计算解决方案。利用基于Hadoop架构的分布式并行计算平台,完成对传统关系数据库平台的优化改造,在电网典型业务场景中的性能测试结果证明了方案的可行性和性能优势。 展开更多
关键词 电力大数据 智能化电网 分布式存储 并行计算
下载PDF
基于动态冗余机制的数据并行型计算网格模型 被引量:3
17
作者 陈庆奎 那丽春 《通信学报》 EI CSCD 北大核心 2005年第12期110-116,共7页
在由多个普通计算机机群构成的网格环境下,为了解决大规模数据并行型计算加速比问题、容错问题和动态负载均衡问题,提出了一个基于动态冗余机制的数据并行型网格模型。给出了由多个计算机机群组成的数据并行型计算网格等一系列形式化定... 在由多个普通计算机机群构成的网格环境下,为了解决大规模数据并行型计算加速比问题、容错问题和动态负载均衡问题,提出了一个基于动态冗余机制的数据并行型网格模型。给出了由多个计算机机群组成的数据并行型计算网格等一系列形式化定义。利用逻辑计算机机群、机群逻辑环、计算节点逻辑环和m-冗余策略,研究了动态冗余、动态负载均衡技术。根据这些技术,描述了网格环境下的数据并行型计算过程。理论分析和实践表明,该模型有效地解决了大规模数据并行型计算所需的负载均衡、容错和资源优化问题。该模型适合基于网格的数据并行型计算。 展开更多
关键词 网格 数据并行型计算 大规模并行算法 动态冗余 容错
下载PDF
基于能力与任务完成时间的数据分配方法 被引量:4
18
作者 张润莲 李豪 叶志博 《计算机工程与设计》 北大核心 2018年第4期923-927,共5页
针对入侵检测系统对高速网络中海量数据并行处理的问题,提出一种基于能力与任务完成时间的数据分配方法。通过监测结点的资源利用情况,评估结点的负载状态;在周期性地进行数据分配时,通过分析结点在实时负载情况下的任务完成时间与无负... 针对入侵检测系统对高速网络中海量数据并行处理的问题,提出一种基于能力与任务完成时间的数据分配方法。通过监测结点的资源利用情况,评估结点的负载状态;在周期性地进行数据分配时,通过分析结点在实时负载情况下的任务完成时间与无负载情况下的任务执行时间的关系,调整分配给结点的数据量,使集群内各结点对数据处理的完成时间趋于一致。仿真结果表明,该方法有效缩短了集群内各结点间任务完成时间的差异,具有较好的负载均衡性。 展开更多
关键词 数据分配 负载均衡 完成时间 并行计算 资源利用率
下载PDF
一种面向网格资源预留的索引链表研究 被引量:1
19
作者 吴黎兵 于天水 +1 位作者 何炎祥 李飞 《武汉理工大学学报(信息与管理工程版)》 CAS 2011年第6期904-908,共5页
研究了现有的资源预留数据结构,并在此基础上提出了一种新的数据结构,即索引链表。同时,选择了3种经典的现有数据结构(时隙数组、单链表和双链表)作为比较对象,通过编码实现与实际测试,对4种数据结构的内存消耗、请求接纳时间和请求搜... 研究了现有的资源预留数据结构,并在此基础上提出了一种新的数据结构,即索引链表。同时,选择了3种经典的现有数据结构(时隙数组、单链表和双链表)作为比较对象,通过编码实现与实际测试,对4种数据结构的内存消耗、请求接纳时间和请求搜索时间这3个方面的性能进行了评估,实验结果表明,所提出的索引链表的综合性能更优。 展开更多
关键词 网格计算 资源预留 网格资源 数据结构 索引链表
下载PDF
基于强化学习的多机群网格资源调度模型 被引量:5
20
作者 陈庆奎 《计算机科学》 CSCD 北大核心 2007年第11期67-70,共4页
在由多个计算机集群构成的多机群网格环境下,为了解决数据并行型计算(DPC)与计算资源的有效匹配问题,提出了一个基于强化学习机制的网格资源调度模型;给出了由多个计算机机群组成的多机群网格、逻辑计算机机群、数据并行型计算和一系列A... 在由多个计算机集群构成的多机群网格环境下,为了解决数据并行型计算(DPC)与计算资源的有效匹配问题,提出了一个基于强化学习机制的网格资源调度模型;给出了由多个计算机机群组成的多机群网格、逻辑计算机机群、数据并行型计算和一系列Agent的定义;利用多Agent的协作做竞争机制、基于强化学习的匹配知识库的修正方法,研究了逻辑计算机机群与DPC资源供需之间的有效匹配问题;描述了网格的资源调度模型。理论分析和实践表明,该模型有效地解决了多机群网格环境之下数据并行型计算所需的资源优化使用问题。该模型适合于基于多机群网格的数据并行型计算。 展开更多
关键词 多机群网格 多智能体 资源调度 数据并行型计算 强化学习
下载PDF
上一页 1 2 3 下一页 到第
使用帮助 返回顶部