-
题名Spark迭代密集型应用的优化方法研究
被引量:3
- 1
-
-
作者
魏占辰
刘晓宇
黄秋兰
孙功星
-
机构
中国科学院高能物理研究所
中国科学院大学
-
出处
《计算机工程与应用》
CSCD
北大核心
2020年第23期68-73,共6页
-
基金
国家自然科学基金(No.11775249,No.11875283)。
-
文摘
Spark是一个非常流行且广泛适用的大数据处理框架,具有良好的易用性和可扩展性。但在实际应用中,仍然存在一些问题需要解决。例如在部分迭代计算场景中,得到的加速效果并不理想,究其原因在于使用Spark等分布式系统后引入的额外损耗较大。为准确分析并降低这些损耗,提出了Spark效率分析公式,以分布式计算代价衡量额外损耗,以有效计算比衡量执行效率。在此基础上,还针对Spark迭代密集型应用设计并实现了一种优化策略。测试结果表明,有效计算比和程序执行性能得到了大幅提升,其中有效计算比提升了约0.373,程序执行时间缩短了约68.2%。
-
关键词
SPARK
迭代密集型应用优化
分布式计算代价
有效计算比
-
Keywords
Spark
optimization for iteration-intensive application
distributed calculation cost
effective calculation ratio
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名CNN图像修复区域故障检测的迭代方法
被引量:2
- 2
-
-
作者
胡德敏
胡钰媛
褚成伟
胡晨
-
机构
上海理工大学光电信息与计算机工程学院
-
出处
《小型微型计算机系统》
CSCD
北大核心
2020年第7期1519-1523,共5页
-
基金
国家自然科学基金项目(61170277,61472256)资助
上海市教委科研创新重点项目(12zz137)资助
上海市一流学科建设项目(S1201YLXK)资助。
-
文摘
传统的基于补丁的图像修复方法在修复过程中无法复制真实的图像纹理,即故障像素区域,通常需要手动标记故障区域.我们提出了一个迭代检测故障区域的图像修复模型.使标记故障区域过程自动化、精确化,模型将从修复过程中的多个特征图中图区的补丁作为CNN的输入,经CNN卷积和池化后输入Softmax分类器识别区域像素有效性,对标记为无效的故障区域采用Patch Match算法进行修复,引入启发式阈值对修复图像多次迭代直至收敛.实验结果表明,本文方法与传统的人工标记法相比节约了人工时间,与非迭代应用方法相比,降低了故障像素与原始缺失区域比值,证实了方法的有效性.
-
关键词
图像修复
神经网络
自动交互
迭代应用
-
Keywords
image restoration
neural network
automatic interaction
iterative application
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名智慧家庭应用快速开发在广电端到端的系统设计及实践
被引量:1
- 3
-
-
作者
李泽华
-
机构
四川省有线广播电视网络股份有限公司
-
出处
《广播电视信息》
2019年第3期96-100,共5页
-
文摘
在四川省有线广播电视网络股份有限公司网络双向化基本完成的基础上,为解决传统模式下的业务开发、上线及更新效率不能满足当下业务需求的问题。本文提出了智慧家庭应用快速开发在广电端到端的系统设计方法及实践,以覆盖在智慧城市、物联网、教育、党建、智能监控等领域的智慧应用。为提高公司在市场的竞争力,促进业务安全、高效的发展,提高智慧家庭应用的快速迭代方面进行了有益的探索。
-
关键词
可视化应用开发
智慧家庭应用
应用迭代
授权管理代码扫描
-
分类号
TN948
[电子电信—信号与信息处理]
-