基于迭代MapReduce的混合云大数据分析

现有混合云平台运行大数据分析等数据密集型工作负载存在数据迁移开销大、执行时间长等问题,提出基于迭代MapReduce的大数据分析方法。提出一种数据存储和数据迁移机制,迭代时将初始不变量从私有云迁移至公有云,无需修改MapReduce框架或底层存储层;利用随机森林估计所提迭代MapReduce应用程序所需的计算时间。OpenStack混合云实验结果表明,相比传统方案,提出方法仅增加了初始迭代的运行时间,最终完成时间比传统方法节约12.6%以上。此外,提出的性能预测方法的误差率可保持在19.54%以内。

基于迭代MapReduce的大规模RDF本体传递推理方法研究

随着Web内容爆炸式增长,基于RDF的开放关联数据越来越多,传统的RDF推理技术难以适应日益增长的大规模RDF数据推理任务.提出基于MapReduce的分布式迭代算法,设计了简洁的去重方法,实现分布式RDF推理,解决了RDF传递推理工程中持续产生单调递增数据集传递闭包问题.实验采用基于Hadhoop的分布式文件系统存储MapReduce算法,实验结果显示方法具有较好的计算性能和可扩展性.

面向MapReduce的迭代式数据均衡分区策略

MapReduce是一种适用于大数据处理的重要并行计算框架.然而,由于难以提前全面获得中间数据的分布规律,默认的数据分区策略往往会造成Reducer端的数据倾斜,会直接影响MapReduce的整体性能.为了实现数据均衡分区,本文提出一种迭代式数据均衡分区策略,将每个Mapper节点要处理的数据块细分后以迭代方式循环处理,根据已迭代轮次的微分区分配结果决定当前迭代轮次的微分区分配方案,以不断调整历次迭代产生的数据倾斜,逐步实现数据均衡分区.给出了迭代式数据分区策略的分配时机、分配准则、分配评价模型和分配算法.基于公开的数据集,对迭代式数据均衡分区策略进行了详细测评,结果表明,该策略能够得到更均衡的数据分区结果,当数据集本身倾斜比较显著时,MapReduce整体性能比默认分区策略平均提高了11.1%和19.7%.

迭代式MapReduce研究进展

迭代计算普遍存在于大数据处理中,而传统的MapReduce不能显式地支持迭代计算。近几年,研究者扩展和改进原始MapReduce,已开发了若干迭代式MapReduce以更好地为大数据处理而支持迭代计算。对迭代式MapReduce编程框架进行综合评述,较详细地阐述了这些研究成果,给出了它们各自的基本思想,并分析了它们各自的特点、优势和不足,且对比了它们所采用的一些技术。对迭代式MapReduce未来的发展趋势进行了展望。

适于进化算法的迭代式MapReduce框架

MapReduce模块化的编程大大降低了分布式算法的实现难度,但同时也限制了它的应用范围。介绍了MapReduce的基本结构及其实现迭代算法的缺陷,并针对基于MapReduce进化算法效率低下的问题,在对MapReduce的计算框架进行研究的基础上提出了一种适用于进化算法的迭代式MapReduce计算框架。描述了迭代式MapReduce计算框架的实现需求及其具体实现,提出并证明了异常机制的可行性,且在公有的Hadoop云计算平台上对提出的框架进行了验证。实验结果表明,基于迭代式MapReduce计算框架的并行遗传算法在算法的加速比上与基于MapReduce的并行遗传算法相比有较大的提高。

MRI:面向并行迭代的MapReduce模型

机器学习领域内的多数模型均需要通过迭代计算以求解其最优参数,而MapReduce模型在迭代计算中的缺陷不足导致其在迭代计算中无法得到广泛应用。为解决上述矛盾,基于MapReduce模型提出并实现了一种可用于模型参数求解的并行迭代模型MRI。MRI模型在保持Map以及Reduce阶段的基础上,新增了Iterate阶段以及相关通信协议,实现了迭代过程中模型参数的更新、分发与迭代控制;通过对MapReduce状态机进行增强,实现了节点任务的重用,避免了迭代过程中节点任务重复创建、初始化以及回收带来的性能开销;在任务节点实现了数据缓存,保障了数据的本地性,并在Map节点增加了基于内存的块缓存机制,进一步提高训练集加载效率,以提高整体迭代效率。基于梯度下降算法的实验结果表明:MRI模型在并行迭代计算方面性能优于MapReduce模型。

基于迭代式MapReducede的海量数据并行聚类算法研究

为解决传统K-means算法在处理海量数据时存在的不足,提出了1种适用于并行Canopy-Kmeans算法的迭代式MapReduce模型。通过Canopy算法对数据进行初始聚类,得到初始聚类中心,并按照初始聚类将数据存储于Mapper节点,减少Mapper和Reducer节点之间通信线路,减小运算量;在Mapper节点和Reducer节点之间建立互通信,将聚类中心作为迭代流通信息,减少信息流量;最终通过1次运算过程输出最终聚类结果。实验结果证明,改进的算法在时间、正确率和加速比性能方面,均优于传统的串行K-means算法,并在基于传统MapReduce模型的K-means算法基础上有所提高。

基于MapReduce的并行增量迭代支持向量机算法

为了提高支持向量机处理大数据集的性能,在研究MapReduce编程模型的基础上结合增量学习及迭代技术提出了改进算法MRII-SVM。该算法采用增量学习方式,在Map阶段并行求解各数据切片的支持向量集,并利用KKT条件削减增量数据集,在Reduce阶段执行联合重训练使算法收敛于当前最优解。基于UCI标准数据集的实验结果显示,MRII-SVC在保持SVM算法分类精度的基础上,提高了数据处理能力和运行效率。

基于迭代式MapReduce的误差反向传播算法

针对误差反向传播（BP）算法计算迭代的特点,给出了迭代式MapReduce框架实现BP算法的方法。迭代式MapReduce框架在传统MapReduce框架上添加了传送模块,避免了传统框架运用在迭代程序时需要多次任务提交的缺陷。通过对K/TGR146对空台射电开关控制系统进行仿真得到BP算法训练样本,并在Hadoop云计算环境下,分别在基于传统框架和迭代式框架的BP算法中进行训练。实验结果表明,基于迭代式MapReduce框架的BP算法训练速度达到了基于传统MapReduce框架的BP算法训练速度的10倍以上,正确率提升了10%~13%,能有效解决算法训练时间过长和迭代计算中多次任务提交的问题。

MapReduce迭代式计算发展与应用

MapReduce的优势集中体现在并行计算上,而在迭代计算上则存在诸多不足。科研人员不断对MapReduce并行计算模型进行迭代计算优化,使MapReduce可以支持显示迭代式计算。介绍了传统MapReduce框架与迭代式MapReduce框架,通过K-means算法测试了iMapReduce、Hadoop MapReduce的迭代性能,给出了实验结果及分析。

基于迭代式MapReduce的FCM算法实现

针对模糊C均值聚类（Fuzzy C--Means Clustering，FCM）算法聚类过程迭代的特点，采用迭代式MapReduce模型对FCM算法进行了优化实现；Map函数计算每个样本到聚类中心的隶属度，Reduce函数接收Map函数的中间输出计算新的聚类中心，传递模块将最新聚类中心传送给原Map任务所在节点，供新一轮MapReducejob使用；迭代式MapReduee模型在MapReduce基本模型上添加了传递模块，有效解决了基本模型在处理迭代问题上存在的不足；在Hadoop平台中，分别使用基于迭代式MapReduce和MapReduee基本模型的FCM算法对变压器进行故障诊断；实验结果表明，基于迭代式MapReduee的FCM算法诊断速度达到了基于MapReduce基本模型算法诊断速度的12倍以上，误判率降低了12％～15％，有效提升了FCM算法的诊断效率。

滤波辨识(11):多变量CARARMA系统的滤波递阶广义增广迭代参数辨识

针对多变量受控自回归自回归滑动平均(M-CARARMA)系统,利用滤波辨识理念和递阶辨识原理,研究和提出了滤波递阶广义增广梯度迭代辨识方法、滤波递阶多新息广义增广梯度迭代辨识方法、滤波递阶递推广义增广最小二乘迭代辨识方法、滤波递阶多新息广义增广最小二乘迭代辨识方法等。这些滤波递阶广义增广迭代辨识方法可以推广到其它有色噪声干扰下的线性和非线性多变量随机系统中。

滤波辨识(12):多变量OEARMA系统的滤波辅助模型递阶广义增广迭代参数辨识

针对多变量输出误差自回归滑动平均(M-OEARMA)系统,即多变量Box-Jenkins系统,利用滤波辨识理念和辅助模型辨识思想,研究和提出了滤波辅助模型递阶广义增广梯度迭代辨识方法、滤波辅助模型递阶多新息广义增广梯度迭代辨识方法、滤波辅助模型递阶递推广义增广最小二乘迭代辨识方法、滤波辅助模型递阶多新息广义增广最小二乘迭代辨识方法等。这些滤波辅助模型递阶广义增广迭代辨识方法可以推广到其它有色噪声干扰下的线性和非线性多变量随机系统中。

不同迭代重建算法在眼眶CT中的适用性研究

目的:探讨不同迭代重建算法在眼眶CT中的应用价值。方法:回顾性收集2024年1月至2024年3月首都医科大学附属北京同仁医院行眼眶CT检查的31例患者,分别使用混合迭代重建算法(iDose4)和全模型迭代重建算法(IMR)技术对图像进行标准算法和骨算法重建,对比分析不同重建算法图像的平均CT值、噪声(SD)、信噪比(SNR)、对比度噪声比(CNR)以及图像质量主观评分;采用随机区组方差分析比较不同算法重建图像间的客观指标差异;采用多个相关样本的秩和检验比较不同算法重建图像的主观评分差异。结果:不同标准算法重建图像的CT值、噪声、SNR、CNR差异均有统计学意义,与iDose4相比,IMR标准算法重建图像噪声降幅达25%~67%,SNR增加1.3~1.5倍,CNR增加2~3倍;与iDose4相比,IMR骨算法重建图像噪声降幅达70%~96%,SNR增加5~15倍,CNR增加4~31倍;不同骨算法及标准算法的图像质量评分差异均有统计学意义,标准算法IMR1-Brain Routine组评分最高5(4,5),骨算法iDose43 YD组评分最高5(5,5);两名观察者评分的一致性较强,加权Kappa系数0.644~1。结论:眼眶CT中推荐使用混合迭代重建技术iDose4 Level 3重建骨算法图像,使用全模型迭代重建技术IMR Level1重建标准算法图像。

论新质生产力赋能农业经济发展的迭代裂变

培育和发展新质生产力在推动农业经济高质量发展、推进农业农村现代化和农村共同富裕中的迭代裂变具有重要的战略意义和深远的价值意蕴。由数字化智能化等新技术新材料新工艺等引发的革命性变更、城乡资金人才信息技术等新型生产要素的优化配置和高效组合、绿色产品和环保效应不断满足人民绿色生活新需求、农业产业和农村现代化深度转型升级而催生和发展成为农业领域的新质生产力就是客观的历史必然。大量科技成果嵌入农村生产生活各环节,农业新质生产力成为引领中国农村产业经济高质量发展的战略引擎,必须为农业新质生产力变成发展新动能而“建立新秩序”。必须充分利用农业新质生产力在推动农业经济高质量发展进程中的迭代效应,增强农业经济发展的内生发展动力,推动农业新质生产力转化为农业农村现代化发展的新动能和新赛道,为中国式现代化作出更大贡献。

滤波辨识(13):类多变量方程误差ARMA系统的滤波递阶广义增广迭代参数辨识

针对类多变量方程误差自回归滑动平均(M-EEARMA-like)系统,利用滤波辨识理念和递阶辨识原理,研究和提出了滤波递阶广义增广梯度迭代辨识方法、滤波递阶多新息广义增广迭代梯度辨识方法、滤波递阶广义增广最小二乘迭代辨识方法、滤波递阶多新息广义增广最小二乘迭代辨识方法。这些滤波递阶广义增广迭代参数辨识方法可以推广到其他有色噪声干扰下的线性和非线性多变量方程误差随机系统中。

功能迭代中的国际科技创新中心:演进路径与风险应对

在全球化经济和社会面临严峻转型挑战的背景下,建设国际科技创新中心已经成为各国推动科技进步、加速产业升级和促进可持续发展的关键战略。在阐述国际科技创新中心的内涵特征、诞生背景与空间转移过程的基础上,从发展驱动力、创新机构来源与主导产业类型这三个维度,分析总结不同时代背景下代表性的国际科技创新中心的发展模式,可构建处于迭代中的五大核心组织功能:基础科研、集成创新、产业驱动、辐射引领与制度试验。在此基础上,归纳其在组织形式、组织载体、驱动力量、关联模式、引才策略方面具有典型意义的演进路径,提出功能迭代中的国际科技创新中心发展需积极识别并化解应对在硬科技、创新成本、创新资源,及其全球科研竞争与协作方面潜在的风险挑战。

基于“全产业链”的体育产业链迭代升级:理论诠释、形成机制与实现策略

基于“全产业链”理念,审视体育产业链的主链、辅链、衔接因素等系统结构,对体育全产业链的内涵要义、系统结构、特征洞察等进行理论诠释,剖析主、辅链条和链接因素的形成机制,提出了体育全产业链迭代升级的实现策略。研究表明:体育全产业链是体育产业链的一种高阶状态,是由主链、辅链和链接因素三个部分相互作用与循环运行的一种综合性系统网络结构,即以主链的综合性与同质性、辅链的全面性与支持性、链接因素的精准性与前瞻性为特征。主链的垂直供应和横向协作激发体育全产业链内生动力;辅链的多元互补增强体育全产业链韧性;链接因素的桥梁纽带作用是体育全产业链升级的关键形成机制。最后,研究提出了强化体育全产业链主链结构升级、优化主链与辅链多元互动、提高体育全产业链链接因素资源配置的实现策略。

新《职业教育法》下工匠精神培养的“四维进阶”理论模型和“四重迭代”运作路径

为贯彻执行国家新颁布的《职业教育法》,深入落实“坚持德技并修,培育工匠精神”的职教新理念,结合教育部“双高计划”的建设与推进要求,根据“物以载道、匠心筑梦”的职业新诉求和工匠精神的时代阐释,论述了基于职业知识技能、职业意识信念、职业行为习惯和职业价值取向的“四维进阶”的工匠精神顶层培养理论模型;然后,以理论模型为指导,阐述了工匠精神培养的“四重迭代”运作路径和实施方案,即优化人才培养方案、更新教学资源库和课程群、重组专业课程任务点和知识链、提升师资力量和水平;最后,以质量闭环为原则,阐明了人才培养需要“课程、实践、单位和社会”四方联动进行绩效评价的必要性。由此可见,理论模型的有效运作和实施不仅可以充分调动课内外育人资源,潜移默化引导学生进行工匠意识的提炼与人文精神的思考,也能引导学生做到知行合一与自我建构,从而不断激发成就感和获得感,以适应产业经济发展的转型升级和对人才的新要求。

“智改数转”背景下常州制造业迭代升级研究

当前常州产业发展面临各种新挑战,通过分析常州产业在演进过程中所经历的三个重要时期,提出在“智改数转”背景下推动常州制造业迭代升级的主要举措与建议,旨在提高产业智能化水平、优化产业结构、提升产业竞争力,以期促进常州地区经济增长,创造更多就业机会,从而推动常州产业的可持续发展。