期刊文献+
共找到9,338篇文章
< 1 2 250 >
每页显示 20 50 100
应用程序属性感知的Yarn资源调度模型研究
1
作者 陈宁宁 《信息技术》 2024年第4期36-43,共8页
Hadoop应用程序存在计算密集属性和调度时间属性,但是Hadoop大数据平台集成的第二代资源管理器Yarn内置的三种资源调度器无法将相同属性的应用程序均衡分配到计算节点上,导致部分节点负载过高,出现严重的计算任务长尾效应。文中提出了... Hadoop应用程序存在计算密集属性和调度时间属性,但是Hadoop大数据平台集成的第二代资源管理器Yarn内置的三种资源调度器无法将相同属性的应用程序均衡分配到计算节点上,导致部分节点负载过高,出现严重的计算任务长尾效应。文中提出了一种应用程序属性感知的Yarn负载均衡调度模型——APB Scheduler。APB Scheduler自动感知应用程序属性,将相同属性应用程序的Container按照动态资源计划均衡分配到集群计算节点上,并使用NSGA-Ⅲ算法完成最优分配方案计算。实验结果表明,APB Scheduler解决了相同属性应用程序的Container分配倾斜问题,大幅提升了集群的性能和稳定性。 展开更多
关键词 NSGA-Ⅲ算法 yarn 资源调度
下载PDF
Flax/Polylactic Acid(PLA)Core/Sheath Structural Composite Yarn Fabricated by Spindle Braiding Technique
2
作者 ISLAM Md Azizul WANG Ruijie +4 位作者 CHEN Wei YANG Chunbing ZHOU Bangze WODAG Awoke Fenta XU Fujun 《Journal of Donghua University(English Edition)》 CAS 2024年第5期451-460,共10页
The increasing demand for sustainable and environmentally friendly materials has driven research towards the development of green composites.In this work,the flax/polylactic acid(PLA)braided yarns were fabricated by b... The increasing demand for sustainable and environmentally friendly materials has driven research towards the development of green composites.In this work,the flax/polylactic acid(PLA)braided yarns were fabricated by braiding PLA filaments with 4 to 24 spindles on flax yarns.After curing at different temperatures(180℃and 190℃),the core/sheath structural flax/PLA composite yarns were manufactured.According to the results of the tensile test,the flax/PLA composite yarn with 4-spindle PLA yarns as a sheath layer and at a curing temperature of 180℃reached the maximum elastic modulus of about(5.79±0.65)GPa and the maximum tensile strength of about(162.17±18.18)MPa.This flax/PLA composite yarn with good mechanical properties would be suitable for green composites in the automobile manufacturing industry and building materials. 展开更多
关键词 FLAX polylactic acid(PLA) BRAIDING composite yarn tensile property
下载PDF
Tension Active Disturbance Rejection Control of Automatic Yarn Splicing Robots for Ring Spinning
3
作者 WANG Lisu CAI Yun +1 位作者 JI Cheng WANG Junliang 《Journal of Donghua University(English Edition)》 CAS 2024年第5期505-512,共8页
Automatic splicing of interrupted yarns in ring spinning has always been a problem in the industry.Factors such as low yarn strengths and environmental influence on yarn tensions make it difficult to control the yarn ... Automatic splicing of interrupted yarns in ring spinning has always been a problem in the industry.Factors such as low yarn strengths and environmental influence on yarn tensions make it difficult to control the yarn tension during the robotic splicing process.The purpose of this research is to design active disturbance rejection control(ADRC)for a third-order nonlinear tension system subject to external disturbances.Firstly,a third-order extended state observer(ESO)is designed to achieve the suppression and the compensation of the internal modeling error and the external disturbances of the system.Secondly,the adaptive gain error feedback control and the filtering process are designed to reduce the influence of sensor noise on the disturbance observation.Finally,the tension control during the splicing process is simulated and experimented,and the experiments show that the method has good robustness in the tension tracking task under a dynamic environment,which verifies the effectiveness of the method. 展开更多
关键词 yarn splicing robot tension control active disturbance rejection control(ADRC) extended state observer(ESO)
下载PDF
基于YARN集群的计算加速部件扩展支持 被引量:6
4
作者 李钦 朱延超 +1 位作者 刘轶 钱德沛 《计算机研究与发展》 EI CSCD 北大核心 2016年第6期1263-1270,共8页
以GPU和Intel MIC为代表的计算加速部件已在科学计算、图形图像处理等领域得到了广泛的应用,其在基于云平台的高性能计算及大数据处理等方向也具有广泛的应用前景.YARN是新一代Hadoop分布式计算框架,其对计算资源的分配调度主要针对CPU... 以GPU和Intel MIC为代表的计算加速部件已在科学计算、图形图像处理等领域得到了广泛的应用,其在基于云平台的高性能计算及大数据处理等方向也具有广泛的应用前景.YARN是新一代Hadoop分布式计算框架,其对计算资源的分配调度主要针对CPU,缺少对计算加速部件的支持.在YARN中添加计算加速部件需要解决多个难点,分别是计算加速部件资源如何调度以及异构节点间如何共享问题、多个任务同时调用计算加速部件而引起的资源争用问题和集群中对计算加速部件的状态监控与管理问题.为了解决这些问题,提出了动态节点捆绑策略、流水线式的计算加速部件任务调度等,实现了YARN对计算加速部件的支持,并通过实验验证了其有效性. 展开更多
关键词 分布式系统 yarn 计算加速部件 混合异构节点 图形图像处理器 节点捆绑 任务调度
下载PDF
Yarn架构下基于GA的Web日志挖掘技术 被引量:2
5
作者 李静梅 张宝权 丁楠 《计算机应用研究》 CSCD 北大核心 2014年第11期3388-3391,共4页
提出了一种面向TB级别日志文件挖掘需求的日志挖掘技术。采用MapReduce编程模型设计并实现了一种基于子种群联姻策略的GA,并部署到Yarn架构上,使Yarn架构与GA有效结合。在算法Partition阶段,采用Round-Robin策略代替原有的哈希方法,使... 提出了一种面向TB级别日志文件挖掘需求的日志挖掘技术。采用MapReduce编程模型设计并实现了一种基于子种群联姻策略的GA,并部署到Yarn架构上,使Yarn架构与GA有效结合。在算法Partition阶段,采用Round-Robin策略代替原有的哈希方法,使各个子种群基因更加趋向均匀分布,增加了子种群收敛效率和结果准确性,同时均衡各个节点运行负载,提高了系统性能。经测试,应用该技术的挖掘结果平均准确度达到93%以上,效率提升接近33%。 展开更多
关键词 yarn架构 日志挖掘 遗传算法 并行计算
下载PDF
YARN平台上的并行主题标引算法 被引量:2
6
作者 李瑞轩 廖东杰 +3 位作者 辜希武 文坤梅 赵铄乂 董新华 《计算机科学与探索》 CSCD 2014年第12期1409-1421,共13页
文档主题标引是当前个性化智能检索的重要前提,但面对大规模海量数据资源时,主题标引也成为性能瓶颈。当前在Map Reduce框架上设计实现的主题标引算法,通常存在启动任务耗时长,中间数据过多地进行磁盘IO等缺陷。为了解决此类问题,采用YA... 文档主题标引是当前个性化智能检索的重要前提,但面对大规模海量数据资源时,主题标引也成为性能瓶颈。当前在Map Reduce框架上设计实现的主题标引算法,通常存在启动任务耗时长,中间数据过多地进行磁盘IO等缺陷。为了解决此类问题,采用YARN(yet another resource negotiator)作为底层分布式资源管理平台,选择更加合适的计算框架来改善计算性能。针对文档主题标引算法计算步骤多、阶段性强的特点,选择有向无环图(directed acyclic graph,DAG)计算模型进行算法实现,避免不必要的作业拆分,从而减少中间结果的磁盘IO。另外,考虑到Map Reduce的排序策略耗时较多,而有些计算无需对结果排序,故可以改用基于Hash的数据归约策略来提高计算性能,但这又会带来随机读的问题。利用固态硬盘高速随机读的特性,设计相应的优化计算策略来解决随机读的问题。通过实验对比发现,以YARN为底层管理平台,在此基础上选择合适的计算框架并加以优化,可以有效改善分布式计算的性能。 展开更多
关键词 主题标引 yarn平台 有向无环图计算框架 固态硬盘
下载PDF
基于YARN规范的智能电网大数据异常检测 被引量:6
7
作者 陈阳 王勇 孙伟 《信息网络安全》 CSCD 2017年第7期11-17,共7页
文章描述了Hadoop早期版本在处理智能电网大数据上的不足,同时分析了YARN规范对Map-Reduce进行改进后对电网大数据处理的优点。文章详细讨论了YARNDPP平台中智能电网大数据处理的编码与实现及YARN-DPP的优势,并以IEEE 118节点的电网作... 文章描述了Hadoop早期版本在处理智能电网大数据上的不足,同时分析了YARN规范对Map-Reduce进行改进后对电网大数据处理的优点。文章详细讨论了YARNDPP平台中智能电网大数据处理的编码与实现及YARN-DPP的优势,并以IEEE 118节点的电网作为智能电网大数据异常检测的案例程序,对YARN-DPP平台的硬件环境与软件运行环境进行配置。实验结果表明,针对海量的智能电网状态安全大数据异常检测的程序,YARN-DPP平台具有较好的吞吐量与加速比,可以满足现代智能电网大数据异常检测的需求,在计算速度上比单机串行计算及Map-Reduce计算要快。 展开更多
关键词 智能电网 大数据 yarn规范 MAP-REDUCE
下载PDF
USTER^(■) QUANTUM 3型电子清纱器的 实际应用及要点分析
8
作者 兰小鹏 刘倩 +2 位作者 王友明 陈培培 魏文丽 《纺织导报》 2025年第1期41-44,共4页
USTER^(■)QUANTUM 3型电子清纱器纱体功能有助于清纱曲线的设置,应用好USTER^(■)QUANTUM 3型电清要熟悉其特点。文章介绍了USTER^(■)QUANTUM 3型电子清纱器的纱体功能、利用清纱通道清除周期性纱疵以及非周期性密集纱疵的生产实践、... USTER^(■)QUANTUM 3型电子清纱器纱体功能有助于清纱曲线的设置,应用好USTER^(■)QUANTUM 3型电清要熟悉其特点。文章介绍了USTER^(■)QUANTUM 3型电子清纱器的纱体功能、利用清纱通道清除周期性纱疵以及非周期性密集纱疵的生产实践、利用电清统计功能指导生产管理的实践,并通过对纱体变异的分析,研究改善纱线质量、提升纱线品质的措施。 展开更多
关键词 USTER^(■)QUANTUM 3型电子清纱器 纱体 清纱曲线 纱疵
下载PDF
一种YARN和Spark框架的网格聚类方法
9
作者 王志刚 陈名辉 赵振凯 《现代计算机(中旬刊)》 2016年第12期33-37,共5页
分布式计算为大数据的处理提供一种新的平台,能有效提升算法的执行速度。在DBSCAN算法基础上提出一种数据分网格算法,该算法将每个分区上的数据集划分成以Eps半径为边长的单元格数据块,将查找Eps邻域的范围缩小到数据对象的八个相邻单... 分布式计算为大数据的处理提供一种新的平台,能有效提升算法的执行速度。在DBSCAN算法基础上提出一种数据分网格算法,该算法将每个分区上的数据集划分成以Eps半径为边长的单元格数据块,将查找Eps邻域的范围缩小到数据对象的八个相邻单元格之内,从而提高查找Eps邻域的速度及聚类速度,具有较好的加速比和扩展率。同时还优化分区聚类合并方法。 展开更多
关键词 分布式计算 DBSCAN SPARK yarn TACHYON
下载PDF
段彩纱饰纱牵伸力与段彩结构的关系探讨
10
作者 杨帆 季承 +1 位作者 郭明瑞 高卫东 《棉纺织技术》 CAS 2025年第1期75-79,共5页
针对目前只能通过观察与测量段彩纱成纱结构来指导纺纱工艺调整,对饰纱须条牵伸过程中的动态受力特征了解不足的问题,构建了一套具备在线测试牵伸力的纺纱试验平台。通过在线测试段彩纱纺制时断续喂入饰纱过程中须条牵伸力变化情况,并... 针对目前只能通过观察与测量段彩纱成纱结构来指导纺纱工艺调整,对饰纱须条牵伸过程中的动态受力特征了解不足的问题,构建了一套具备在线测试牵伸力的纺纱试验平台。通过在线测试段彩纱纺制时断续喂入饰纱过程中须条牵伸力变化情况,并结合对应成纱段彩结构,建立饰纱断续喂入过程中须条牵伸力与成纱段彩结构的相互关系,为调整纺纱工艺提供理论依据。通过对纺纱工艺进行调整,分析了牵伸力对段彩结构的影响。结果表明:后区罗拉隔距对段彩纱彩节长度和饰纱须条牵伸力起主要作用,较小的后区罗拉隔距有利于控制彩节长度,但此时牵伸力负荷较大,后区罗拉隔距需要平衡彩节长度偏差与牵伸力的相互关系折中选取;随着后区牵伸倍数的增大,彩节长度先减小后增大,牵伸力先增大后减小,在一定条件下可以通过调整后区牵伸倍数来降低牵伸系统负荷。 展开更多
关键词 段彩纱 动态牵伸 牵伸力 纱线结构 罗拉隔距
下载PDF
一种基于YARN的高优先级作业调度实现方案 被引量:8
11
作者 詹文涛 艾中良 +2 位作者 刘忠麟 李常宝 高泽 《软件》 2016年第3期84-88,共5页
提交到YARN上的一个大数据作业会被切分为一个或者多个任务,任务是大数据作业申请资源和执行的基本单位[1]。在某些领域中存在需要对作业紧急度作有效区分使得高紧急度作业优先获得资源的需求,但是在现有的YARN资源调度策略中,对于提交... 提交到YARN上的一个大数据作业会被切分为一个或者多个任务,任务是大数据作业申请资源和执行的基本单位[1]。在某些领域中存在需要对作业紧急度作有效区分使得高紧急度作业优先获得资源的需求,但是在现有的YARN资源调度策略中,对于提交到YARN上的高优先级作业缺乏资源优先分配和高质量的资源保障机制。本文在修改YARN原有资源调度方案的基础上,提出了一种基于YARN的高优先级作业调度实现方案。实验表明,提交到YARN上的高优先级作业执行效率提升了7%左右,证明设计方案行之有效。 展开更多
关键词 yarn 作业调度 高优先级
下载PDF
一种Hadoop Yarn的资源调度方法研究 被引量:18
12
作者 李媛祯 杨群 +1 位作者 赖尚琦 李博涵 《电子学报》 EI CAS CSCD 北大核心 2016年第5期1017-1024,共8页
针对Hadoop Yarn资源调度问题,为提高集群作业执行效率,提出一种基于蚁群算法与粒子群算法的自适应Hadoop资源调度算法SRSAPH.SRSAPH中,通过Hadoop Yarn跳通信机制获取负载、内存、CPU速度等属性信息初始化信息素矩阵;同时,将粒子群算... 针对Hadoop Yarn资源调度问题,为提高集群作业执行效率,提出一种基于蚁群算法与粒子群算法的自适应Hadoop资源调度算法SRSAPH.SRSAPH中,通过Hadoop Yarn跳通信机制获取负载、内存、CPU速度等属性信息初始化信息素矩阵;同时,将粒子群算法的自我认知能力与社会认知能力引入到蚁群算法,提高算法的收敛速度;此外,根据蚁群算法全局最优解的波动趋势动态调整信息素挥发系数,提高解的精度.实验表明,采用SRSAPH进行资源调度,集群的作业执行时间缩短至少10%. 展开更多
关键词 资源调度 蚁群算法 粒子群算法 HADOOP yarn
下载PDF
Hadoop YARN大数据计算框架及其资源调度机制研究 被引量:25
13
作者 董春涛 李文婷 +1 位作者 沈晴霓 吴中海 《信息通信技术》 2015年第1期77-84,共8页
Hadoop 2.0提出一种新的资源管理系统YARN,它可以支持多种大数据计算框架(如Map Reduce、Storm、Spark等),目前已经成为腾讯、阿里等互联网公司部署大数据平台采用的主流计算框架。为此,文章在分析Hadoop YARN计算框架的基本结构和工作... Hadoop 2.0提出一种新的资源管理系统YARN,它可以支持多种大数据计算框架(如Map Reduce、Storm、Spark等),目前已经成为腾讯、阿里等互联网公司部署大数据平台采用的主流计算框架。为此,文章在分析Hadoop YARN计算框架的基本结构和工作流程的基础上,重点研究Hadoop YARN中的资源调度机制,包括其资源调度器的模型与机制,及其目前已经实现的容量调度器(Capacity Scheduler)和公平调度器(Fair Scheduler)的设计思想、工作原理和脆弱性,并探讨其下一代欧米伽调度器(Omega Scheduler)的主要设计思想。 展开更多
关键词 大数据 yarn计算框架 资源管理器 容量调度器 公平调度器 欧米伽调度器 拒绝服务攻击
下载PDF
基于优先级权重的Hadoop YARN调度算法 被引量:3
14
作者 王荣丽 侯秀萍 《吉林大学学报(信息科学版)》 CAS 2017年第4期443-448,共6页
为解决Hadoop现有调度器调度任务时不能根据任务的紧迫程度分配资源的问题,研究YARN中的资源调度机制,改进原调度器(Capacity Scheduler),提出一种基于优先级权重的Hadoop YARN(Yet Another Resource Negotiator)调度算法(Weight Schedu... 为解决Hadoop现有调度器调度任务时不能根据任务的紧迫程度分配资源的问题,研究YARN中的资源调度机制,改进原调度器(Capacity Scheduler),提出一种基于优先级权重的Hadoop YARN(Yet Another Resource Negotiator)调度算法(Weight Scheduler Based on Priority)。为叶子队列设置队列优先级,结合队列资源利用率和队列优先级选择队列;将应用程序的初始权重设置为应用程序优先级的大小,通过等待时间判断是否更新权重,根据权重对队列中的应用程序进行排序,调度时优先为权重高的应用程序分配资源。实验结果表明,与原有调度算法相比,改进算法平均任务执行时间约减少141 s,平均等待时间减少34.5%,保证了用户执行任务的相对公平,提高了用户总体满意度。 展开更多
关键词 HADOOP yarn框架 资源调度器 优先级权重
下载PDF
一种Yarn框架下的异步双随机梯度下降算法 被引量:2
15
作者 杨双涛 马志强 +1 位作者 窦保媛 张力 《小型微型计算机系统》 CSCD 北大核心 2017年第5期1070-1075,共6页
针对异步随机梯度下降算法在多核系统和主/从集群环境中的通信冲突问题,提出了异步双随机梯度下降算法.该算法主要通过离散各从节点在梯度求解时的计算量,分散各从节点对主节点的通信请求,有效减少模型训练过程中通信冲突次数,从而加快... 针对异步随机梯度下降算法在多核系统和主/从集群环境中的通信冲突问题,提出了异步双随机梯度下降算法.该算法主要通过离散各从节点在梯度求解时的计算量,分散各从节点对主节点的通信请求,有效减少模型训练过程中通信冲突次数,从而加快模型的训练速度;在Hadoop Yarn基础上提出了异步并行计算框架,进行了异步随机梯度下降算法以及异步双随机梯度下降算法的快速求解;在多核系统和Hadoop环境下,基于HIGGS数据集进行了异步随机梯度下降算法和异步双随机梯度下降算法的对比实验,结果表明,在保证模型准确率的前提下,异步双随机梯度下降算法比异步随机梯度下降算法具备更快的训练速度. 展开更多
关键词 异步随机梯度下降 数据并行 多核系统 主从架构 yarn
下载PDF
亚麻纱线的漆酶催化多巴胺聚合染色
16
作者 李宇 亢福行 +1 位作者 艾显超 杨允浩 《印染》 北大核心 2025年第1期21-25,共5页
为开发一种温和环保的亚麻纱线染色方法,以漆酶为催化氧化剂制备聚多巴胺黑色素,并采用一浴法对亚麻纱线进行染色,探讨了多巴胺在漆酶催化氧化作用下的聚合进程和产物结构,以及聚多巴胺染色亚麻纱线的机理。结果表明,漆酶催化多巴胺聚... 为开发一种温和环保的亚麻纱线染色方法,以漆酶为催化氧化剂制备聚多巴胺黑色素,并采用一浴法对亚麻纱线进行染色,探讨了多巴胺在漆酶催化氧化作用下的聚合进程和产物结构,以及聚多巴胺染色亚麻纱线的机理。结果表明,漆酶催化多巴胺聚合形成聚多巴胺黑色素的过程中,伴有中间产物橙色多巴胺色素,使染色亚麻纱线呈现出黑棕色的外观。聚多巴胺黑色素一方面通过氢键吸附于亚麻纱线表面,另一方面以多巴胺单体为偶联剂与亚麻纱线的木质素侧基共价接枝,在亚麻纱线表面形成一层致密均匀的薄膜涂层,染色纱线耐皂洗色牢度可达到3级。 展开更多
关键词 亚麻纱线 多巴胺 漆酶 催化氧化 生物染色
下载PDF
一种Hadoop YARN的资源调度机制 被引量:3
17
作者 李程 柴小丽 +1 位作者 谢彬 唐鹏 《计算机与现代化》 2017年第11期29-34,共6页
YARN是Hadoop中广泛应用的资源管理系统,支持MapReduce,Spark,Storm等多种计算框架,已成为大数据生态中的核心组件。然而,在Hadoop YARN现有的资源调度器中,采用基于资源预留的资源保障机制,会产生资源碎片,导致资源浪费。为提高集群的... YARN是Hadoop中广泛应用的资源管理系统,支持MapReduce,Spark,Storm等多种计算框架,已成为大数据生态中的核心组件。然而,在Hadoop YARN现有的资源调度器中,采用基于资源预留的资源保障机制,会产生资源碎片,导致资源浪费。为提高集群的资源利用率和吞吐量,本文提出一种基于预约回填的资源分配机制。在该机制中,基于作业的优先级来决定是否对资源进行预约,并引入回填策略,在不影响预约作业执行的情况下,对资源进行回填使用。实验表明,使用基于预约回填的资源调度机制能够有效提高Hadoop YARN集群的资源利用率和吞吐量。 展开更多
关键词 HADOOP yarn 大数据 资源调度 预约回填
下载PDF
现代配棉常见误区及质量控制建议
18
作者 黄克华 陈玉峰 张泽 《棉纺织技术》 CAS 2025年第1期70-74,共5页
分析当前在纤维多组分化、棉纤维机采化、原棉资本化等新情况下出现的配棉误区及解决措施。介绍了现代配棉技术的发展现状,针对配棉中出现的新问题,采用大数据技术,结合检测、分类、组批、接批、回用、质量预测等的系统配棉技术,总结了... 分析当前在纤维多组分化、棉纤维机采化、原棉资本化等新情况下出现的配棉误区及解决措施。介绍了现代配棉技术的发展现状,针对配棉中出现的新问题,采用大数据技术,结合检测、分类、组批、接批、回用、质量预测等的系统配棉技术,总结了系统配棉中需要注意的几个方面,并以实际案例分析了配棉误区及解决措施。认为:在配棉实践中要重视原棉检测、组批,分清配棉主体,杜绝单唛纺纱、回花随意使用等,以达到降低成本、稳定质量的配棉目的。 展开更多
关键词 配棉技术 原棉 物理指标 经济指标 成纱质量 工艺
下载PDF
基于Spark+YARN的空气污染预报云平台设计 被引量:3
19
作者 丁凡 马敏劲 +1 位作者 丁峰 曹二山 《计算机工程与应用》 CSCD 北大核心 2017年第19期98-101,共4页
近年来我国空气污染导致的雾霾天气频繁发生,空气污染已经成为一个亟待解决的重要问题,其数值预报推广应用是一个难题,主要表现在数值预报系统的运行过程中计算量大,数据量大,在传统高性能计算集群中进行空气污染预报存在资源有限、复... 近年来我国空气污染导致的雾霾天气频繁发生,空气污染已经成为一个亟待解决的重要问题,其数值预报推广应用是一个难题,主要表现在数值预报系统的运行过程中计算量大,数据量大,在传统高性能计算集群中进行空气污染预报存在资源有限、复杂的并行化操作、批处理作业等待耗时等问题,尤其对于资源缺乏的研究团队,还存在基础设施昂贵而无法负担的问题。因此,如何利用有限的资源,为大气科学家提供一种基于云计算模式的高性能计算环境,提供可扩展、快速、廉价和动态可分配的计算和存储资源,是亟待解决的关键问题。研究一种基于Spark+YARN的空气污染数值预报的云平台,针对空气污染数值预报特点,为大气科学家提供一种空气污染数值预报大数据解决方案。 展开更多
关键词 Spark+yarn平台 云计算 空气污染预报
下载PDF
基于YARN的加权模糊C均值算法在土壤养分数据挖掘中的应用 被引量:1
20
作者 鲁业明 于合龙 《中国农机化学报》 2016年第9期140-145,共6页
基于数据挖掘的土壤肥力状况分析是当前针对土壤肥力状况研究最有效的途径之一,针对研究过程中三个有待改进的方面:土壤养分数据的几何状增长单机处理方式已无法胜任;由于Hadoop自身"中心化"严重,基于Hadoop的解决方案存在集... 基于数据挖掘的土壤肥力状况分析是当前针对土壤肥力状况研究最有效的途径之一,针对研究过程中三个有待改进的方面:土壤养分数据的几何状增长单机处理方式已无法胜任;由于Hadoop自身"中心化"严重,基于Hadoop的解决方案存在集群资源利用率低以及单点失效的风险;土壤养分的数据分析过程中没有考虑或没有较好的解决土壤养分数据空间变异性导致的结果偏差,有针对性的提出基于YARN的加权模糊C均值算法,实验表明该算法具有良好的扩展性。将该算法应用于吉林省长春市农安县的土壤肥力状况分析中,聚类效果明显,所得结果适合土壤肥力变化趋势的评价。 展开更多
关键词 土壤肥力分析 数据挖掘 加权模糊C均值 APACHE yarn
下载PDF
上一页 1 2 250 下一页 到第
使用帮助 返回顶部