期刊文献+
共找到2,144篇文章
< 1 2 108 >
每页显示 20 50 100
An Improved Jump Spider Optimization for Network Traffic Identification Feature Selection 被引量:1
1
作者 Hui Xu Yalin Hu +1 位作者 Weidong Cao Longjie Han 《Computers, Materials & Continua》 SCIE EI 2023年第9期3239-3255,共17页
The massive influx of traffic on the Internet has made the composition of web traffic increasingly complex.Traditional port-based or protocol-based network traffic identification methods are no longer suitable for to... The massive influx of traffic on the Internet has made the composition of web traffic increasingly complex.Traditional port-based or protocol-based network traffic identification methods are no longer suitable for today’s complex and changing networks.Recently,machine learning has beenwidely applied to network traffic recognition.Still,high-dimensional features and redundant data in network traffic can lead to slow convergence problems and low identification accuracy of network traffic recognition algorithms.Taking advantage of the faster optimizationseeking capability of the jumping spider optimization algorithm(JSOA),this paper proposes a jumping spider optimization algorithmthat incorporates the harris hawk optimization(HHO)and small hole imaging(HHJSOA).We use it in network traffic identification feature selection.First,the method incorporates the HHO escape energy factor and the hard siege strategy to forma newsearch strategy for HHJSOA.This location update strategy enhances the search range of the optimal solution of HHJSOA.We use small hole imaging to update the inferior individual.Next,the feature selection problem is coded to propose a jumping spiders individual coding scheme.Multiple iterations of the HHJSOA algorithmfind the optimal individual used as the selected feature for KNN classification.Finally,we validate the classification accuracy and performance of the HHJSOA algorithm using the UNSW-NB15 dataset and KDD99 dataset.Experimental results show that compared with other algorithms for the UNSW-NB15 dataset,the improvement is at least 0.0705,0.00147,and 1 on the accuracy,fitness value,and the number of features.In addition,compared with other feature selectionmethods for the same datasets,the proposed algorithmhas faster convergence,better merit-seeking,and robustness.Therefore,HHJSOAcan improve the classification accuracy and solve the problem that the network traffic recognition algorithm needs to be faster to converge and easily fall into local optimum due to high-dimensional features. 展开更多
关键词 Network traffic identification feature selection jumping spider optimization algorithm harris hawk optimization small hole imaging
下载PDF
A Spider Monkey Optimization Algorithm Combining Opposition-Based Learning and Orthogonal Experimental Design
2
作者 Weizhi Liao Xiaoyun Xia +3 位作者 Xiaojun Jia Shigen Shen Helin Zhuang Xianchao Zhang 《Computers, Materials & Continua》 SCIE EI 2023年第9期3297-3323,共27页
As a new bionic algorithm,Spider Monkey Optimization(SMO)has been widely used in various complex optimization problems in recent years.However,the new space exploration power of SMO is limited and the diversity of the... As a new bionic algorithm,Spider Monkey Optimization(SMO)has been widely used in various complex optimization problems in recent years.However,the new space exploration power of SMO is limited and the diversity of the population in SMO is not abundant.Thus,this paper focuses on how to reconstruct SMO to improve its performance,and a novel spider monkey optimization algorithm with opposition-based learning and orthogonal experimental design(SMO^(3))is developed.A position updatingmethod based on the historical optimal domain and particle swarmfor Local Leader Phase(LLP)andGlobal Leader Phase(GLP)is presented to improve the diversity of the population of SMO.Moreover,an opposition-based learning strategy based on self-extremum is proposed to avoid suffering from premature convergence and getting stuck at locally optimal values.Also,a local worst individual elimination method based on orthogonal experimental design is used for helping the SMO algorithm eliminate the poor individuals in time.Furthermore,an extended SMO^(3)named CSMO^(3)is investigated to deal with constrained optimization problems.The proposed algorithm is applied to both unconstrained and constrained functions which include the CEC2006 benchmark set and three engineering problems.Experimental results show that the performance of the proposed algorithm is better than three well-known SMO algorithms and other evolutionary algorithms in unconstrained and constrained problems. 展开更多
关键词 spider monkey optimization opposition-based learning orthogonal experimental design particle swarm
下载PDF
Multi-Strategy Boosted Spider Monkey Optimization Algorithm for Feature Selection
3
作者 Jianguo Zheng Shuilin Chen 《Computer Systems Science & Engineering》 SCIE EI 2023年第9期3619-3635,共17页
To solve the problem of slow convergence and easy to get into the local optimum of the spider monkey optimization algorithm,this paper presents a new algorithm based on multi-strategy(ISMO).First,the initial populatio... To solve the problem of slow convergence and easy to get into the local optimum of the spider monkey optimization algorithm,this paper presents a new algorithm based on multi-strategy(ISMO).First,the initial population is generated by a refracted opposition-based learning strategy to enhance diversity and ergodicity.Second,this paper introduces a non-linear adaptive dynamic weight factor to improve convergence efficiency.Then,using the crisscross strategy,using the horizontal crossover to enhance the global search and vertical crossover to keep the diversity of the population to avoid being trapped in the local optimum.At last,we adopt a Gauss-Cauchy mutation strategy to improve the stability of the algorithm by mutation of the optimal individuals.Therefore,the application of ISMO is validated by ten benchmark functions and feature selection.It is proved that the proposed method can resolve the problem of feature selection. 展开更多
关键词 spider monkey optimization refracted opposition-based learning crisscross strategy Gauss-Cauchy mutation strategy feature selection
下载PDF
基于YOLOv3算法的智能采茶机关键技术研究
4
作者 马志艳 李辉 杨光友 《中国农机化学报》 北大核心 2024年第4期199-204,236,共7页
在复杂背景下精确识别茶叶嫩芽,是实现高端茶叶智能化采摘的关键技术之一。为实现高端茶叶机械化精准采摘,设计一台基于视觉的采茶样机,根据蛛式机械手采摘茶叶的路径规划,将机械手末端的移动坐标问题转换成静平台3个电机转角问题。针对... 在复杂背景下精确识别茶叶嫩芽,是实现高端茶叶智能化采摘的关键技术之一。为实现高端茶叶机械化精准采摘,设计一台基于视觉的采茶样机,根据蛛式机械手采摘茶叶的路径规划,将机械手末端的移动坐标问题转换成静平台3个电机转角问题。针对YOLOv3算法进行改进,采用EfficientNet网络替代DarkNet-53网络进行特征提取,并利用目标函数GIOU优化损失函数。试验结果表明:改进的YOLOv3算法在茶叶嫩芽识别方面,其准确率达到86.53%,单张图像平均识别时间为53 ms,相比传统的YOLOv3算法,性能实现明显的提升,可以达到预期目标,满足机器采摘需求。 展开更多
关键词 智能采茶 YOLOv3算法 蛛式机械手 机器学习 图像识别
下载PDF
混合策略改进的粒子群算法
5
作者 朱茂桃 刘欢 +1 位作者 吴佘胤 商高高 《重庆理工大学学报(自然科学)》 CAS 北大核心 2024年第1期110-121,共12页
针对粒子群算法易陷入局部最优、收敛精度低、收敛速度慢等缺陷,提出了基于混合策略的改进粒子群算法。使用融合Circle映射与精英反向学习的策略初始化种群,提升初始种群的质量,同时加快收敛速度;在粒子速度更新方式中引入蜘蛛移动策略... 针对粒子群算法易陷入局部最优、收敛精度低、收敛速度慢等缺陷,提出了基于混合策略的改进粒子群算法。使用融合Circle映射与精英反向学习的策略初始化种群,提升初始种群的质量,同时加快收敛速度;在粒子速度更新方式中引入蜘蛛移动策略平衡算法的全局搜索与局部搜索;提出了基于自适应t分布的变异策略,增强算法全局搜索和跳出局部最优能力;对15个单峰和多峰函数进行仿真实验,与其他3种算法进行了对比分析,结果表明:所提出的改进算法具有很强的寻优能力与稳定性。 展开更多
关键词 粒子群优化算法 蜘蛛优化 自适应t分布
下载PDF
蜘蛛网流道冷板冷却液对向流锂离子电池散热分析
6
作者 刘显茜 曹军磊 +1 位作者 李文辉 曾朴 《材料导报》 EI CAS CSCD 北大核心 2024年第4期10-15,共6页
锂离子电池工作温度过高或温差过大将导致其容量降低和寿命缩短。为了降低其工作温度及温差,设计了一款蜘蛛网流道冷板,采用数值方法对其冷却液对向流锂离子电池散热进行了计算。比较了蜘蛛网流道冷板冷却液对向流与同向流锂离子电池的... 锂离子电池工作温度过高或温差过大将导致其容量降低和寿命缩短。为了降低其工作温度及温差,设计了一款蜘蛛网流道冷板,采用数值方法对其冷却液对向流锂离子电池散热进行了计算。比较了蜘蛛网流道冷板冷却液对向流与同向流锂离子电池的散热情况,分析了冷却液流量以及冷板内流道夹角、槽深、壁厚对电池散热的影响。结果表明:与冷却液同向流电池相比,冷却液对向流电池最高温度、温差都降低,电池温度分布更加均匀。在0.02~0.06 kg/s区间,随着冷却液流量增大,电池最高温度和温差快速降低,而冷却液压降缓慢增大;当冷却液流量大于0.06 kg/s时,随着冷却液流量增大,电池最高温度和温差缓慢降低,而冷却液压降快速增大。增大流道夹角可使流道在冷板内分布更加均匀,提高冷板散热能力。当冷却液质量流量恒定时,增大流道槽深可使冷却液压降显著减小,但会引起电池最高温度和温差略微升高。随着流道壁厚增大,电池最高温度和温差均呈下降趋势。蜘蛛网流道冷板在流道夹角80°、槽深1 mm、壁厚2 mm、冷却液流量0.06 kg/s对向流冷却条件下,可使锂离子电池3C放电最高温度和温差降至31.02℃和4.54℃。 展开更多
关键词 蜘蛛网流道 对向流 散热 锂离子电池
下载PDF
两种激光治疗儿童中心点突起型蜘蛛痣的临床研究
7
作者 杨伊帆 杨素艳 +2 位作者 薛磊 曹敏娜 刘召明 《河北医学》 CAS 2024年第4期656-660,共5页
目的:探研2种激光方法在儿童中心点突起型蜘蛛痣治疗中的疗效、不良反应及并发症。方法:选取2020年10月至2022年10月期间由河北省儿童医院整形外科门诊确诊的中心点突起型蜘蛛痣患儿60例为研究对象,采用数字表法随机分组,分为595nm脉冲... 目的:探研2种激光方法在儿童中心点突起型蜘蛛痣治疗中的疗效、不良反应及并发症。方法:选取2020年10月至2022年10月期间由河北省儿童医院整形外科门诊确诊的中心点突起型蜘蛛痣患儿60例为研究对象,采用数字表法随机分组,分为595nm脉冲染料激光组,超脉冲CO_(2)点阵激光组,每组30例。对患儿的治疗次数、治疗效果、不良反应以及并发症情况进行评估。结果:经过随访得知,595nm组较CO_(2)组治疗次数多,差异有统计学意义(P<0.05);两组一次治疗后治愈率分别为80%、95%,差异有统计学意义(P<0.05);两组经多次治疗后治愈率差异无统计学意义(P>0.05);595nm组较CO_(2)组不良反应大,差异有统计学意义(P<0.05);随访12周,并发症差异无统计学意义(P>0.05)。结论:595nm脉冲染料激光及超脉冲CO_(2)点阵激光在儿童中心点突起型蜘蛛痣的治疗中均效果显著,各有优缺点,可根据病灶特点及患儿要求选择适当的治疗方法。 展开更多
关键词 595nm脉冲染料激光 超脉冲CO_(2)点阵激光 儿童中心点突起型蜘蛛痣
下载PDF
蜘蛛纹与侗族民族形象建构研究
8
作者 李莉 毛子晗 谭珍珍 《湖南包装》 2024年第1期56-61,共6页
立足新时代国家形象战略,探索文化认同视域下侗族民族形象的构建策略。运用文献研究、田野调查、实证分析和归纳演绎,挖掘侗族纹样的精神内涵,探析侗族形象建构的底层逻辑、价值意蕴与实践策略。以增强文化认同为基点、深化民族形象为宗... 立足新时代国家形象战略,探索文化认同视域下侗族民族形象的构建策略。运用文献研究、田野调查、实证分析和归纳演绎,挖掘侗族纹样的精神内涵,探析侗族形象建构的底层逻辑、价值意蕴与实践策略。以增强文化认同为基点、深化民族形象为宗旨,从自塑、他塑与共塑深入剖析蜘蛛纹之侗族形象建构的路径和方法,归纳侗族形象建构策略,洞察侗族形象之未来发展方向。以蜘蛛纹为据,提炼新时代侗族民族形象建构策略,推进侗族民族文化本真性传承,发挥侗族纹样符号的形象功能,打造广泛认同的文化标识,凸显侗族文化的丰富内涵,对侗族民族形象进行民族化、重复化、现时化的展示与传播,讲好中国故事,让世界读懂中国。 展开更多
关键词 侗族 蜘蛛纹 民族形象 形象建构
下载PDF
鄱阳湖南矶湿地蜘蛛及其昆虫猎物多样性季节变化与群落功能分析
9
作者 陈连水 袁凤辉 +2 位作者 饶军 张针针 周雅珍 《中国科技论文在线精品论文》 2024年第1期10-24,共15页
研究旨在探讨蜘蛛及其昆虫猎物对湿地生态系统结构的稳定性及能量与物质循环的指示作用,为鄱阳湖南矶湿地国家级自然保护区生物多样性的保护与利用提供参考。结合景观生态原理,采用群落样点设置与观察、关联标本采集与鉴定等生态定量调... 研究旨在探讨蜘蛛及其昆虫猎物对湿地生态系统结构的稳定性及能量与物质循环的指示作用,为鄱阳湖南矶湿地国家级自然保护区生物多样性的保护与利用提供参考。结合景观生态原理,采用群落样点设置与观察、关联标本采集与鉴定等生态定量调查及多样性分析方法。本次调查共采得蜘蛛16科50属73种,得到的结论如下:1)群落结构与功能分析表明,南矶灌丛为蜘蛛繁育发生提供了庇护所,充当蛛库;南矶草甸是蜘蛛捕食行为实战与演化的平台,南矶林地是各类蜘蛛限时汇聚、适时飞航的踏板;在春夏季,南矶草甸中的水生或地栖昆虫是蜘蛛的主要偏好猎物或潜在捕食对象,进入秋冬季,南矶灌丛或林地成为不常见昆虫的汇集地;它们分别主导着南矶蜘蛛及其昆虫猎物群落丰富度、优势度、多样性和均匀度的高低起伏。2)聚类分析表明,南矶湿地各蜘蛛群落间的交流频率与连续性程度受地域异质性和空间距离的限制较为明显,群落类型的内聚作用和发散功能稳定;各昆虫猎物群落间的交流频率与连续性程度受时域同质化和季节物候的影响较为明显,群落类型的边缘差异与斑块功能稳定。3)相关分析表明,蜘蛛及其昆虫猎物群落在春夏季、秋冬季和总体上的各项多样性指数互有关联,且部分时空指数存在交错相关现象,地域与季节性温湿度等物候条件的变化是其主要驱动力。蜘蛛和昆虫是食物链中两个重要的中间环节,它们共同维持着南矶湿地生态系统的运转和平衡。 展开更多
关键词 动物学 南矶湿地 蜘蛛 昆虫猎物 多样性 季节变化 群落功能
下载PDF
抢先式多线程Spider在智能搜索引擎中的实现 被引量:3
10
作者 董瑞洪 张秋余 +1 位作者 唐静兵 张涛 《计算机工程》 EI CAS CSCD 北大核心 2005年第18期90-92,共3页
互联网的迅速发展,导致了网上信息的爆炸性增长。智能搜索引擎技术已经成为计算机工业界和学术界争相研究、开发的对象。文章在分析网络蜘蛛的工作原理的基础上,结合多线程、类的设计等技术,设计了一种抢先式多线程的Spider程序,并给出... 互联网的迅速发展,导致了网上信息的爆炸性增长。智能搜索引擎技术已经成为计算机工业界和学术界争相研究、开发的对象。文章在分析网络蜘蛛的工作原理的基础上,结合多线程、类的设计等技术,设计了一种抢先式多线程的Spider程序,并给出了该系统运行的结果。 展开更多
关键词 搜索引擎 抢先式 spider 多线程 类的设计
下载PDF
用SPIDER法重构飞秒脉冲位相中参数的选择 被引量:4
11
作者 文汝红 刘天夫 《应用光学》 CAS CSCD 2006年第4期340-343,共4页
为了更精确地测量飞秒脉冲特性以满足其不断拓宽的应用,基于光谱相位相干直接电场重构法(SP IDER)测量飞秒激光脉冲的基本原理和重构相位的反演算法,数值模拟了SP IDER重构飞秒脉冲相位的过程,分析了时间延迟τ、光谱剪切量Ω及滤波窗... 为了更精确地测量飞秒脉冲特性以满足其不断拓宽的应用,基于光谱相位相干直接电场重构法(SP IDER)测量飞秒激光脉冲的基本原理和重构相位的反演算法,数值模拟了SP IDER重构飞秒脉冲相位的过程,分析了时间延迟τ、光谱剪切量Ω及滤波窗口宽度的选取原则。以宽度约为20 fs的高斯型线性啁啾脉冲为例,通过选取不同的时间延迟τ和光谱剪切量Ω重构脉冲的相位,发现重构位相曲线与原输入脉冲位相曲线最接近时,时间延迟τ约为1 210 fs,相对光谱剪切量Ω/Δω约为9%,滤波窗口宽度约为τ/3。 展开更多
关键词 光谱相位相干直接电场重构法 参数选取原则 飞秒脉冲
下载PDF
基于拓扑优化方法的蛛网散热结构均温性研究
12
作者 张坎 付婷 王江波 《储能科学与技术》 CAS CSCD 北大核心 2024年第5期1721-1730,共10页
仿生蛛网散热结构在高热流密度芯片散热方面有着广泛的应用,但仍然存在散热结构温度分布不均的问题。为进一步提升蛛网散热结构的温度均匀性,提出利用变密度拓扑优化方法对蛛网结构进行优化设计。以设计域温度方差最低为目标函数,采用... 仿生蛛网散热结构在高热流密度芯片散热方面有着广泛的应用,但仍然存在散热结构温度分布不均的问题。为进一步提升蛛网散热结构的温度均匀性,提出利用变密度拓扑优化方法对蛛网结构进行优化设计。以设计域温度方差最低为目标函数,采用霍尔姆兹密度过滤保证求解的数值稳定性,采用双曲正切投影保证清晰的流道形态,通过分析不同进出口布置和不同设计域形状下得到的拓扑流道的传热性能,发现多入口多出口且交错布置的方式能有效提高拓扑流道的均温性,且设计域边数在十以内其拓扑流道均温性呈上升趋势。最后,通过有限元分析的方法,对传统结构M1和不同设计域边数的三维拓扑重构结构M2、M3进行模拟仿真。结果表明,设计域边数为十的M3温度均匀性优于传统通道M1和设计域边数为六的M2,在Re=1800时,M3热阻相比于M1降低了18.48%,热源面温差相比于M1降低了25%,综合传热性能评价因子PEC值达到1.22。本研究提出并验证了拓扑优化方法在提升蛛网散热结构均温性方面的有效性,有助于推动拓扑优化方法在散热结构上的应用。 展开更多
关键词 蛛网结构 拓扑优化 数值模拟 均温性
下载PDF
基于专业信息深度挖掘的搜索引擎Spider的设计与实现 被引量:2
13
作者 赵恒永 沈坚 山岚 《计算机工程与科学》 CSCD 北大核心 2009年第6期18-20,43,共4页
本文针对专业全文搜索引擎的特点,设计并实现了一种网络机器人。通过二维矢量工作队列实现站点式深度优先搜索,采用页面站点加权算法动态控制站点的处理时间。完成了网络上与专业相关信息的集中收集和处理,并探讨了网络机器人对专业的... 本文针对专业全文搜索引擎的特点,设计并实现了一种网络机器人。通过二维矢量工作队列实现站点式深度优先搜索,采用页面站点加权算法动态控制站点的处理时间。完成了网络上与专业相关信息的集中收集和处理,并探讨了网络机器人对专业的侧重性以及向通用全文搜索引擎网络机器人转换的可行性。 展开更多
关键词 搜索引擎 网络机器人 工作队列 加权算法 任务平衡
下载PDF
用SPIDER法还原飞秒脉冲振幅和相位误差 被引量:2
14
作者 文汝红 刘天夫 《中国计量学院学报》 2006年第2期114-118,共5页
基于光谱位相相干直接电场重构法(SPIDER)测量飞秒激光脉冲的基本原理和重构飞秒脉冲的算法,数值模拟了SPIDER技术重构飞秒脉冲的过程,分析了时间延迟τ、光谱剪切量Ω的选取原则.以宽度约为50 fs的高斯型线性啁啾脉冲为例,取不同的时... 基于光谱位相相干直接电场重构法(SPIDER)测量飞秒激光脉冲的基本原理和重构飞秒脉冲的算法,数值模拟了SPIDER技术重构飞秒脉冲的过程,分析了时间延迟τ、光谱剪切量Ω的选取原则.以宽度约为50 fs的高斯型线性啁啾脉冲为例,取不同的时间延迟τ、光谱剪切量Ω重构了飞秒脉冲,得到:重构出的飞秒脉冲强度和位相最接近时,时间延迟τ约为2 260 fs,相对光谱剪切量Ω/Δω约为10%. 展开更多
关键词 光谱位相相干直接电场重构法 飞秒脉冲 相位 重构
下载PDF
RL_Spider:一种自主垂直搜索引擎网络爬虫 被引量:2
15
作者 黄蔚 刘忠 刘全 《计算机应用与软件》 CSCD 2011年第12期183-187,共5页
在分析相关spider技术的基础上,提出了将强化学习技术应用到垂直搜索引擎的可控网络爬虫方法。该方法通过强化学习技术得到一些控制"经验信息",根据这些信息来预测较远的回报,按照某一主题进行搜索,以使累积返回的回报值最大... 在分析相关spider技术的基础上,提出了将强化学习技术应用到垂直搜索引擎的可控网络爬虫方法。该方法通过强化学习技术得到一些控制"经验信息",根据这些信息来预测较远的回报,按照某一主题进行搜索,以使累积返回的回报值最大。将得到的网页存储、索引,用户通过搜索引擎的搜索接口,就可以得到最佳的搜索结果。对多个网站进行主题爬虫搜索,实验结果表明,该方法对于网络的查全率和查准率都具有较大的提高。 展开更多
关键词 可控强化学习 垂直搜索引擎 网络爬虫
下载PDF
基于SPIDER法测量飞秒脉冲的数值计算与模拟 被引量:10
16
作者 陈碧芳 刘天夫 《激光技术》 CAS CSCD 北大核心 2006年第1期13-15,共3页
为了测量飞秒脉冲的振幅和相位,采用光谱相位相干电场重构法(SPIDER)的光谱图数值分析公式,对高斯强度分布的线性啁啾脉冲、立方相位啁啾脉冲进行数值计算与数值模拟,并重构出飞秒脉冲的光谱相位,其模拟的结果与理论符合较好,光谱相位... 为了测量飞秒脉冲的振幅和相位,采用光谱相位相干电场重构法(SPIDER)的光谱图数值分析公式,对高斯强度分布的线性啁啾脉冲、立方相位啁啾脉冲进行数值计算与数值模拟,并重构出飞秒脉冲的光谱相位,其模拟的结果与理论符合较好,光谱相位相干电场重构法能完全测量飞秒脉冲的振幅和相位。 展开更多
关键词 超快光学 飞秒脉冲测量 光谱相位相干电场重构法 数值模拟
下载PDF
基于ProActive的分布式并行WebSpider设计
17
作者 张林才 梁正友 《计算机工程》 CAS CSCD 北大核心 2008年第19期47-48,52,共3页
单机Web Spider的数据采集速度较慢,采用MPI技术或直接用Java开发分布式Web Spider代价较高。该文利用ProActive中间件提供的主动对象技术、网络并行计算技术、自动部署机制设计实现了P-Spider分布式并行Web Spider。实验结果表明,该P-S... 单机Web Spider的数据采集速度较慢,采用MPI技术或直接用Java开发分布式Web Spider代价较高。该文利用ProActive中间件提供的主动对象技术、网络并行计算技术、自动部署机制设计实现了P-Spider分布式并行Web Spider。实验结果表明,该P-Spider采集速率是单机多线程Web Spider的2.2倍。 展开更多
关键词 WEB spider程序 ProActive中间件 并行 分布式
下载PDF
基于Spark技术的气象数据分析
18
作者 刘丽景 刘力维 +1 位作者 王林 郝婉婷 《黑龙江科学》 2024年第2期56-59,共4页
近些年来,气象数据规模及复杂性大大增加,这对气象数据的存储、利用及加工分析提出了更高的要求。需采用适当的技术及策略,更好地利用分析气象数据,为天气预报、气候研究及社会公共服务提供更大的价值。通过网络爬虫爬取实时天气数据,... 近些年来,气象数据规模及复杂性大大增加,这对气象数据的存储、利用及加工分析提出了更高的要求。需采用适当的技术及策略,更好地利用分析气象数据,为天气预报、气候研究及社会公共服务提供更大的价值。通过网络爬虫爬取实时天气数据,发送实时数据到Kafka消息系统中,利用Spark技术从消息队列中获取实时数据并进行数据清洗、转换、归一化、聚合、汇总、分组等操作,实现气象数据的多维度分析,利用Spark计算结果将处理后的数据进行可视化,以图表、图形等形式进行展示。 展开更多
关键词 气象数据分析 网络爬虫 消息队列 Spark数据分析
下载PDF
可扩展负载均衡Spider的设计
19
作者 黎才茂 陈少凡 《微计算机信息》 北大核心 2008年第30期116-118,共3页
随着Web信息的快速增长,如何对Web信息进行检索,获取有价值的信息,已经成为Web信息检索的重点研究内容。本文设计一种可扩展的蜘蛛程序Spider,运用负载均衡策略调度分布Spider的协同工作,实现Web站点页面的分布式下载,在获取页面信息的... 随着Web信息的快速增长,如何对Web信息进行检索,获取有价值的信息,已经成为Web信息检索的重点研究内容。本文设计一种可扩展的蜘蛛程序Spider,运用负载均衡策略调度分布Spider的协同工作,实现Web站点页面的分布式下载,在获取页面信息的同时,获取站点的拓扑结构。 展开更多
关键词 spider 蜘蛛程序 负载均衡 分布式
下载PDF
可扩展Spider负载均衡策略的研究与实现
20
作者 黎才茂 陈少凡 梁保恩 《计算机与数字工程》 2009年第2期38-41,75,共5页
可扩展Spider采用分布式处理技术,是搜索引擎实现信息搜索的不可缺少的代理。在传统负载均衡策略基础上,对Spider的研究提出可扩展Spider的负载均衡策略,该策略能够有效的对Spider的资源进行均衡调度处理,使得Spider具有良好的可扩展性... 可扩展Spider采用分布式处理技术,是搜索引擎实现信息搜索的不可缺少的代理。在传统负载均衡策略基础上,对Spider的研究提出可扩展Spider的负载均衡策略,该策略能够有效的对Spider的资源进行均衡调度处理,使得Spider具有良好的可扩展性和高效性。 展开更多
关键词 负载均衡 spider 网络蜘蛛 分布式
下载PDF
上一页 1 2 108 下一页 到第
使用帮助 返回顶部