编制价格指数的爬虫数据抽样方法研究

文章针对全量爬虫数据编制价格指数成本高的问题,提出了一种抽样方法。该方法采用“大数据—小数据”思想,在基期通过网络爬虫技术全量抓取电商平台的商品交易数据,形成抽样框;在连续性调查中采用抽样技术,根据分层抽样思想,运用聚类算法及其轮廓系数实现总体数据分层,并通过不等概率随机抽样获取各层代表性样本;考虑到连续性调查中入选样本存在无回答现象,提出正式和备选样本思路,针对每个正式样本,采用最近邻匹配法挑选若干个备选样本,当正式样本无回答时,以备选样本作为替补来完成价格指数编制。以天猫商城粮油品类为例进行验证,结果表明:在抓取的数据中,基期全量爬虫数据有18351条,第2—8期连续性调查的平均抽样比为10.18%,抽样的平均相对误差为0.59%,说明该方法是可行的。

考虑履带机器人转向特性的全局路径规划

针对传统A星路径规划算法忽略车辆转向过程,导致规划路径行程时间较长的问题,提出了考虑履带车转向特性的改进A星算法。首先,扩大A星算法的搜索邻域,提高转向角的灵活度。其次,分析考虑履带车的转向特性,将转向时间加入到代价函数中,建立以时间最短为目标的代价函数,缩短履带车的行程时间。最后,构建删除冗余节点和新增优化节点的规则,改善路径的平滑性使规划的路径进一步优化。通过Matlab仿真和实车实验进行研究,研究结果表明:改进算法在路径长度、转向次数和行驶时间方面都有了减少,规划的路径要优于传统A星算法和对比文献算法。改进A星算法能有效提高所规划路径的质量,提升履带机器人的自主巡航能力和智能化水平。

一种并行Crawler系统中的URL分配算法设计

研究了分布式体系结构下的并行Crawler采集模型,分析了各组件的功能及各Cmwler在并行搜索时,为保证系统的负载均衡而应遵循的基本规则,并提出了一种基于散列(hash)的URL的调度算法。

基于机器学习的Web网络爬虫算法优化研究

随着互联网的不断发展,网络爬虫在信息获取和数据挖掘等领域中的应用越来越广泛。同时在互联网相关应用中,机器学习技术成为一种非常重要的手段,能够完成更加高效和准确的网络爬取。然而,现有的网络爬虫算法还存在着很多问题,比如效率低下、容易被封禁等。因此,本文对现有的网络爬虫算法进行分析和总结,找出其中存在的问题和不足之处,提出一种基于机器学习的网络爬虫算法优化方法,使其更加智能和自适应,以期更好地满足实际应用的需求。

3-SRR腿履式调姿救援机器人优化设计与试验

为实现在复杂环境下对处于不同位姿伤员的精准施救及稳定转运,文中提出了一种3-SRR腿履式调姿救援机器人机构,并进行运动学分析、机构优化设计及试验研究。首先,基于闭环矢量法对其进行运动学分析,得到救援机器人运动学反解;然后,基于迭代搜索算法,得到其救援作业空间与姿态空间,并基于单一变量法分析救援机器人机构尺寸参数对救援作业空间的影响;然后,以救援作业空间最大、姿态能力最强为优化目标函数,基于差分进化算法对机构尺寸参数进行优化;最后,研制原理样机并进行调姿能力试验,试验结果证明了方案的可行性与理论分析的正确性,为灾难救援提供一种可行的解决方案。

基于神经网络算法的水陆两栖无人艇控制系统研究

针对近海登陆两栖作战等不适合士兵冲锋陷阵的高危环境,提出了基于神经网络算法的水陆两栖无人艇控制系统研究,伺服运动控制为控制系统的关键核心之一。鉴于目前传统两栖无人艇运动控制系统PID算法控制精度低、误差大、需人工调节参数等缺陷,提出BP-PID神经网络算法,同时融合GWO算法(灰狼算法),利用其搜索能力优化网络权值和阈值,加快网络收敛,提高控制精度。首先,对水陆两栖无人艇的控制系统进行需求分析,继而完成两栖无人艇伺服运行控制系统数学和控制模型设计、神经网络算法构架等设计,将设计的算法引入两栖无人艇运动控制系统中,并且进行实验验证,得到行驶曲线。结果表明控制系统运行稳定、响应速度快、误差小,行驶轨迹精确等优点。为实现不适合士兵直达近海登陆作战高危未知环境提升作战力,保护士兵安全有很重要现实意义和实用工程价值,为未来武器装备的智能化研究发展提供借鉴。

基于大数据的深度学习网络爬虫算法在信息搜集与处理中的应用

旨在利用大数据和深度学习技术优化网络爬虫算法,以更好地满足信息搜集与处理的需求。首先,使用大数据技术进行数据收集;其次,引入词频反转文档频率(Term Frequency-Inverse Document Frequency,TF-IDF)权重作为输入特征的初始权重,并利用传播激活算法来优化爬虫算法;最后,对多模态信息进行整合。为了测试基于大数据的深度学习网络爬虫算法在信息搜集与处理中的应用效果,将其与传统方法进行了比较。通过实验发现,在统一资源定位器(Uniform Resource Locator,URL)数量为10000时,提出的方法的覆盖率可达92.9%,而传统方法的覆盖率仅为73.7%。研究表明:所提出的基于大数据的深度学习网络爬虫算法在信息收集方面具有更高的覆盖率和更好的准确性。

基于改进鱼群算法的履带式收割机路径跟踪

[目的]农田环境的复杂性对履带式收割机的路径跟踪精度提出了严峻挑战。为了提升收割机在农田作业中的路径跟踪性能,减少跟踪偏差,本研究提出了一种基于改进鱼群算法的履带式收割机全田块路径跟踪方法。[方法]根据履带式收割机的结构特性,将其作业过程简化为二维平面上的运动形式。通过结合全局与局部坐标系的转换,构建了收割机运动轨迹的数学模型,并进一步建立了相邻时刻履带式收割机全田块作业的运动模型。随后,根据不同作业状态,以收割机的前视距离作为关键参数,确定增益系数,从而获取其实时控制变量。为优化路径跟踪效果,引入了粒子滤波算法对鱼群算法进行改进,并以此构建了目标函数。在目标求解过程中,通过算法的不断迭代和优化,实现了收割机路径的精准跟踪。[结果]经过多次试验验证,在设定不同起始偏差点的情况下,本文提出的方法表现出了良好的跟踪性能。应用本文方法后,作业路径跟踪平均响应时间为0.52 s,最小转弯半径为5.0 m,平均偏差0.8 m,最小偏差0.5 m,与设定路线基本一致。这一结果充分证明了本文设计方法的有效性。[结论]综上所述,本文提出的基于改进鱼群算法的履带式收割机全田块路径跟踪方法,能够准确实现收割机在复杂农田环境中的精准跟踪,跟踪效果好,具有广泛的应用价值。

基于知识图谱的恶意软件信息检测方法研究

互联网的发展导致恶意软件信息类型种类繁多,为检测获取更深层次的恶意软件信息,研究基于知识图谱的恶意软件信息检测方法,提升恶意软件信息检测效果。利用文本挖掘技术中的Python网络爬虫技术,采集软件有效信息;通过信息增益算法,在采集的软件有效信息内,提取软件信息特征;在双向长短期记忆神经网络内输入软件信息特征,输出软件信息实体识别结果,并抽取软件信息实体间的关系;依据实体消岐技术,对抽取的软件信息实体关系进行知识融合,得到软件信息知识图谱;利用图推理算法,处理软件信息知识图谱,得到恶意软件信息检测结果。实验证明:该方法可有效采集软件有效信息,并提取软件信息特征,建立软件信息知识图谱;该方法可有效检测恶意软件信息,且检测精度较高。

基于深度哈希算法的学生画像个性化推荐系统的设计与实现

为了提升学生画像个性化推荐的效果,研究设计了一种基于深度哈希算法的学生画像个性化推荐系统。通过使用深度哈希算法结合经过处理的学生信息,进行了学生信息特征标签的提取,并构建了学生画像标签维度模型,从而提升了学生画像的生动性。根据学生画像标注的学生特征,在学校课程资源特征数据集中进行搜索匹配,并根据排序后的检索结果生成推荐结果。实验结果表明,该系统能够有效地采集和预处理学生信息,并成功构建学生画像,完成学生画像的个性化推荐。

基于聚类算法的轨道交通履带式消防机器人的应用

对履带式消防机器人的构型进行分析,简化其构型设计为四轮机器人,并建立相应的坐标系。通过对其运动模型进行规律分析,得出单侧履带上所有点的运动速度规律,完成了功能模块的设计,再根据功能模块的设置完成对机器人的硬件结构设计。将履带式消防机器人所采集视频图像中每个像素点的色彩值作为特征向量,将所有采集到的视频图像构成一个样本集合,把图像分割任务转换为数据集合的聚类任务,运用K-means聚类算法进行图像区域分类,获取所需的分离图像。

基于数据驱动的阳光高考志愿决策软件设计与实现

针对内蒙古阳光高考志愿填报的特征,开发了一款基于B/S的软件系统,旨在服务考生填报志愿,实现分数与院校专业的合理匹配,完成高考志愿的有效填报。首先,阐述了在数据驱动下的基于位次等效决策算法的高考志愿填报方案决策软件系统的整体设计思路;其次,给出了基于Python的Django项目技术方案选型过程;最后,详细阐述了包括数据库设计、基础数据爬虫技术批量下载、报考方案特征分析、高考方案数据案例等软件开发细节,并以案例形式进行了呈现。设计思路及案例分析表明,该软件系统实现了基于数据驱动的高考志愿决策。

赌博网站自动识别技术研究

网络赌博存在严重的信息安全风险,有效发现判定赌博网站对维护国家金融稳定有着十分重要的意义.针对赌博网站发现困难的问题,提出一种赌博网站自动识别技术方案,该方案根据云平台的AS信息获取其拥有的IP网段,遍历IP反向解析域名后进行分布式爬取以获得网站截图.针对赌博网站判定困难的问题(例如有的赌博网站仅是一幅包含赌博APP下载链接的图片),方案利用dHash算法对正样本进行清洗,训练卷积神经网络(CNN)进行网站二分类.实验结果表明方案泛化能力较强、人工参与少,可在一定程度上解决赌博网站发现、识别方面存在的问题.

基于python的分布式网络反爬虫数据有序性研究

爬虫产生的负面影响导致网站无法正常访问、运行,故反爬虫技术应运而生,针对反爬虫数据存在的无序性问题,提出面向分布式网络反爬虫数据有序性研究,降低数据后续处理难度。基于python语言及其Scrapy结构,架构分步式网络反爬虫模型,采取人为纠错、主成分分析线性降维以及数据转换等预处理手段,获取特征清晰的反爬虫数据集;根据反爬虫数据样本集与训练集的合并集,结合有向图,利用k最邻近分类算法划分反爬虫数据类别,针对分布式网络反爬虫数据的无序性,设计比特序列递推算法,赋予反爬虫数据有序性。仿真阶段中,经对比百度图片与反爬取到的图片顺序,验证所提方法的有效性,通过探索带宽环境对数据有序性的影响可知,其有序性不受带宽环境影响。

基于增量式爬虫技术的新闻分析系统设计

新闻网站是获取外界信息的重要渠道,为有效收集新闻网站信息、对信息进行分析,基于Python设计了对新闻网站的爬虫分析系统。该系统包括爬虫、自然语言处理、系统可视化交互三个模块。在爬虫方面系统采用threading第三方库提供的多线程爬虫,并增加了增量式爬虫的设计;在自然语言处理方面,系统以TextRank算法为原理实现对文本信息对关键词句的抽取,使用TextRank4zh第三方库实现此功能。系统采取Tornado框架实现交互功能。系统以美国有限电视新闻网为例进行新闻信息爬取与分析,实验结果表明该系统的爬取效率高,健壮性好。

零售交易信息服务平台运行数据异常辨识研究

异常数据的存在导致零售交易信息服务平台的用户体验不佳,因此需要设计零售交易信息服务平台运行数据异常辨识方法。文章首先采用网络爬虫技术采集平台数据,并对数据进行预处理,其次利用主成分分析法对数据进行特征提取,最后通过k-means聚类算法实现异常数据辨识。实验结果表明,该方法对数据异常辨识的精确度高、误差小、速度快。

爬行虫算法设计与程序实现

爬行虫算法是搜索引擎探讨的热点。通过分析现有爬行虫算法设计和程序实现的主要方式 ,权衡其利弊 ,总结出一个适合于中小型网站网页下载的爬行虫算法。并使用jBuider8.0工具实现了该算法。通过实验分析 ,该程序下载的网页数的速度为 1882 4 2个网页 /分和 4 1.92 74 .5 9KB/秒。

商品评论聚焦爬虫算法设计与实现

从商品评论抽取算法出发,使用开放应用编程接口调用和链接跟踪的方法,分别设计了基于通用爬虫原理和开放应用编程接口(OpenAPI)的商品评论聚焦爬虫算法。在此基础上实现了淘宝网和京东网商品评论收集程序。最后将两者与通用爬虫算法进行比较,证实了二者的程序设计具有针对性强、数据采集实时性好、易嵌入开发等优点,为实时评论数据采集技术的研究提供了新思路。

一种改进的主题网络蜘蛛搜索算法

主题网络蜘蛛搜索策略是专业搜索引擎的核心技术。但是目前的主题搜索算法往往存在很大贪婪性,难以在全局范围内找到最优解。通过比较分析发现Best-First算法虽然有它的不足,但是它在几种算法中表现的性能最优。故以Best-First算法为基础,提出了BS-BS算法。对BS-BS算法进行性能评价,发现应用此算法搜索不但“召回率”有所提高,还能在一定程度上找到全局范围内的最优解。

面向专用信息获取的用户定制主题网络爬虫技术研究

进入大数据时代,互联网已成为各行各业进行信息采集的重要阵地。面对爆炸式增长的网络信息资源,如何快速高效地筛选出所需的信息成为亟需解决的现实难题。在互联网海量数据和专用信息采集人员之间构建一个满足特定需求的信息筛选机制,可以大幅度提高专用信息获取工作效率。主题网络爬虫是所有互联网信息获取手段必须具备的首要环节,为了提高专用信息采集的准确性,文章进行了面向公开网络的用户定制主题网络爬虫技术研究。针对大数据时代信息筛选困难的问题,文章通过将用户的兴趣偏好融入到主题网络爬虫的抓取过程中,有效提高了信息筛选力度,并通过实验验证了文中方法能够提高查准率。