期刊文献+
共找到37篇文章
< 1 2 >
每页显示 20 50 100
Crawler for Nodes in the Internet of Things
1
作者 Xuemeng Li Yongyi Wang +1 位作者 Fan Shi Wenchao Jia 《ZTE Communications》 2015年第3期46-50,共5页
Determining the application and version of nodes in the Internet of Things (IoT) is very important for warning about and managing vulnerabilities in the IoT. This article defines the attributes for determining the a... Determining the application and version of nodes in the Internet of Things (IoT) is very important for warning about and managing vulnerabilities in the IoT. This article defines the attributes for determining the application and version of nodes in the roT. By improving the structure of the Internet web crawler, which obtains raw data from nodes, we can obtain data from nodes in the IoT. We improve on the existing strategy, in which only determinations are stored, by also storing downloaded raw data locally in MongoDB. This stored raw data can be conveniently used to determine application type and node version when a new determination method emerges or when there is a new application type or node version. In such instances, the crawler does not have to scan the Internet again. We show through experimentation that our crawler can crawl the loT and obtain data necessary for determining the application type and node version. 展开更多
关键词 crawler local storage NODES internet of Things
下载PDF
LIMS系统中标准管理模块的创新与应用
2
作者 刘薇 王琪 涂坚 《中国标准化》 2024年第12期140-142,共3页
随着信息技术的不断进步,实验室信息管理系统(LIMS)在标准管理方面的创新应用日益显现。本文重点探讨了两大创新点:一是通过精细化设计的互联网爬虫技术,实现标准数据的自动采集、解析与实时更新;二是引入深度置信网络(DBN)框架,构建智... 随着信息技术的不断进步,实验室信息管理系统(LIMS)在标准管理方面的创新应用日益显现。本文重点探讨了两大创新点:一是通过精细化设计的互联网爬虫技术,实现标准数据的自动采集、解析与实时更新;二是引入深度置信网络(DBN)框架,构建智能匹配模型,为用户提供精准的标准推荐服务。这两项技术的融合应用,不仅提升了LIMS系统的智能化水平,也为实验室标准管理带来了革命性的变革。 展开更多
关键词 LIMS 标准管理 互联网爬虫 DBN 自动采集与更新 智能匹配
下载PDF
基于分布式爬虫的微博舆情监督与情感分析系统设计
3
作者 何西远 张岳 张秉文 《现代信息科技》 2024年第5期111-114,119,共5页
互联网的兴起使微博等自媒体平台成为网民表达意见的主要途径。同时,网络舆情的迅速传播使得网民舆论管理成为一个难题。针对传统方法在微博舆情管理上的局限性,文章设计一种基于分布式爬虫的微博舆情监测与情感分析系统,并借助情感分析... 互联网的兴起使微博等自媒体平台成为网民表达意见的主要途径。同时,网络舆情的迅速传播使得网民舆论管理成为一个难题。针对传统方法在微博舆情管理上的局限性,文章设计一种基于分布式爬虫的微博舆情监测与情感分析系统,并借助情感分析和LDA主题提取技术,对热点事件进行分析,帮助政府和企业更好地把握舆情发展动态,捍卫其社会公信力。 展开更多
关键词 网络舆情 分布式爬虫 情感分析 LDA主题提取
下载PDF
智能IoT固件安全研究样本库的设计与实现
4
作者 曾文迪 吴礼发 《软件》 2023年第3期17-20,36,共5页
随着物联网设备的爆发式增长,人们对物联网设备的安全性也愈发重视,大量研究人员对物联网设备的安全性进行研究。为了给物联网固件安全研究提供分析和实验样本,本文广泛搜集、整理了主流物联网厂商的设备固件,设计了固件信息分析与提取... 随着物联网设备的爆发式增长,人们对物联网设备的安全性也愈发重视,大量研究人员对物联网设备的安全性进行研究。为了给物联网固件安全研究提供分析和实验样本,本文广泛搜集、整理了主流物联网厂商的设备固件,设计了固件信息分析与提取方法对收集的固件进行处理,最后使用Django开源Web应用框架实现了可视化的固件样本管理系统,为相关物联网固件安全研究提供有力支撑。 展开更多
关键词 物联网设备 管理系统 网络爬虫 固件安全
下载PDF
智能科技查新系统的设计与实现 被引量:6
5
作者 黄孝伦 王东 +1 位作者 谭涛 刘芹 《计算机测量与控制》 2020年第2期202-205,共4页
为提高科技查新的效率,利用信息化技术对查新业务流程进行优化重构,在常规查新系统的基础上构建了一个智能的科技查新系统;系统设计时首先利用网络爬虫技术自动按照科技项目申请书的关键词搜索和下载相关文献资源,然后以自适应分配算法... 为提高科技查新的效率,利用信息化技术对查新业务流程进行优化重构,在常规查新系统的基础上构建了一个智能的科技查新系统;系统设计时首先利用网络爬虫技术自动按照科技项目申请书的关键词搜索和下载相关文献资源,然后以自适应分配算法分配查新任务和遴选查新报告审核专家,最后以系统中累计的以往查新报告和文献资料为基础,利用Lucene检索工具对生成的查新报告进行全文检索;一是实现了文献资源检索工作的自动化,保证了检索途径、范围及检索表达式的全面性和准确性,避免了大量的人工检索,提高了文献检索效率;二是实现了任务分配的智能化,均衡分配相关任务,使查新效率最大化;三是实现与既往研究项目进行精确比对,避免了科技项目的重复申报,进一步提高查新质量。 展开更多
关键词 科技查新 网络爬虫 全文检索 自适应分配模型
下载PDF
用有向图法解决网页爬行中循环链接问题 被引量:7
6
作者 赫枫龄 左万利 《吉林大学学报(理学版)》 CAS CSCD 北大核心 2004年第3期402-404,共3页
提出网页构成的有向回路问题,描述了由网页构成有向图的形式定义,并给出了用有向图法发现网页构成的有向回路算法.所给定的算法能使网页爬行器避免掉入由已爬行过的网页构成的有向回路陷阱.
关键词 爬行器 网络搜索引擎 超链接 有向图
下载PDF
利用超链接信息改进网页爬行器的搜索策略 被引量:8
7
作者 赫枫龄 左万利 《吉林大学学报(信息科学版)》 CAS 2005年第1期59-63,共5页
网页爬行器在Web空间中爬行时,要面对如下两个问题:1)由于Internet上的信息量十分巨大,网络搜索引擎不可能包含整个Web网页;2)受到硬件资源的限制,它所能存储的网页是有限的。爬行器如果按照传统的宽度优先搜索策略在Web空间中爬行,它... 网页爬行器在Web空间中爬行时,要面对如下两个问题:1)由于Internet上的信息量十分巨大,网络搜索引擎不可能包含整个Web网页;2)受到硬件资源的限制,它所能存储的网页是有限的。爬行器如果按照传统的宽度优先搜索策略在Web空间中爬行,它对所有的网页都采取一视同仁的态度,这样爬行的结果就导致了它所爬行回来的网页质量不高。为此,给出了利用超链接信息改进网页爬行器搜索策略的算法。该算法充分考虑了网页之间的超链接信息,克服了传统的宽度优先搜索策略的盲目性爬行。实验表明,利用该算法爬行得到的网页与某一特定主题相关的网页超过50%。 展开更多
关键词 爬行器 网络搜索引擎 宽度优先搜索 超链接
下载PDF
基于网络论坛的股市分析方法 被引量:1
8
作者 吴晶 陈仪香 刘道明 《计算机工程》 CAS CSCD 2012年第13期254-256,259,共4页
为更好地揣摩大众股民的心理及情感,提出一种基于网络论坛的股市分析方法。根据python实现相应的网络爬虫,利用该爬虫获取网络论坛中的所有帖子,对每日新帖子的数量进行统计分析,针对每个帖子中的文本内容设计分析工具,以进行情感分析,... 为更好地揣摩大众股民的心理及情感,提出一种基于网络论坛的股市分析方法。根据python实现相应的网络爬虫,利用该爬虫获取网络论坛中的所有帖子,对每日新帖子的数量进行统计分析,针对每个帖子中的文本内容设计分析工具,以进行情感分析,并将这些情感结果进行统计。实验结果表明,通过对比同一时期内的中国股市走势图,该方法能对其进行较为准确的分析。 展开更多
关键词 网络爬虫 股市分析 情感分析 网络论坛
下载PDF
药学垂直搜索引擎平台的建立与技术研究 被引量:1
9
作者 焦强 束怡 戴昌林 《药学进展》 CAS 2010年第4期164-173,共10页
目的:针对国内医药企业和科研机构的工作特点,研究药学垂直搜索引擎平台的建立模式与技术实现。方法:应用Visual Studio 2008开发平台、SQL Server 2005商业智能平台以及垂直搜索引擎技术,开发具有市场应用价值的在线药学信息集成平台... 目的:针对国内医药企业和科研机构的工作特点,研究药学垂直搜索引擎平台的建立模式与技术实现。方法:应用Visual Studio 2008开发平台、SQL Server 2005商业智能平台以及垂直搜索引擎技术,开发具有市场应用价值的在线药学信息集成平台。结果:设计建立了包含新闻资讯、文献论文、专利情报、新药信息、药品信息、政策法规等在内的药学垂直搜索引擎平台。结论:该药学垂直搜索引擎平台可为医药企业和科研机构提供医药信息、文献和数据的检索、查询与分析等服务。 展开更多
关键词 药学信息 垂直搜索引擎 信息检索 数据采集 网络爬虫
下载PDF
基于互联网的地理信息变化监测关键技术研究 被引量:4
10
作者 朱俊丰 苏林媛 《地理信息世界》 2019年第1期99-103,共5页
针对目前地理空间信息变化更新体系存在投入大、时效性差等问题,提出了基于互联网的地理空间变化监测的技术体系,利用互联网本体大、实时性高等优点,设计了地理信息检索词典库和检索算法,实现了从海量互联网信息中提取地理信息变化监测... 针对目前地理空间信息变化更新体系存在投入大、时效性差等问题,提出了基于互联网的地理空间变化监测的技术体系,利用互联网本体大、实时性高等优点,设计了地理信息检索词典库和检索算法,实现了从海量互联网信息中提取地理信息变化监测信息,为地理空间信息的更新提供了有效的来源。 展开更多
关键词 地理信息检索 网络爬虫 地理信息变化 词典库
下载PDF
基于爬虫的移动互联网应用监测分析系统研究 被引量:2
11
作者 王跃 于世伟 +1 位作者 路博 金桦 《电视技术》 北大核心 2015年第13期88-92,共5页
移动互联网应用已超越互联网与通信领域范畴,快速向智能电视等新型智能硬件领域延伸,当前国内外移动应用生态爆发式增长,而国内应用渠道分散且良莠不齐,立足于我国移动应用生态发展分裂实际,面向国内技术实现迥异的众多应用商店提出一... 移动互联网应用已超越互联网与通信领域范畴,快速向智能电视等新型智能硬件领域延伸,当前国内外移动应用生态爆发式增长,而国内应用渠道分散且良莠不齐,立足于我国移动应用生态发展分裂实际,面向国内技术实现迥异的众多应用商店提出一套完整的基于爬虫技术的移动互联网应用发展监测与分析系统方案,基于Nutch开源爬虫平台在动态感知获取国内总体应用生态发展/运行态势过程中研究提出并解决一系列关键技术挑战,监测数据经进一步挖掘分析输出若干分析成果,准确全面实时揭示我国移动应用产业整体发展状况,有效形成面向我国整体移动应用发展的深度监测分析能力。 展开更多
关键词 移动互联网应用 应用商店 网络爬虫 监测分析
下载PDF
基于网络数据的居住用房属性信息分析方法及其示范 被引量:2
12
作者 齐文华 杨凡 +3 位作者 刘耀辉 苏桂武 李志强 魏本勇 《华北地震科学》 2020年第4期1-7,共7页
以唐山中心城区及周边快速城镇化乡镇为研究示范,以该范围内的居住用房为研究对象,利用Google Earth影像、互联网地图、各类房产商业网站、街景等各类网络资源,借助ArcGIS、API和网络爬虫技术,获取了房屋地震灾害风险分析所需的结构类... 以唐山中心城区及周边快速城镇化乡镇为研究示范,以该范围内的居住用房为研究对象,利用Google Earth影像、互联网地图、各类房产商业网站、街景等各类网络资源,借助ArcGIS、API和网络爬虫技术,获取了房屋地震灾害风险分析所需的结构类型、各结构类型的面积、空间分布等核心属性信息;在此基础上,简略分析了研究区房屋抗震能力状况,为地震应急基础数据生产及更新和地震灾害风险分析提供方法支持。 展开更多
关键词 网络数据 Google Earth影像 互联网地图 网络爬虫技术 房屋地震灾害脆弱性 居住用房 唐山市区
下载PDF
基于Python的网页数据爬虫设计分析 被引量:6
13
作者 李传科 《信息与电脑》 2020年第24期130-132,共3页
在"互联网+"时代,面对冗杂的数据需要通过构建模型得出准确的结论。基于此,本文首先阐述了网络爬虫的相关概念,进而分析了网络爬虫的案例,比如根据网页的基本结构对其进行分析,使用不同的分析工具获取更准确的信息。
关键词 互联网 网络爬虫 数据整理
下载PDF
基于爬虫技术的山岳型旅游景区网络口碑评价研究 被引量:2
14
作者 邱燕 《安徽农业大学学报(社会科学版)》 2019年第2期43-50,共8页
互联网时代传统口碑逐步演变为网络口碑,对旅游景区网络口碑进行综合评价显得尤为必要。以全国十大山岳型旅游景区为研究对象,围绕旅游要素构建4个维度32个网络口碑搜索关键词,采用层次分析法对关键词赋权,运用网络爬虫技术搜取2017年1... 互联网时代传统口碑逐步演变为网络口碑,对旅游景区网络口碑进行综合评价显得尤为必要。以全国十大山岳型旅游景区为研究对象,围绕旅游要素构建4个维度32个网络口碑搜索关键词,采用层次分析法对关键词赋权,运用网络爬虫技术搜取2017年11月—2018年10月各景区正、负面网络舆情信息,将信息数量标准化,进而计算各景区网络口碑指数、网络关注指数,绘制矩阵分析图。结果显示:网络舆情数量与游客出行活动量之间高度相关,正面舆情数量与负面舆情数量相关性较强,相关系数为0.839;以风景著称的景区较以宗教文化著称的景区网络关注度更高。 展开更多
关键词 网络爬虫 山岳景区 网络口碑 矩阵图
下载PDF
基于Scrapy技术的数据采集系统的设计与实现 被引量:14
15
作者 杨君 陈春玲 余瀚 《计算机技术与发展》 2018年第10期177-181,共5页
面对互联网信息极其庞大并且经常更新的问题,基于Scrapy爬虫框架设计并实现了一种数据采集系统。不仅可以根据用户自身需求获取数据,还可以对自身的采集任务进行简单的管理。介绍了系统开发的关键技术,探讨了系统框架设计、功能模块和... 面对互联网信息极其庞大并且经常更新的问题,基于Scrapy爬虫框架设计并实现了一种数据采集系统。不仅可以根据用户自身需求获取数据,还可以对自身的采集任务进行简单的管理。介绍了系统开发的关键技术,探讨了系统框架设计、功能模块和数据库设计方案。使用Django MTV模式进行开发,底层数据采集框架使用Scrapy,一种使用Python编写实现的网站数据异步爬虫应用框架,网页解析采用XPath和Python正则相结合的方法,采用j Query树插件z Tree实现了任务的树形管理,使用bootstrap实现了数据的任务名加关键字组合查询和页面效果。系统主要分为网页解析模块、数据处理模块、系统登录模块、任务新建模块、任务管理模块和数据查询模块。最后分析了浏览器端和服务器端的数据交互,以及网页数据定位和解析的实现。 展开更多
关键词 Scrapy DJANGO 数据采集 网络爬虫
下载PDF
基于泛型思想的电力工业互联网爬虫框架研究 被引量:2
16
作者 毕玉冰 王文庆 +3 位作者 刘超飞 崔逸群 董夏昕 金晶 《热力发电》 CAS 北大核心 2020年第11期20-27,共8页
目前在互联网场景中使用爬虫框架已成为高效获取数据的一种重要方式,但由于现有爬虫框架针对互联网具体用户、具体场景和用途进行设计,直接用于电力工业互联网存在不适用、不安全等问题。为此,本文提出基于泛型思想的电力工业互联网爬... 目前在互联网场景中使用爬虫框架已成为高效获取数据的一种重要方式,但由于现有爬虫框架针对互联网具体用户、具体场景和用途进行设计,直接用于电力工业互联网存在不适用、不安全等问题。为此,本文提出基于泛型思想的电力工业互联网爬虫框架,结合电力工业互联网的实际需求,从用户、场景、模块设计、使用等各方面进行泛型设计,使该框架不仅具备现有爬虫框架的能力,还能满足电力工业互联网数据爬取的需求。在某集团电力工业互联网生产环境进行验证试验表明,该框架能满足电力工业互联网的不同用户、不同场景的使用和安全要求,也具备现有爬虫框架的特性,泛型设计达到预期效果。 展开更多
关键词 电力工业互联网 数据获取 爬虫框架 泛型思想 泛型设计 PYTHON 网络安全
下载PDF
基于深度学习算法的学生舆情分析系统 被引量:3
17
作者 黄迅 孙军梅 《杭州师范大学学报(自然科学版)》 CAS 2020年第4期427-431,共5页
随着互联网技术的发展,越来越多人习惯通过网络表达看法和观点.然而网络上言论鱼龙混杂,学生作为使用网络的一个主要群体,思想还不够成熟,很容易受一些负面情绪的影响,对此,实时掌握网络舆情,有针对性地进行正确引导具有重要意义.文章... 随着互联网技术的发展,越来越多人习惯通过网络表达看法和观点.然而网络上言论鱼龙混杂,学生作为使用网络的一个主要群体,思想还不够成熟,很容易受一些负面情绪的影响,对此,实时掌握网络舆情,有针对性地进行正确引导具有重要意义.文章提出并实现了一个基于LSTM-CNN混合模型的舆情分析系统.该系统通过网络爬虫实时获取舆情信息,通过LSTM-CNN混合模型可以实时掌握学生关注的话题和舆论热点,实时了解学生的思想动态.实验结果表明:所建立的混合模型的分类正确率较单一模型高,系统具有实时性和准确性的特点,在实际应用中有指导意义. 展开更多
关键词 深度学习 舆情分析 神经网络 网络爬虫
下载PDF
在救灾智联网中推测信息孤岛救助需求强度的空间信息扩散模型 被引量:4
18
作者 黄崇福 田雯 王润东 《自然灾害学报》 CSCD 北大核心 2021年第2期1-13,共13页
重大自然灾害中的信息孤岛,是精准救助的盲区。本文认为,只有发挥互联网的优势,从“隔空判灾”走向“采点外推”,才能较高精度地快速评估信息孤岛中的灾情和救助需求。本文依托救灾智联网,由已观测地理单元上的数据,用空间信息扩散模型... 重大自然灾害中的信息孤岛,是精准救助的盲区。本文认为,只有发挥互联网的优势,从“隔空判灾”走向“采点外推”,才能较高精度地快速评估信息孤岛中的灾情和救助需求。本文依托救灾智联网,由已观测地理单元上的数据,用空间信息扩散模型构造背景数据与救助需求的因果关系,据此推测信息孤岛中的救助需求。以2019年长宁6.0级地震为例子,以“相对暴露度”、“人口”和“GDP”等为背景数据,用启动应急响应3小时内网络爬虫数据中受灾乡镇名字出现频率的强弱表征应急救助需求强度,我们由10个镇得到的数据构造因果关系,推测了3个信息孤岛镇的救助需求强度。由于空间信息扩散模型的普适性,该模型对识别非线性的救助需求因果关系,具有一定的优势。 展开更多
关键词 自然灾害 救助需求 信息孤岛 救灾智联网 信息扩散 背景数据 网络爬虫
下载PDF
新型链接运行技术对数字经济主体的影响与规制
19
作者 李清宇 谭理文 《北京政法职业学院学报》 2022年第3期75-81,共7页
当下互联网上出现了一种能够获取并下载目标网页中包含目标资源的新型链接工具,在给使用者带来便利的同时也对目标平台点击率、创作者流量及收益等造成了影响,并妨害了平台“独家合同”的使用。用新型链接技术下载的数据资源应为著作权... 当下互联网上出现了一种能够获取并下载目标网页中包含目标资源的新型链接工具,在给使用者带来便利的同时也对目标平台点击率、创作者流量及收益等造成了影响,并妨害了平台“独家合同”的使用。用新型链接技术下载的数据资源应为著作权法所保护的作品范畴,此类作品对平台运营商及创作者有极大的经济价值,但目前对新型链接技术使用的法律规制尚未引起重视。有必要从该技术的运行原理及方式出发,针对其给数字经济主体造成的损害,以Robots协议从技术层面限制,否定“免责声明”的法律效力并追究行为主体的侵权责任,审慎适用刑事责任,并重视链接使用者的责任承担问题。 展开更多
关键词 新型链接 爬虫技术 数字经济 网络侵权
下载PDF
网络资源聚合方法探析 被引量:2
20
作者 刘明辉 张志平 张新民 《机械管理开发》 2008年第5期170-172,共3页
在信息时代,如何更好地组织网络资源,是每个信息工作者面临的重大问题,文中较全面地介绍了资源聚合的策略和方法,并对网络资源聚合中出现的问题提出了自己的看法。
关键词 网络资源 聚合RSS 网络爬虫
下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部