-
题名基于网页源码结构理解的自适应爬虫代码生成方法
被引量:1
- 1
-
-
作者
刘耀
刘茹
翟雨
-
机构
中国科学技术信息研究所信息技术支持中心
北京大学软件与微电子学院
-
出处
《计算机应用》
CSCD
北大核心
2023年第6期1779-1784,共6页
-
基金
国家社会科学基金资助项目(21BTQ011)
国家重点研发计划项目(2018YFB143502)。
-
文摘
针对网页频繁改版带来的网页源码变动,尤其是文章日期、正文或来源机构等网页源码中目标实体的元素结构或属性标识变动所引起的爬虫代码失效、人力维护成本过高的问题,提出一种基于网页源码结构理解的自适应爬虫代码生成方法。首先,通过分析网页结构特征变动规律提取相应爬虫代码;然后,利用Encoder-Decoder模型表征网页源码及代码的变动,通过融合网页源码自身结构语义特征、网页源码变动特征及网页代码变动特征,得到自适应代码生成模型;最后,完善自适应系统的感知、生成和激活机制,从而形成具有自适应处理能力的爬虫系统。经实验验证,所提自适应代码生成模型的最终准确率为78.5%,与TF-IDF+Seq2Seq和TriDNR+Seq2Seq两种生成模型相比,所提模型在网页源码变动的表示和代码生成的有效性上具有一定的优越性。因此,所提方法能够解决网页源码变动引起的爬虫代码运行问题,为网络资源获取即爬虫技术的自适应处理能力提供新思路。
-
关键词
资源获取
网页改版
超文本标记语言
网页源码理解
自适应网络爬虫
-
Keywords
resource acquisition
webpage redesign
Hyper Text Markup Language(HTML)
webpage source code comprehension
self-adaptive Web crawler
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名网页源码也减肥——HTMLShrinker
- 2
-
-
作者
Wind
-
出处
《新潮电子》
2000年第7期19-19,共1页
-
-
关键词
HMLShrinker
INTERNET
网页源码
网络软件
-
分类号
TP393.092
[自动化与计算机技术—计算机应用技术]
-
-
题名查看远程网页源码
- 3
-
-
-
出处
《家庭电脑世界》
2004年第05X期58-58,共1页
-
-
关键词
网页源码
主页地址
网页地址
计算机网络
-
分类号
TP393.092
[自动化与计算机技术—计算机应用技术]
-
-
题名恶意网页我不怕——打造网页源码查看器
- 4
-
-
作者
smallrascal
-
出处
《黑客防线》
2005年第9期84-88,共5页
-
文摘
恶意网页遇到过吗?恶意代码遇到过吗?上了某个网站就感染恶意程序遇到过吗?相信不用听回答就知道答案了。这些东西简直太可恶了,那有没有什么方法可以将其“逮捕归案”呢?当然有啦,万事都要知己知彼方可百战百胜。首先得准备一款网页源码查看器.什么.你没有,那可中大奖了,我今天就要带着大家一起走近这网页源码查看器.
-
关键词
网页源码
恶意网页
查看器
恶意代码
恶意程序
网站
-
分类号
TP393.092
[自动化与计算机技术—计算机应用技术]
TP393.08
[自动化与计算机技术—计算机应用技术]
-
-
题名关于ie源文件查看的小技巧
- 5
-
-
-
出处
《计算机与网络》
2011年第18期22-22,共1页
-
文摘
1、查看带有框架的网页源码 如果有的网页中使用了框架,或者使用了多窗口,那么利用IE菜单上的命令就只能得到框架设置的源码,因此无法查看网页设计的细节。此时久需要变通一下方法。将鼠标指针移到网页中非链接的位置,单击鼠标右键。在弹出的窗口中选择”查看源文件”功能。需要查看哪个窗口的源文件,就将鼠标指针指向哪个窗口,再通过点击右键菜单来进行操作。
-
关键词
文件查看
网页源码
IE
鼠标指针
右键菜单
多窗口
网页设计
鼠标右键
-
分类号
TP393.092
[自动化与计算机技术—计算机应用技术]
-
-
题名Windows近期相关漏洞
- 6
-
-
-
出处
《网管员世界》
2005年第10期112-112,共1页
-
文摘
HS 5.1 FAT FAT32文件系统网页源码泄露漏洞;Windows操作系统键盘事件权限提升漏洞。
-
关键词
WINDOWS操作系统
漏洞
FAT32文件系统
网页源码
键盘事件
权限
-
分类号
TP316.7
[自动化与计算机技术—计算机软件与理论]
TP393.08
[自动化与计算机技术—计算机应用技术]
-
-
题名啊D注入助手
- 7
-
-
-
出处
《黑客防线》
2005年第B06期25-25,共1页
-
文摘
这是手动注入工具,也可以当作是查看网页源码的工具。
-
关键词
注入
网页源码
工具
-
分类号
TP393.092
[自动化与计算机技术—计算机应用技术]
S512.103.5
[农业科学—作物学]
-