模板化的Web列表页面信息自动抽取方法的研究

提出一种模板化的Web列表页面信息自动抽取方法,并对其实现的关键技术进行了阐述,包括页面预处理,Web列表页面中数据区域、数据记录的定位方法。同时提出一种有效的对DOM子树进行属性对齐和标注的方式,并给出相关算法。实验结果表明,该方法能够自动寻找并抽取Web列表页面的主要信息,具有较高的查全率和查准率。

基于web的视频聚合解决方案

本文利用xml和java的httpclient技术及正则表,通过对网络中视频信息的列表抓取,列表页面分析获得视频的名称、图片地址、视频播放页地址、视频播放页连接地址、标签和视频流地址,充分挖掘网络视频资源,节省存储空间和带宽;其次,通过抓取分析视频信息的rss文件,获取其新增的内容扩大自己视频资源,定时抓取他人主页,分析视频信息获取焦点的视频内容,以减少编辑成本;最后运用lucene搜索引擎框架,把获取的信息建成索引库,为客户提供强大搜索功能。