一种基于视觉分块的Web信息抽取方法研究

随着浏览器/服务器体系结构和动态网页技术的广泛应用,对网页进行快速、准确地信息抽取的技术研究已成为一个热点。结合动态网页的生成特点和针对已有抽取方法的不足,提出了一种基于视觉分块的Web信息抽取方法。

基于结构化文档的钓鱼网站检测算法

为利用网站设计的视觉原则并降低钓鱼者修改网页代码组织方式对钓鱼检测的影响,提出基于网页主视觉区域的结构化文档DMVA (document based on main visual area)检测钓鱼网站。提出子间归并算法生成网页的视觉分块;基于用户的视觉行为,结合层DOM树的分层结构,提出主视觉区域的思想,获取网页的分层主视觉区域中文本信息,构造DMVA;提出相关网站集,计算待测网站和相关网站集中网页间的DMVA的相似性,检测钓鱼网站。实验结果表明,基于DMVA检测钓鱼网站算法钓鱼检测方法具有较好的准确度。

一种新颖的CRE用户评论信息抽取技术

准确挖掘商务网站中的用户评论对于商家进行有效的推荐具有重要意义。提出了一种新颖的用户评论抽取(CRE)算法进行评论信息的抽取。该算法采用了页面分块与信息熵的迭代计算技术实现了评论块的自动发现与抽取。实验结果证明了该算法具有较高的查全率与查准率。