基于VIPS算法和模糊字典匹配的网页提取技术研究

在目前数据爆发的互联网时代,论坛舆论走向对于社会的影响越来越大,对舆论进行监控引导已经不可避免,在数据如此巨大的环境中,有效地监控舆论信息成为一个难题。论坛网页中标题、内容等关键信息是舆论监控中的主要以及重点信息。为了提取论坛网页中的标题、内容、作者等与舆情相关的信息,文章提出了一种基于VIPS算法和智能模糊字典匹配相结合的网页内容提取方法。VIPS算法是利用Web页面的视觉提示背景颜色,字体的颜色和大小,边框、逻辑块和逻辑块之间的间距等,结合DOM树进行页面语义分块。智能模糊字典采用AC-BM匹配算法把VIPS分块的语义块与数据库里的标签相匹配,提取出匹配正确的字段。两者的结合可以提取出帖子的标题、内容、作者、发帖时间等信息。该方法具体步骤是首先利用VIPS算法将网页页面块进行提取,再用分隔条检测设置分隔条,然后重构语义块,检测后将分割后的网页保存为xml格式文件,再将xml文件中的语义块与字典进行匹配,提取出匹配成功的内容。最后,文章通过实验证明了该方法的有效性。

基于改进VIPS算法的主题退火爬虫技术

针对现有主题爬虫技术中存在爬虫覆盖率较低、主题漂移率较高等问题,提出设计一种基于改进VIPS算法的主题退火爬虫技术。通过改进VIPS算法提取当前页面内对对应的视觉块,对视觉块中主要内容实施方式进行判别,将与主题特征相符合的内容块筛选并存入数据库中,将与主题特征不相符的内容块则直接刨除;在Heritrix的基础上,设计主题退火爬虫的结构;通过对规则引擎进行整合,使规则引擎可以在主题退火爬虫中运行,并对执行抓取任务时状态和网页信息进行获取,最终实现了主题退火爬虫技术的实现。仿真结果表明,所提方法爬虫覆盖率较高,且主题漂移率较低,具有一定优势。

DEM数据综合的VIP和LTIN算法评价

以6组不同地貌类型的高级星载热辐射反射辐射计（ASTER）DEM数据为研究对象，分别采用局部算法中的重要点法（VIP）和全局算法中的逐次增点法（LTIN）对各组数据综合处理，并比较两种方法数据处理精度。分析结果表明，相同的剩余点数，两种方法在地形复杂区域的模拟精度低于平坦区域；同一种地形，剩余点数越多，两种方法综合后DEM精度越高；剩余点数占的比例不高于5％时，LTIN精度高于VIP，但LTIN很难捕捉到地形平坦区域的地形特征点；随着剩余点所占比例的提高，VIP综合精度高于LTIN，且能准确捕捉到地形特征点。

A predictor-corrector interior-point algorithmfor monotone variational inequality problems

Mehrotra' s recent suggestion of a predictor-eorrector variant of primal-dual interior-point method for linear programming is currently the interior-point method of choice for linear programming.In this work the authors give a predictor-corrector interior-point algorithm for monotone variational inequality problems. The algorithm was proved to be equivalent to a level-1 perturbed composite Newton method. Computations in the algorithm do not require the initial iteration to be feasible. Numerical results of experiments are presented.

利用 VMM 平台和 AMBA VIP 对安全算法加速器模块的验证

随着安全算法的发展,其复杂性和算法操作数据位数也随之迅速增加。安全算法的硬件实现和加速器化已成为必然趋势。本文针对北京华虹集成电路设计有限公司的安全算法加速器IP核的验证项目,介绍了Synopsys公司VMM验证平台和AMBAVIP在其中的应用。主要阐述了选择VMM验证平台与AMBAVIP的依据;VMM环境中定向测试发生器(Generator)模块的编写、测试案例编写、安全算法的设计、仿真信息筛选方面的应用技巧。通过本验证平台,查出了加速器很多处设计错误。仿真平台验证结束后,在FPGA上对本加速器进行了大量椭圆曲线的测试。所有测试全部通过,证明了本验证平台的有效性。

一种基于同层网页相似性去除网页噪音的方法

一个普通的Web页面可以被分成信息块和噪音块两部分。基于web信息检索的第1步就是过滤掉网页中的噪音块。通过网页的特性可以看出,同层网页大多具有相似的显示风格和噪音块。在VIPS算法的基础上,该文提出一种基于同层网页相似性的匹配算法,这个算法可以被用来过滤网页中的噪音块。通过实验检测,算法可以达到95%以上的准确率。

基于网页分块的搜索引擎排序算法改进

目前,搜索引擎以整张网页作为最小处理单位进行排序处理,容易受到噪音信息的干扰.针对存在的问题,提出用网页分块对网页净化,进而利用净化结果改进传统的排序算法.首先,用基于视觉的网页分块算法VIPS将网页分成若干语义块,然后通过设定规则保留网页中与主题相关度高的语义块,最后用这些语义块代表整个网页参与检索,减少网页噪音对搜索引擎排序算法正确性的影响,实现了检索质量的改进.最后通过实验证明了改进算法的优越性.

基于思维进化神经网络的真空绝热板真空度测量精度改进方法研究

以基于红外热成像机理测量真空绝热板(VIP)的真空度为研究对象。鉴于目前此方案测量真空度存在精度低的问题,本文提出一种基于BP神经网络的真空度测量精度改进方法。针对BP神经网络存在易陷入局部最优、收敛速度慢等缺陷,本文巧妙利用思维进化算法优化BP神经网络的初始权值和阈值,从而弥补以上缺陷。最终实验结果表明,利用思维进化算法优化BP神经网络创建的数学模型大大提高了真空绝热板真空度的测量精度,其实际测量精度优于2%。因此,本文所提方法具有广泛推广的应用价值。