基于页面Block的Web档案采集和存储

提出了基于页面Block对Web页面的采集和存储方式,并详细表述了该方法如何完成基于布局页面分区、Block主题的抽取、版本和差异的比较以及增量存储的方式.实现了一个Web归档原型系统,并对所提出的算法进行了详细的测试.理论和实验表明,所提出的基于页面Block的Web档案(Web archive)采集和存储方法能够很好地适应Web档案的管理方式,并对基于Web档案的查询、搜索、知识发现和数据挖掘等应用提供有利的数据资源.

基于页面分块模型的PageRank算法研究

提出了一个基于页面分块重要性模型的PageRank改进算法。该算法考虑同一页面内属于不同分块的出链接有着不同的重要性,故对不同分块的出链接赋予相应的权重,从而更合理、更公正、更有效地计算页面的PageRank值。与以往的PageRank算法及其改进算法相比,该算法以基于视觉特征的页面分块算法为核心,更好地反映了网页的特性,符合了用户的使用习惯,具有良好的效果。

一种具有断电续写功能的存储器系统设计

针对弹舰载存储器在复杂环境下可能出现偶然掉电的问题,提出了一种具有断电续写功能的存储器解决方案,避免存储器在弹箭上偶发性掉电恢复之后上次存储的数据被新的数据覆盖。在边擦边写基础上实现了断电续写技术,且为了满足数据写入速率使用交叉双平面编程。通过地面测试台模拟弹上系统发送数据,大量测试结果表明,该设计实现了断电续写的功能,可以实现对数据的稳定存储,且验证了系统的可靠性。

Web页面清洗技术的研究与实现

文章提出了Web页面清洗的概念,给出了一种基于规则的Web页面清洗方案,并实现了基于此方案的系统。文中的页面清洗建立在Web页面的DOM树结构上,并通过人工判定的方法进行了实验和评估。实验结果表明该方案切实可行、清洗方法具有较快的速度和准确性。

基于FPGA的NAND FLASH控制器

主要介绍现场可编程阵列FPGA在NAND FLASH芯片测试仪系统中的应用,由于芯片本身内部结构非常复杂,还可以允许坏块的存在,而且坏块的数目在使用过程中还可以增加,这使得对芯片进行操作变得非常难,而利用FPGA对NAND FLASH进行控制,可以非常方便地对他进行读写、擦除以及坏块判断等几种重要的操作,从而能快捷、准确、稳定地测试出芯片的好坏,为NAND FLASH厂商和用户提供更为准确的判断依据。

网页分块聚类的Web站点逻辑域挖掘

Web逻辑域挖掘是当前Web挖掘领域的研究热点之一,它强调从网站设计者的角度来挖掘站点中有逻辑联系的网页,以形成一个逻辑域,而不是单纯的文本聚类或超链排序。随着应用的不同,站点逻辑域的界定也有所不同。在综合分析了几种具有代表性的站点逻辑域及其挖掘方法后,提出了基于网页分块聚类的Web站点逻辑域挖掘模型和挖掘算法。实验结果表明,该算法具有很好的稳定性和适应性,其精度不受站点规模、语言、镜像等因素的影响,召回率则会随着取回网页数目的增加而增加。

改进的Shark-search算法在网络采集中的应用

Shark-search是一种依据链接价值的高低进行优先采集的算法,用于主题信息采集系统时由于只考虑了网页文本和链接锚文本与主题的相关性而忽略了网页的组织结构特性,在抓取有较多噪音链接的网页时效果欠佳。基于网页组织结构特性的分析研究,提出了一种基于网页主题分块的Shark-search算法。该算法在经典Shark-search算法的基础上依据网页组织结构根据网页布局标签对页面内容进行分块,从网页,块和链接三个层面与主题的相关性得到链接的综合价值,因而具有自学习功能,能统计学习与主题相关性较大的块特征,并在发生主题漂移的时候具有自调整功能,给予主题相关性较大的父页面上的链接更多被抓取的机会。采集实验结果表明,所提出的算法在经典Shark-search的基础上能较好地改进主题信息采集的查准率,能够更灵活地针对实际的Web资源状况进行自调整。

大容量NAND FLASH在ARM嵌入式系统中的设计与实现

随着嵌入式系统的快速发展,FLASH存储设备得到越来越广泛的应用。以Samsung公司的NAND FLASH器件K9F2808U0C为例,根据ARM嵌入式系统的要求以及NAND型Flash存储器的特点,设计了与LPC2210的接口电路,阐述了NAND FLASH的基本结构和对其操作程序流程,介绍了NAND FLASH在ARM嵌入式系统中的设计与实现方法,并将其在μC/OS Ⅱ操作系统上实现并验证,实验结果证明符合设计要求。

基于模块的网页设计技术

在信息资源迅速增长的今天 ,如何对Web上大量的信息进行高效地组织和维护 ,以及提高Web上搜索和浏览信息的速度和性能是我们面对的一个重要问题。从模块化的程序设计思想中得到启发 ,提出了一种模块化网页设计技术。该技术在网页快速制作、模块重用、数据一致性维护。

Web页面信息主动检索模型

单个页面信息量远远大于特定用户对页面中的信息需求.为快速准确从当前页面中获取特定用户所需求的兴趣信息,提出了页面信息主动检索模型.该检索模型中,根据页面Block特点将当前Web页面转化成信息树,根据用户过去的浏览行为构造用户特征树,挖掘用户特征树产生用户需求信息集,然后从当前页面中检索需求的信息,获取用户兴趣信息集.详述了主动检索的基本原理,给出了相应的算法描述,并通过实验证明了该模型具有可行性.

基于CURE算法的网页分块及正文块提取研究

研究基于CURE聚类的Web页面分块方法及正文块的提取规则。对页面DOM树增加节点属性,使其转换成为带有信息节点偏移量的扩展DOM树。利用CURE算法进行信息节点聚类,各个结果簇即代表页面的不同块。最后提取了正文块的三个主要特征,构造信息块权值公式,利用该公式识别正文块。

NAND Flash在大容量存储技术中的应用

如今航空电子系统对信息数据的处理量要求越来越高。随着存储技术的发展,使得航电系统记录和处理更多的数据成为可能。NAND Flash的独特架构设计让他成为大容量存储器设计的首选。以Samsung公司的NAND Flash芯片K9WAG08U1A为例,结合模块设计要求,介绍了芯片的基本结构和特点,硬件结构的连接。阐述了NAND Flash的独特的访问操作流程以及访问失败处理方法。

Web信息抽取技术在统一检索系统中的应用研究

结合统一检索系统的信息抽取特点,应用基于HTML结构的信息抽取方法,介绍人工找到切割关键信息块的标记和位置的方法,最后提出基于子树广度的Web信息抽取方法,并给出了抽取规则的实现方案及实例。实验证明,该方法在基于Web过程模拟的统一检索系统中能保证很高的数据抽取回召率和查准率,并且成功应用于四家省级科技文献共享平台。

面向移动设备的网页切割研究与设计

移动手持设备因其屏幕小,有限的计算及存储能力而不便浏览普通Web页面;另一方面,对于PDA、手机用户,本着用户个性定制以及降低费用的原则也有必要对现有Web页面进行"裁减"。就以上问题,提出一种面向移动设备网页切割的解决方案:首先对半结构化的HTML文档进行结构化处理,接着基于DOM规范将HTML转化为DOM树并对其噪音清洗,然后对网页进行基于内容和基于链接的分块并对分块结果按照分层和用户定制的思想进行切割、重构,最后在开源项目HTMLParser基础上开发了原型系统并对系统执行效率和切割效果进行了评估。结果表明该方案切实可行,具有可观的应用价值。

基于网页分块的正文信息提取方法

网页主题信息通常湮没在大量的无关文字和HTML标记中,给应用程序迅速获取主题信息增加的难度。提出了一种基于网页分块的正文信息抽取方法。该方法首先识别和提取网页正文内容块,然后利用正则表达式和简单的判别规则内容块滤除内容块中的HTML标记和无关文字。实验证明,该方法能够准确地提取网页正文信息,且通用性较强,易于实现。

移动网页模块化样式模板匹配方法

针对传统的基于模板的Web页面移动端适配方法中无法处理过于复杂的页面问题,本文提出了一种基于模块化样式模板匹配的混合式适配方法。该方法首先对构成网页的页面块进行归类,并对每一类设计适合在移动端浏览的样式,然后对网页分割后的页面块进行类型识别,最后将识别后的页面块与对应的模块化样式相关联,进而完成页面转换。实验结果表明,本文方法仅需少量模板即可应对多种风格的页面,并解决了因分割造成的页面样式的丢失问题。

基于结构与内容的Web主要信息提取方法研究

Web页面的主要信息被广告、超链等无用信息包围,是Web信息自动处理所要解决的难题。传统的信息提取方法是从内容着手,或者从结构出发,很少将两者相结合,因此提出了一种Web主要信息提取方法。该方法可以从Web页面的结构和内容两方面出发,准确地将Web内容进行分块,并对分块内容进行分析处理,从而提取出Web页面的主要信息。

一种基于节点密度分割和标签传播的Web页面挖掘方法

获取Web页面中的重要内容如文本和链接,在许多Web挖掘研究领域有着重要的应用价值.目前针对该问题主要采用Web页面分割和区块识别的方法.但现有的方法将Web页面中重要文本和链接的识别视为两个相互独立的问题,这种做法忽略了Web页面中文本和链接的内在语义关系,同时降低了页面处理的效率.文中提出了一种Web页面重要内容挖掘的统一框架,该框架主要由3个部分组成:第一,先将Web页面转换为DOM树表示,然后采用节点密度熵为度量将DOM树分割为不同的页面块;第二,采用基于K最近邻标签传播的半监督方法自动扩展页面块训练集;第三,在扩展的页面块训练集上对SVM分类器进行训练,并用来对页面块进行分类.采用该框架可以将Web页面块区分为多种类型,并且该框架独立于Web页面的类型和布局.我们在真实的Web环境下进行了广泛的实验,实验结果表明了该方法的有效性.

FLEX及其在PDA上的应用

本文对FLEX无线高速通信协议作了简要介绍 ,并详细介绍了FLEX通信协议应用于PDA时的软硬件实现方法 ,同时给出了接收端的硬件架构图。

基于CSS的网页分割算法

在页面变换,信息抽取,信息过滤等应用中,首先需要将原始页面分割成为若干合适的信息块以便于后续的处理。本文提出了一种基于CSS的网页分割算法,通过对网页进行解析和布局处理,提取出其中的CSS信息,并且使用重复模式检测和聚类的方法对生成的CSS树进行分割。试验证明该方法能够有效地分割网页,并且不依赖于特定的浏览器,适合嵌入式系统使用。