在WEB数据采集中对正则表达式优化的研究

正则表达式是数据验证技术中功能十分强大的输入控制技术，将这种技术应用于WEB数据采集能够大大提高数据采集的准确性和效率。文章通过对正则表达式NFA和DFA引擎运行过程的研究，使用优化后的正则表达式作为数据检索引擎来进行web数据采集。以期提高在多种数据结构中正则表达式的检索速度。

信牌驱动式Web数据采集模型的应用

针对数据源复杂、实时性强、准确性高和数据类型多样的Web空间环境数据采集任务,提出了一个基于Petri网的信牌驱动式Web数据采集模型。首先,通过引入Petri网的基本要素作为模型的理论基础,研究适合于Web数据采集的建模方法;在此基础上,针对模型的具体应用验证,研究了空间环境数据采集任务服务系统(SEDGSS)的架构设计,对数据源配置子系统、任务控制子系统和任务处理子系统进行具体的实现。实验结果表明,该模型实现了自动化机制和回溯校验机制,并具有良好的易配置性、可重用性和扩展灵活性;该系统7×24小时实时抓取254个复杂的数据源任务,目前正承担着自动化、业务化的空间环境数据采集任务以服务于我国空间环境预报。

基于嵌入式Web服务器的远程实时数据采集

对系统进行网络化监控是嵌入式系统的重要研究发展方向之一。介绍了CGI和Java Applet技术的工作原理,及将CGI和Java Applet技术结合的方法,重点介绍了Applet嵌入代码及如何将Applet采集代码加载到HTML网页中及嵌入式Web服务器上,并通过浏览器远程访问嵌入式Web采集实时数据,解决了因距离影响对监测区数据的获取问题,实现真正意义上的网络化监测。

基于Web内容采集技术的天气预报系统设计与实现

采用主动与手动相结合的采集方式等关键技术,获职权威气象部门网站的天气信息,保证了天气预报的权威性与实时性,并将天气预报信息在毕节试验区农村科技信息网上发布,能为用户提供更全面的农业科技信息服务。

结合汇文系统实现图书馆统计数据的WEB图表展现

从汇文系统中采集图书馆读者借还数据。通过Generic Handler机制用web图表动态展现。期望对图书馆读者借还量实现实时监控，为图书馆人性化资源配置提供数据支撵，并为更多汇文数据的个性化统计与WEB图表展现提供可行性参考。

WEB挖掘技术研究在检验中的应用

随着Web上的信息量剧增,大量有价值的信息隐藏于非结构化文档中,Web数据挖掘的作用愈显重要。本文从Web数据挖掘的定义与分类开始分析,介绍了Web数据挖掘的主要技术以及其在检验检疫管理中的应用实例和实现方法。

基于云服务的政府舆情监测平台架构的设计与实现

为了提高政府舆情监测的能力,加强对舆情的管理,解决Web2.0环境下技术进步、社会环境演化给政府管理模式重构所带来的机遇与挑战的问题,利用云服务和Web数据采集技术,提出了一个面向云服务的政府信息化管理平台。重点研究了面向云服务的政府信息化管理与舆情传播控制模式、本地化分析处理系统功能结构、舆情监测内部门户网站和互联网信息智能采集的功能模块和物理结构。应用结果表明,该方案结合云服务平台和Web的数据挖掘技术,实现政府信息化管理水平,提高舆情监测能力和解决效率。

桌面终端安全管理指标集中监测工具的设计与实现

为了满足桌面终端安全管理工作的需要,及时消除桌面终端安全隐患,解决各类桌面终端安全管控系统信息孤岛和桌面终端安全运行指标人工监测费时费力、监测准确率低等问题,开发了一种基于Web数据采集和网络爬虫技术的指标集中监测工具。文章从该监测工具的总体架构、设计实现和关键技术出发,介绍了其实现原理和过程。应用结果表明,该监测工具可显著提高桌面终端安全管控工作的效率和质量,具有较高的应用推广价值。

基于Heritrix的Web信息抽取

针对现阶段Web信息抽取技术的不足,提出一种基于Heritrix的精确抽取方法,由三个分别独立的功能模块共同完成。与一般信息抽取不同,本方法注重于在精确抽取的前提下实现通用化,做到可以根据数据库表的字段来进行最小单位的信息抽取,并且较好地解决信息采集通用性和准确性之间的矛盾。