煤矿安全Web数据采集技术研究及应用

针对矿井安全分析所需的事故、处罚等不易获取的数据,选择互联网公开的Web数据作为数据源,在分析总结Web查询结果页面具有的视觉特征基础上,提出了一种基于视觉与DOM树的Web数据抽取方法(VDLE)。首先,引入视觉块重心偏移量定位数据区域,然后利用谱聚类算法定位数据区域内结构相似的节点簇,结合文本组织多样性对数据记录进行定位。实验结果表明,VDLE的抽取结果查准率为99%,比D-EEM提高8.51%,比VIDE查准率提高4.32%;VDLE的抽取结果查全率为98.75%,较D-EEM查全率提高13.33%,较ViDE查全率提高8.17%。在此基础上,研发了煤矿安全Web数据采集系统,现场实验结果表明,该系统采集的事故信息弥补完善了矿井安全信息储备,为矿井安全分析奠定了数据基础。

基于XML技术的Web数据库应用系统设计

随着互联网的普及与发展,数据库技术已成为支撑各类应用系统的核心。然而,传统的关系型数据库在跨平台的数据交换、异构系统间的信息共享等应用场景中存在诸多局限。在这一背景下,XML技术应运而生,其作为一种数据描述和交换的标准,为Web数据库应用系统的设计提供了新的思路和解决方案。文中介绍了XML技术的特点、XML结合Web数据库的优势,分析了基于XML技术的Web数据库应用系统的设计与实现,以期为数据的存储、查询和管理提供参考。

基于加权随机森林的Web数据库检索结果智能分类方法

Web数据库检索结果具有数据复杂、数量庞大的特点,数据间的复杂关系处于一种模糊状态,导致隶属度区别较小,分类过程需要多次迭代,效率较低。因此,提出了基于加权随机森林的Web数据库检索结果智能分类方法。提取Web数据库检索结果数据特征,并对Web数据库检索结果进行冗余处理。经过冗余处理之后,采用加权随机森林技术确定Web数据库检索结果模糊隶属度的范围。最后通过计算样本的分类权值,设计Web数据库检索结果分类器,实现Web数据库检索结果智能分类。实验结果表明:该方法的F1值均在95%以上,最长分类时间仅为7.8 s,表明本文方法能够更快速、精确地完成分类任务。

Web数据挖掘技术在电子商务领域中的应用

随着现代科技的不断发展,电子商务作为一种新兴的信息化商业模式,借助互联网的发展迅速占据商业贸易市场上的重要份额。Web数据挖掘技术是一种基于数字化技术,对网络中流传的海量信息进行自动采集、整理、价值发掘的技术。文章从理论阐释入手,先对电子商务的定义、Web数据挖掘技术的定义给予了解析,进而对电子商务系统中该技术的应用模式进行了说明,最后对这一技术在电子商务中应用的作用和意义实施了微观层面的探讨,以期为Web数据挖掘技术更好地在电子商务领域得到应用,实现技术价值的充分发挥提供参考。

基于区块链技术的海量Web数据关联存储系统设计

海量的Web数据在存储中会造成拥塞率高、存储效果差的问题,为此,设计了基于区块链技术的海量Web数据关联存储系统。使用区块链集群监控模块,无需公开真实IP地址就可监控数据传输过程,避免被攻击。设计关联映射模块,获取全部散列值,使系统形成具有时间顺序的关联映射结构。计算系统遭到的攻击概率,通过构建目标约束函数,防止数据被篡改、伪造,以改善系统的鲁棒性。加密存储海量Web数据,获取对应区块链报文,在确保提交结果合法的前提下,完整存储海量Web数据。由实验结果可知,所设计系统的最低拥塞率为2%,能够保证系统具有良好的存储效果。

Deep Web数据集成研究综述

随着World Wide Web(WWW)的飞速发展,Deep Web中蕴含了海量的可供访问的信息,并且还在迅速地增长.这些信息要通过查询接口在线访问其后端的Web数据库.尽管丰富的信息蕴藏在Deep Web中,由于Deep Web数据的异构性和动态性,有效地把这些信息加以利用是一件十分挑战性的工作.Deep Web数据集成至今仍然是一个新兴的研究领域,其中包含有若干需要解决的问题.总体来看,在该领域已经开展了大量的研究工作,但各个方面发展并不均衡.文中提出了一个Deep Web数据集成的系统架构,依据这个系统架构对Deep Web数据集成领域中若干关键研究问题的现状进行了回顾总结,并对未来的研究发展方向作了较为深入的探讨分析.

基于领域模型的Web数据抽取与集成

Web数据抽取与集成的目的是提供面向领域的增值服务,结合领域数据特征,提出Web数据模式与领域数据模型.给出了基于Web数据模式的数据定位、抽取与基于领域数据模型的集成算法,并结合行业领域的需求,验证了模型和算法的有效性.

Web数据空间技术研究

基于数据空间的概念,提出了一种新的Web数据管理方法:Web数据空间。阐述了Web数据空间概念及其特性。在此基础上,进一步从数据源的发现、模式匹配、数据模型、数据查询、数据演化、世系管理、群体协作与存储索引几个方面对Web数据空间相关研究工作进行了总结分析。最后讨论了Web数据空间研究面临的挑战与未来的研究工作。

Web数据挖掘对Web数据检索的支持作用

本文在对Web数据检索和Web数据挖掘的技术特性进行简要介绍的基础上,阐述了二者之间的主要区别,并着重对Web数据挖掘对Web数据检索构成的支持作用进行了具体分析.这些支持作用体现在:自动分类,揭示知识特征,群集处理,超链结构挖掘和用户知识模型挖掘.

查询自动生成器在Web数据库发现中的应用

为了帮助用户获得一个统一的访问途径来自动地获取利用自由分布在整个万维网上的Deep Web中丰富的信息。Deep Web数据集成受到了越来越多的关注,这其中也包含若干问题急待解决。提出了在Deep Web数据集成领域中解决Web数据库的发现的一种试探性方法,并模拟了该方法的使用场景,介绍了它采用的学习方法。

WEB数据挖掘技术研究

对Web数据挖掘进行了全面的论述,并讨论了Web挖掘的分类和应用.在此基础上阐述了当前流行的挖掘技术,给出了Web数据模型,指出Web数据挖掘的发展方向和趋势.

基于映射簇的Web数据挖掘研究

传统特征选择算法在多维Web数据中由于其数据对象自身固有的稀缺性而常常失效。在典型多维Web数据挖掘应用中,不同数据对象集合对于不同维度集合而言可能聚类会更好,且在每个簇的具体子空间中维度数将可能非常大。事实上,为所有簇查找出单个的小维度集合是不可能的。本文应用映射簇的概念来明确簇与维度的关系,将聚类问题转化为映射簇问题,从而简化计算提高挖掘效率。最后给出相应的算法。

Web数据挖掘初探

Web上有海量的数据信息，对这些数据进行复杂的应用成了现令数据库技术的研究热点。这里对数据挖掘的基本概念、Web数据挖掘步骤、Web数据挖掘在三个研究领域的研究现状、发展及常用Web数据挖掘工具做了简单介绍，希望起到抛砖引玉作用。

FoxWeb数据库接口软件的配置

介绍了FoxWeb数据库接口软件的配置 ,对各配置项目的配置内容和注意事项作了描述 .同时也简要地介绍了Web服务器的配置 .FoxWeb为开发VFPWeb应用程序提供了良好的环境 ,通过合理配置FoxWeb服务器 ,可以确保脚本程序安全稳定地运行 。

Web数据源选择技术

在Web数据集成的过程中,如何从大量的Web数据源集合中选择合适数量的数据源,使得在满足特定查询需求的前提下尽可能地减少所需访问的数据源数量,同时保持返回数据结果的高质量,成为Web数据集成中的一个热点问题.以近十几年的研究实践为背景,介绍Web数据源选择的研究沿革及现状,并对Web数据源选择方法进行了归类.分别讨论了基于相关性的和基于质量的数据源选择的研究动机、研究方法和研究成果等,并对相关研究的目标、关键技术、优点和缺点进行了对比分析;最后展望了Web数据源选择未来的研究方向.

大数据环境下Web数据源质量评估方法研究

在大数据环境下Web数据资源的开放性和多源性使得不同互联网平台提供的数据质量参差不齐,严重影响人们从互联网中有效准确地获取信息。为此,提出一种Web数据源质量评估方法。建立面向多源互联网平台的统一数据模型和数据质量标准模型,给出针对大数据全样本数据分析的质量标准度量和表示方法,并通过多维数据质量的综合评估实现Web数据源质量的统一度量。实验结果表明,该方法能全面度量互联网平台的数据质量,为用户提供准确高效的质量评价结果。

Web数据挖掘技术及实现

在介绍W eb数据挖掘的概念、内涵基础上,探讨了如何在web上用分类器对异构与非结构化数据源进行数据抽取(IE),并建立统一的XML数据格式,进而用Reporting Services和W eb显示控件等技术进行数据挖掘和处理.

基于XML的Web数据挖掘关键技术的研究

由于存在着大量的在线信息,WWW成为数据挖掘的热点。该文介绍了Web网页的数据挖掘技术,提出一种基于XML的Web数据挖掘模型,阐述将半结构化HTML文档转换成良构的XML文档的原因,并给出基于HTMLTide库的转换代码,介绍了利用XML技术从Web网页析取数据的关键技术,包括XHTML、XSLT和XQuery等,对Web数据挖掘的其他方面如数据检验和集成作了一定的探讨。

一种基于多Agent的Web数据挖掘方法

基于多Agent的数据挖掘技术,不仅能够针对不同的Web数据综合采用不同的挖掘算法,而且可以在各站点进行并行挖掘,避免Web通信量过载。在简述Agent技术和Web数据挖掘技术的基础上,结合多Agent和Web数据挖掘,设计出一种新型数据挖掘模型,且进一步阐述了该模型,并做了一些分析测试。结果证明,该方法能有效提高Web数据挖掘的速度、准确率和覆盖率,提高了数据利用率。

基于Map／Reduce的改进选择算法在云计算的Web数据挖掘中的研究

针对目前在搜索方面的数据量大、搜索延迟的特点,提出了基于云计算的Web挖掘的搜索模型。采用提出的基于Map/Reduce模型的改进型算法,通过仿真实验验证了该算法的可行性,在一定程度上减少了搜索的代价,提高了搜索效率。