一个基于现实世界的大型Web参照数据集——UK2006 Datasets的初步研究

文章介绍了WEBSPAM-UK2006数据集,一个大型的基于现实世界的,人工评判过一些垃圾行为的web数据集合,详细的对数据集的构成进行了分析,对数据集采用Python进行了初步的预处理,为以后在反垃圾网页行为方面的算法和判定研究提供了非常有意的经验和参考。

支持个性化推荐的Web页面关联规则挖掘算法

分析了应用于个性化推荐的Web页面关联规则的特点,提出了“壹支持数下k关联规则”的思想,根据这一思想设计、实现了一种应用于个性化推荐的Web页面关联规则挖掘算法——PARM(Pageview Association Rule Mining)及频繁项集的Freq-Set-Tree存储结构,在产生频繁项的同时挖掘关联规则,因而能提高效率。实验证明在个性化推荐系统中PARM算法的效率明显高于FP-Growth算法。

一种基于XML Web Service的分布式解决方案

介绍了XMLWebService的工作原理。提出了一种在开放的Internet网络环境下,用基于XMLWebService开发技术来实现的、适合于中小企业应用的分布式管理信息系统的解决方案,该方案既满足了企业的业务分散处理的需要,同时又具有成本低、实现方法简单的特点。提高了企业组建企业管理信息系统的效率和质量。

基于过滤器的Web访问模式挖掘

针对传统Web访问模式挖掘系统中用户识别和会话识别的复杂性和不准确性,该文提出了基于过滤器的Web访问模式挖掘系统。它能够准确地识别用户和会话,为挖掘算法提供优质的数据。给出了日志过滤器的实现和部署,提出了Web访问模式的挖掘算法。目前该方法已经广泛地应用于科学数据库系统中。

基于树扩展朴素贝叶斯分类器的Web代理服务器缓存优化

Web代理服务器缓存能在一定程度上减少网络拥塞现象和用户的访问延迟,减轻服务器负载。然而Web代理缓存的缓存命中率和字节命中率较低,并不能很好地起到加速网络请求响应的效果。为此,研究监督学习方法,使用树扩展朴素贝叶斯分类器对Web日志数据进行分类,进而预测可能会再次访问到的Web对象,并结合最近最少使用(LRU)算法,提出一种新的缓存策略。实验结果表明,树扩展的贝叶斯分类器在精度和召回率指标上优于朴素贝叶斯和BP神经网络等分类器,通过树扩展的贝叶斯分类器优化后的缓存策略与普通LRU算法相比,不仅可以提高缓存的效率,而且可有效提高Web代理缓存的请求命中率和字节命中率。

基于Web数据挖掘的高效关联规则研究

随着网络资源越来越丰富,Web数据挖掘逐渐成为因特网上资源有效利用的研究热点。本文提出通过对因特网上非结构化数据的XML格式进行筛选等处理,然后转化为结构化数据存储在SQL Server数据库中。并在此基础之上利用关联规则发现以生成最小关联规则集来代替完全关联规则集,就可以有效地剪除弱关联规则,大幅度地减少候选频繁项目集,从而提高规则发现效率。最后,在传统经典算法Apriori基础上,利用弱关联规则的向上关闭特性设计了一个相应的高效算法。

一种基于粗糙集的Web用户访问规则获取方法

用户浏览模式获取是现阶段Web日志挖掘的主要目标之一。该文根据用户浏览的重要特征,提出了一种应用粗糙集理论获取规则的方法。选取重要特征作为条件属性并通过算法实现获取最终规则,实例分析效果良好。该方法的特点是只需要简单的数据预处理但可以获得简洁有效的访问模式。

一种基于Web用户不完备信息的规则获取方法研究

Web日志是一个很不完全且存在多样性特点的数据集,在获取决策规则的过程中经常会出现不一致、不完全规则的情况。提到了粗糙集理论,利用粗糙集理论在处理不完全知识上的特有优势来解决此种问题。首先把重要的用户行为特征值离散化作为属性值和值的约简,然后通过粗糙集缺省规则获取算法获得决策规则。其中条件属性的提取主要是一个对用户行为观察和分析的结果,而离散化处理方法就是应用粗糙集理论中的典型方法。这种处理方法有利于最后规则提取的进行,经过实例分析效果良好。

粗糙集技术在WEB网站的应用

首先对WEB网站的数据信息进行了分析,然后在介绍粗糙算法一般原理的基础上,对粗糙算法的数据挖掘技术在WEB网站上的应用给出了实现流程;最后就粗糙算法数据挖掘技术在校园网上的网站栏目的挖掘给出了应用方案和设计实例,实验表明该技术对校园网门户站点的结构调整具有实际的参考价值。

基于规则集的Deep Web信息检索

提出一种基于规则集的新型Deep Web信息检索模型。该模型包含4个层次,主要处理环节如任务分派、信息提取、数据清洗等引入了Deep Web特有的结构规则、逻辑规则和应用规则协助工作。把该模型应用于科技文献检索、电子机票定购和工作简历搜索3个领域,实验结果证明该模型灵活、可信,有效信息查全率达到96%以上。

大数据下的Web数据集成及数据挖掘技术研究

21世纪以来,网络信息技术取得了突飞猛进的进步,移动互联网、物联网为代表的新型服务行业开始发展,Web数据也迅猛增长,成为人们关注的焦点之一。Web数据背后巨大的隐藏价值逐渐被人们关注,对Web数据进行集成和挖掘成为行业人士的工作重点,在如今大数据时代,Web数据规模大、种类广、更新快,这使得Web数据的集成及挖掘面临重重挑战。笔者通过对Web数据的相关介绍,就大数据下的Web数据集成与挖掘面临的挑战进行分析。

海量大数据定向采样有差别挖掘算法仿真

在大数据中,不同类别之间可能存在数据分布不均衡的情况,即某些类别的数据样本数量远远少于其他类别。这种情况下,传统的采样方法无法正确反映所有类别的特征和差异。为提升大数据信息的应用性,文中研究海量大数据定向采样有差别挖掘算法。以网站统一资源定位器(URL)初始化为基础,在网络上抓取网页,采集网页的超文本标记语言(HTML)数据,提取定向数据的相关链接,并将其导入URL队列。根据网络搜索策略,实施相关的数据搜索和处理。完成数据搜索后,将自动进行下一网页的URL,继续进行海量大数据定向采样。结合模糊特征匹配与检测滤波方法实现大数据定向采样过程中的抗干扰处理。采用粗糙集算法实施挖掘,利用扩展差别矩阵对大数据决策表内的值实施约简,实现海量大数据的模式分类。实验结果显示,该算法数据采集过程中的丢包率基本控制在0.2%以下,具有较高的鲁棒性。

基于粗糙集理论的WEB日志中关联规则提取

随着互联网的飞速发展,WEB日志挖掘,也就是从WEB日志中发现和分析出用户的有用信息已成为研究热点.基于关联规则的方法是WEB挖掘的重要方法.本文应用粗糙集理论提取WEB日志中的关联规则,并将关联规则集用于用户行为的预测上,实验证明,该方法的预测精度要好于现有的方法.

粗糙集理论在web结构挖掘中的应用

如何从Web中找到与用户查询主题相关的权威页面 ,是Web结构挖掘的一个重要研究方向。将粗糙集理论应用于此 ,设计了Web数据模型 ,并给出了基于粗糙集的Web结构挖掘方法的具体实现流程。

一种基于粗集和SVM的Web日志挖掘模型

随着数据挖掘技术的广泛研究和应用,Web挖掘中的Web的日志挖掘也显得越来越重要了。利用粗集理论和支持向量机的方法,形成一个有效的处理Web日志信息的模型。首先利用粗集理论对日志信息进行约简的预处理,然后通过支持向量机的方法训学习练数据,训练出来的数据可以对用户的访问信息进行分析预测。

Web数据挖掘技术在信息管理中的应用

为强化数据整合与利用,充分挖掘数据价值,分析了几种基于Web数据库的数据挖掘方法:粗糙集方法、模糊集方法、神经网络法。分析了Web数据挖掘技术在信息管理中的应用,即在搜索引擎、个性化服务、电子商务等方面的应用。该技术提高了检索效率和结果精度,为信息管理提供了更多便利。

辽宁省森林资源Web三维仿真系统的研究与实现

针对辽宁省森林资源Web三维仿真系统需求,提出系统的总体设计方案,利用空间信息三维可视化技术、数据库技术、Web技术等,以森林资源数据库为基础,采用Java和worldwind为平台,研制了森林资源Web三维仿真系统,实现了Web环境下对全省海量空间数据进行直观、逼真、高效的三维显示、浏览查询和统计分析等功能.系统运行情况良好.

Web大数据环境下的P-信息聚合及动态分离

针对Web大数据环境下数据来源分散、数据量大、类型多样、噪声大、价值密度低等特征,利用P-集理论,给出Web信息元的聚合度量,提出P-信息聚合体的概念,对P-信息聚合体的性质进行讨论,给出了P-信息聚合体的生成算法,对Web大数据进行主题聚合,提高Web大数据的利用效率及应用价值。

Web大数据环境下P-信息聚合体生成及智能推送

Web大数据环境下数据来源分散、噪声大、价值密度低、动态性和不确定性强,人们有效利用Web大数据面临巨大挑战。P-集是处理动态性和不确定性问题的基本理论,通过对Web大数据中信息元之间特征关系及其度量的分析,给出信息元之间的特征关系系数及关系度量方法,提出P-信息聚合体的概念,讨论了P-信息聚合体的性质,给出P-信息聚合体的生成过程。基于信息元的主题特征属性及关系特征度量阈值,对来自分散数据源的数据进行主题特征聚合,形成动态可扩展的P-信息聚合体,P-信息聚合体可广泛应用于Web大数据的动态检索及智能推送,提高Web大数据的利用效率及应用价值。

基于CiteSpace的法医齿科学研究发展态势分析

目的基于文献计量学方法,实现法医齿科学研究动态可视化,以期捕捉研究热点,明确未来发展趋势。方法在Web of Science核心数据集中依据特定主题词搜索1995年1月—2020年12月发表的文献,采用CiteSpace 5.7.R5W软件对发文国家、机构、学科领域、作者、共被引期刊、关键词等进行可视化分析。结果发文年度分析表明法医齿科学研究文献呈现逐年上升趋势,最近5年年度发文量达110篇以上。发达国家是主要的供稿来源,平均中心度>0.2。法医齿科学研究涉及口腔医学、生物、计算机、医学影像学等多个学科,学科交叉明显。关键词聚类分析共获得115个节点,主要以个体识别、年龄推断为主线,关键词热点突现与新技术密切相关。基于群体的齿科学调查、对传统牙龄推断法的改善、基于新技术的牙龄推断是当前法医齿科学较热门的研究方向。结论发展中国家亟须提高相关研究的关注度。建立并充实本地区齿科数据库,结合前沿高端技术开发新型齿科鉴定方法,基于先进信息技术开发识别程序,可能是未来法医齿科学学科发展的重要方向。