医院网站日志挖掘数据预处理的研究

数据预处理是数据挖掘工作的基础。以医院网站服务器用户访问日志为例,对日志挖掘的概念以及数据预处理过程进行研究。采用数据库技术和Matlab工具消除初始数据集的冗余度、复杂度,以网站页面和用户关联性为度量,得出可直接作为挖掘算法输入的相似度矩阵。重点研究了医院网站日志的用户识别以及相似度矩阵的页面聚类标准化方法。实验结果表明:该方法极大降低了初始日志数据冗余度和维度,提高了预处理结果准确性,增强了数据挖掘算法输入的信息含量。

高校网站日志分析系统的研究与应用

针对高校网站管理者对网站访问情况及时、直观了解的需求,本文提出了一种以SparkStreaming为核心的分布式网站访问日志分析系统。本系统使用Flume实时收集网站被访问时产生的日志,使用Kafka对收集到的日志进行缓存,使用Spark中的Streaming流处理框架按批次提取缓存的数据,并通过其中的Translation和Action算子对流量、站点、地区、终端信息进行分析,使用MySQL数据库对分析结果进行存储。使用Echarts设计界面并结合Ajax等前端技术对分析结果进行实时可视化处理。在分布式平台下实现了一个实时可扩展的日志数据分析系统。有效地支持了高校网站的管理工作。

值班日志网站的开发及业务应用

介绍已在广东省气象信息中心实际业务中应用,基于B/S架构,利用成熟的Web技术和数据库技术,设计开发的值班日志网站系统。该系统通过Web方式在网络上实现了值班日志的快速录入和日志资料的实时查阅、统计,从而使业务工作达到准确、高效和方便的效果。

基于网站访问日志分析的Web Spam检测

随着互联网搜索引擎的广泛应用,Web Spam对人们产生的危害也日益严重,而Web Spam检测技术却总是无法跟上Web Spam产生的速度。本文提出一种基于网站访问日志分析的Web Spam检测方法,希望对此状况有所改善。

使用去噪和相异度的电子商务网站用户访问聚类算法

电子商务网站包含相当大的用户访问信息,对用户信息的数据挖掘,可以加强网站对用户访问信息的准确了解,提高电子商务网站的点击率。为此将提取电子商务网站日志中记录的用户访问链接数据,利用去噪技术对用户访问链接日志记录数据进行过滤分析,将过滤后的用户访问数据利用相异度二元关系组成二元数组,通过对二元数组的相异度分析计算,可实现电商务网站用户的聚类,为网站页面的优化及访问用户的兴趣、爱好的掌握提供参考。

网站孤立文件及其形成机制分析

孤立文件(Isolated Web Files,IWF)存在于WEB服务目录中,具有完整有效的URL地址。该文件不能通过正常的超级链接或非磁盘文件遍历方式的网站搜索结果所取得,而仅能输入准确URL地址进行访问。孤立文件不仅浪费服务器的存储空间、危害系统安全,而且可能导致泄密、引发著作权纠纷或侵犯隐私等问题发生。孤立文件成因在于网络应用程序没有提供完整性约束机制。文章提出孤立文件判断机制并就如何防止孤立文件产生进行了讨论。

基于Web日志挖掘的网页推荐系统的设计

提出了一种基于Web日志挖掘的网页推荐系统。该系统采用Web日志挖掘的方法对用户的访问记录进行分析,挖掘出与用户访问的页面具有一定相关度的页面并推荐给该用户,为用户提供最合适、更具人性化的信息资源。

基于数据挖掘技术的网站用户分析

采用数据挖掘中的聚类技术,对微软网站日志文件中的用户行为数据进行分析,在用户行为的基础上将用户归为同质的组,从而寻求一种识别典型访问情况的方法.采用了一种“将SPR-SQ减小的情况屏蔽,只考虑SPRSQ增加的情况”的处理方法,来实现最佳聚类个数K的选择.同时,在计算组内偏差的时候,提出了“冗余组内偏差”的概念.在聚类分析阶段完成之后,对每个聚类结果进行“标准化均值”比较,并对其用户行为作了简要分析.

商业智能在互联网业务分析中的研究与应用

介绍了商业智能技术在互联网业的业务分析中的一些应用,并针对网站日志的分析应用,综合运用数据仓库、数据分析、数据挖掘技术,提出并实现了一套解决方案。针对商业智能技术在其它领域中的应用做出了一定的思考。

新时期高校图书馆读者统计方法与途径

从传统统计——读者签到簿说起,重点讨论了新时期图书馆读者统计的几种主要方法,并对各种方法进行了实例描述。

一种基于页面价值和跳转偏爱度挖掘频繁访问路径的模型

设计实现了一种从Web日志挖掘用户频繁访问路径的模型.提出网页聚类分析的一个重要基础理论,以及页面价值和跳转偏爱度的概念,并建立页面价值模型.该模型从页面价值-用户矩阵计算出页面价值间的加权欧氏距离,并由距离大小获得等价值页面集.再根据跳转偏爱度把等价值页面集转化为2-项频繁访问子路径集,并经过自适应的合并算法得到最终的频繁访问路径集.实验证明该页面价值模型能高效获得更精准的频繁访问路径.

基于聚类的智能网页推荐系统研究

设计了一种智能网页推荐系统的架构,其中包括数据预处理、聚类分析和网页推荐3个子系统,可以根据网站的访问日志来对用户进行自动分类,进而对网站的新用户在线提供网页推荐。提出了路径间距离的计算方法,进而研究了聚类子系统的结构,并通过对微软网站中用户访问日志的仿真实验,说明了所述方法的有效性。