Web日志挖掘

提出了一种新颖的MBP算法 ,它利用关联规则挖掘发现的频繁项目集以加快速度 ,能找出所有满足阀值约束的频繁浏览路径 ,该算法是很有效的 .同时 ,针对Web浏览和日志文件固有的模糊性和不确定性 ,还讨论了Web页面的模糊聚类问题 .最后 。

Web挖掘研究综述

1引言今天Web已成为信息发布、交互及获取的主要工具,Web上的信息量正以惊人的速度增加着,人们迫切需要能自动地从Web上发现、抽取和过滤信息的工具.同时,近年来,由于电子商务的快速发展,许多公司借助Internet进行在线交易,企业管理者需要分析大量的在线交易数据,从而发现用户的兴趣爱好及购买趋势,为商业决策风险投资等提供依据.具体来讲,当我们与Web交互时,常面临如下问题: 1.查询相关信息.这是查询触发的过程,我们希望从Web上找到关于VC++编程指南的书,关于申办奥运会的信息,甚至关于爱滋病的报道等等.可以用搜索引擎如Yahoo Sohu等进行关键字查找,然而,今天的搜索引擎都有两个严重问题:低查准率会返回很多不相关的结果;低查全率有很多相关的文档找不到.

图书馆大规模日志数据的快速聚类

给出了一种简单有效的算法,用于对图书馆大规模日志数据的快速聚类和借阅趋势分析.首先,根据读者基本的借阅规律,把日志数据聚成若干子类,然后,给出了对子类结果进行再次聚类的模糊算法.最后,为了预测读者的借阅趋势,对每一类进行了回归分析.该算法具有线性复杂度,对大规模数据集是可伸缩的,实验证明是可行的.

基于Weblog的模式发现及应用的研究

近年来 ,由于电子商务 ,电子图书馆 ,远程教育等的应用 ,对 web站点设计和功能提出了更高的要求 ,要求 web站点具有智能性 .本文通过对 Weblog日志的挖掘 ,找出用户浏览页面的关联规则、聚类信息、访问路径等 ,并把它们应用到 web站点的智能化设计中 .主要讨论了站点的在线推荐 ,自适应设计问题 ,在此基础上简单介绍了一个 Weblog挖掘系统原型 Adaptive Web.Adaptive Web可创建自适应 web站点 ,使其具有部分智能 .

OLAP聚集计算中的维存储技术

为解决传统行存储结构导致OLAP聚集计算效率低下的问题,设计了基于维存储的OLAP数据存取技术.首先,将OLAP事实表中的维属性集和度量属性集定义为2个列族,每张维表的所有属性定义为1个列族.对维表进行二进制编码,生成维层次编码,从而保持了维的层次语义特性.以(维层次编码,度量值)对形式按列组织数据,消除查询时维表与事实表的复杂连接操作运算.然后,采用自底向上方法构建B+树,对维层次编码进行索引,加快了数据读取效率.通过增删事实表和维层次编码-度量表中相应的列,实现维和度量的增加和删除.性能分析结果表明,这种OLAP数据存取技术具有良好的可扩展性,能高效地管理和存取OLAP海量多维数据,有效支持上层OLAP聚集计算.

稠密数据库有趣规则的快速挖掘

目前 ,关联规则的挖掘算法主要用于非稠密数据 ,很少有挖掘稠密数据的算法 ,而现实世界中有许多数据是稠密的 .由于现行的算法不适合稠密数据的挖掘 ,本文定义了兴趣度函数 ,给出了挖掘稠密数据有趣关联规则的有效算法 .该算法与以往不同的是提前过滤掉不满足约束的属性组合 ,因而提高了速度 ,同时 ,使发现的规则更有趣 ,更易理解 .

一类受控Petri网的反馈控制

受控 Petri网是离散事件动态系统 ( DEDS)的一种控制理论模型 .通过模型来研究实现禁止状态避免的最大允许反馈控制是 DEDS控制理论中的一个重要课题 .文中对受控 Petri网的一个子类 (非受控变迁子集的外延子网为 TC网 )讨论控制综合问题 ,给出求这类受控网中实现禁止状态避免的最大允许反馈控制的一个算法 .

海量多维数据的存储与查询研究

基于数据仓库的OLAP系统是当前海量多维数据分析的主要工具。随着信息技术的发展,海量多维数据的规模急剧增长,结构日益复杂,OLAP系统的性能严重下降,已经无法满足人们的数据分析需求。基于分布式计算系统Hadoop给出了新的海量多维数据的存储方法和查询方法。设计了HDFS上的列存储文件格式HCFile,基于HCFile给出了海量多维数据存储方案,该方案能够提高聚集计算效率,并有很好的可扩展性。同时,利用多维数据的层次性语义特征,设计了维层次索引,并给出了利用维层次索引和Map Reduce进行聚集计算的方法。通过和Hive的对比实验,表明了数据存储方案和查询方法能够有效提高海量多维数据分析的性能。

基于Petri网的Web个性化服务

Web站点的个性化服务功能,可以帮助用户快速找到其所需的信息。基于推荐系统是当前实现个性化服务的主要方法。这种个性化服务方法存在显示不直观和重复计算的缺点。本文给出了基于Petri网的Web个性化服务方法,克服了基于推荐方法的缺点,并讨论了进一步的研究工作。

云计算:体系架构与关键技术

系统地分析和总结云计算的研究现状,划分云计算体系架构为核心服务、服务管理、用户访问接口等3个层次。围绕低成本、高可靠、高可用、规模可伸缩等研究目标,深入全面地介绍了云计算的关键技术及最新研究进展。在云计算基础设施方面,介绍了云计算数据中心设计与管理及资源虚拟化技术;在大规模数据处理方面,分析了海量数据处理平台及其资源管理与调度技术;在云计算服务保障方面,讨论了服务质量保证和安全与隐私保护技术。针对新型的云计算应用和云计算存在的局限性,又探讨并展望了今后的研究方向。最后,介绍了东南大学云计算平台以及云计算研究与应用方面的相关成果。

云计算环境下基于协同过滤的个性化推荐机制

随着云计算时代的到来,应用数据量剧增,个性化推荐技术日趋重要.然而由于云计算的超大规模以及分布式处理架构等特点,将传统的推荐技术直接应用到云计算环境时会面临推荐精度低、推荐时延长以及网络开销大等问题,导致推荐性能急剧下降.针对上述问题,提出一种云计算环境下基于协同过滤的个性化推荐机制RAC.该机制首先制定分布式评分管理策略,通过定义候选邻居(candidate neighbor,CN)的概念筛选对推荐结果影响较大的项目集,并构建基于分布式存储系统的2个阶段评分索引,保证推荐机制快速准确地定位候选邻居;在此基础上提出基于候选邻居的协同过滤推荐算法(candidate neighbor-based distribited collaborative filtering algorithm,CN-DCFA),在候选邻居中搜索目标用户已评分项目的k近邻,预测目标用户的推荐集top-N.实验结果表明,在云计算环境下RAC拥有良好的推荐精度和推荐效率.

云计算环境下QoS偏好感知的副本选择策略

针对一类个体服务质量敏感的用户,研究云计算多数据中心环境下QoS偏好感知的副本选择策略。根据用户对数据服务的QoS需求,构建副本选择的三维QoS模型,在此基础上,设计基于层次分析法的QoS偏好感知算法QoPA处理个体服务质量敏感的约束条件,并提出基于模糊综合评判的副本选择算法FCE_RS对数据中心每个副本节点进行综合评价,最终得出QoS满意度最高的副本节点。分析和实验表明,FCE_RS算法能为各类个体服务质量敏感的用户提供合理的副本策略。

基于QoS的网格资源管理

资源管理是网格计算研究领域中的一项重要研究点,目前的研究工作大多致力于解决异构性问题,对于在交付无缝QoS(quality of service)前提下提高资源分配性能方面还缺乏深入的研究.而且,目前对网格QoS的研究集中于将多媒体网络QoS的相关成果融入网格体系架构中以提供对网格QoS的支持,而缺少对网格QoS的特性进行系统化的研究与归纳.为此,提出了网格QoS的层次结构模型,并对其中承上启下的虚拟组织层QoS参数进行了新的分类和测量;然后,利用SNAP(service negotiation and acquisition protocol)协议对基于网格QoS层次结构模型的网格QoS参数的映射转换过程进行了分析;最后,设计了网格资源管理仿真系统,并运用相关的网格QoS的研究改进了现有的Min-Min算法.仿真实验结果表明,基于QoS的网格资源管理可以在满足用户QoS需求下,有效地提高网格资源的利用率和服务请求的成功率.

基于数据中心负载分析的自适应延迟调度算法

由于已有的延迟调度算法基于静态的等待时间阈值,因此不能适应云计算数据中心动态的负载变化。针对该问题,提出了等待时间阈值自适应调整模型。基于该模型,设计了自适应延迟调度算法(ADS)。ADS算法通过分析空闲计算节点的到达强度、网络带宽和作业执行状态等参数,自适应调整等待时间阈值,以减少作业响应时间。基于开发的原型系统,验证了自适应调整模型,测试了算法性能。结果表明,ADS算法在作业响应时间等方面优于已有的延迟调度算法。

云计算环境下支持复杂查询的多维数据索引机制

针对云计算环境下分布式存储系统的数据索引不支持复杂查询的问题,提出了一种多维数据索引机制M-Index,采用金字塔技术(pyramid-technique)将数据的多维元数据描述成一维索引,在此基础上首次提出前缀二叉树(prefix binary tree,PBT)的概念,通过提取一维索引和PBT有效节点的前缀作为数据在存储系统中的主键.数据根据主键和一致性Hash机制发布到存储节点组成的覆盖网络.设计了基于M-Index的数据查询算法,将复杂查询请求转换成一维查询键值,有效支持多维查询和区间查询等复杂查询模式.理论分析和实验表明,M-Index在复杂查询模式下具有良好的查询效率和负载均衡.

现代物流系统中的频繁封闭路径挖掘算法

射频识别技术在物流供应链管理方面的推广应用会产生海量的路径数据。为此提出一种基于路径数据的频繁封闭路径挖掘算法。该算法根据路径中不同段的先后次序,将路径数据转化为位置序列和时间序列,再利用序列模式挖掘的方法,对这些序列进行封闭路径挖掘,从而有效地减少了频繁路径挖掘的时间和开销,提高了频繁路径挖掘的速度。理论和实验表明,在海量的路径数据环境下的封闭路径挖掘算法性能优越,能够有效地挖掘频繁封闭路径。

基于动态定价策略的数据中心能耗成本优化

当前,云数据中心的能耗问题已成为业界关注的热点.已有研究工作大多致力于从技术角度降低数据中心的能耗,或在能耗与性能之间寻求一种最佳的折衷.云计算作为一种商业计算模式,已有研究成果很少考虑到云定价策略对能耗管理机制的影响.文中提出了基于动态定价策略的数据中心能耗成本优化方案.建立起服务价格和能耗成本的统一模型,通过研究两者之间的关系.协同优化服务价格与能耗成本,使数据中心的收益达到最优.鉴于数据中心规模庞大、承载任务繁重等特点,论文采用基于重载近似的大规模排队系统来对数据中心建模,根据不同数据中心间的服务需求量和电价差别,设计了多数据中心间的负载路由机制,旨在削减数据中心的整体能耗成本.针对单个数据中心,定义了双阈值策略以动态调节服务器的各种状态(On/Off/Idle等),从而使数据中心能耗成本得到进一步优化.实验结果表明,论文提出的解决方案能够在满足用户QoS需求的前提下,较好地优化数据中心能耗成本,同时使数据中心的收益达到最优.

基于Agent和蚁群算法的分布式服务发现

提出一种类似蚂蚁觅食活动的Agent服务发现机制.有两类Agent合作寻找目标服务:Search Agent和Guide Agent.前者模拟蚂蚁的行为在网络上发现目标服务,后者管理一个由信息素和跳数组成的服务路由表,用以指导Search Agent的行进路线.动态变化的信息素可以让Search Agent感知到网络拓扑和服务资源的变化,而跳数可以让它们了解距离.路由选择中还使用语义相似度作为启发因子,用于提高召回率.Search Agent生命周期控制机制使查询流量负载成为可控的,并具有确定的上界.实验结果表明,该方法在大规模的分布式计算环境下具有良好的可扩展性和动态环境下的适应性.

基于发布/订阅机制的Web服务QoS信息分发模型

QoS感知的Web服务管理和组合的基本问题是如何及时有效地获取Web服务的QoS信息.当前的研究包括基于查询或监视的方法.然而在动态的服务计算环境下,这些方法或多或少存在时效慢、代价高和可扩展性差等问题.提出一个基于发布/订阅机制的Web服务QoS信息分发模型,目标是提供一个在大规模的服务计算环境下可靠、及时地获得Web服务QoS信息的方法.提出一个基于P2P的内容发布/订阅网络,利用专用的集合点和副本机制减少订阅丢失,改善可靠性.利用RP链加快订阅和QoS信息发布.通过支持组合服务的组合QoS订阅,减少通知消息数量,减轻网络负载.仿真实验验证了系统的低成本、有效性和可扩展性.

具有QoS保证的服务资源联合分配与管理

提出一种具有QoS保证的资源管理系统架构,理论分析表明,该系统架构能够较好地适应资源的动态性;其次将服务资源联合分配问题归化为MMKP(multiple-choice multiple-dimension knapsack problem)问题,并提出两种资源联合分配算法:最优解算法RA_BBLP和启发式算法RA_MHEU,实验结果表明,RA_BBLP保证求得最优解, 可作为其他算法的参照系,而RA_MHEU收敛速度极快且所求出的解集接近最优,是一种理想的资源联合分配算法.