多种填补方法在纵向缺失数据中的比较研究

目的比较多种方法对纵向缺失数据的处理效果。方法运用SAS软件通过蒙特卡罗模拟产生最常见的含一个分组因素和一个重复测量因素的纵向资料,对其进行混合效应模型分析,将结果作为标准对照。分别构建任意缺失模式(AMP)和单调缺失模式(MMP)下完全随机缺失(MCAR)、随机缺失(MAR)和非随机缺失(NMAR)六种缺失数据集,并使缺失率分别为10%、20%、30%、40%和50%,运用删除法、单一填补法、多重填补法和EM算法进行处理。结果在AMP下,当MCAR和MAR时,低缺失率(≤10%)下所有方法的效果均较好;随着缺失率的增大,只有多重填补法的效果令人满意。在MMP下,当MCAR和MAR时,只有线性回归法和预测均数匹配法的效果较好。多重填补法的缺点是在一定程度上高估系数的变异程度。另一方面,填补方法对结果的影响远超过填补次数对结果的影响。当NMAR时,所有方法都无法取得较好的处理效果。结论对于纵向缺失资料,多重填补法仍是一种较为理想的处理方法。

Web信息系统数据访问层的设计与实现

目前几乎所有的Web信息系统都需要访问持久性数据资源,不同的数据源访问方式也不同,因此实现和封装数据访问越来越成为构建稳定、健壮和灵活的Web应用的基础。在分析了一个真实的Web信息系统的应用环境的基础上,描述了如何使用单例,数据访问对象和抽象工厂模式来设计数据访问层体系结构,解决了多种并行数据源的访问问题,并对该结构面临的问题进行了分析。

一种基于聚合链的改进FP-Growth算法

提出了一种基于聚合链挖掘频繁模式的改进FP-growth算法.该算法引入聚合链的单链表结构,改进了FP树结构.改进后的FP树是单向的,每个结点只保留指向父结点的指针,节省了树空间;相同项的不同节点的路径信息压缩进聚合链中,避免了生成节点链和条件模式库.用Agrawa方法生成实验数据进行分析,实验结果验证了该算法在时间上的优势.

数据流中基于滑动窗口的序列模式挖掘算法

序列模式发现是最重要的数据挖掘任务之一,并有着广阔的应用前景。针对静态数据库,序列模式挖掘已经被深入地研究,但针对基于数据流的序列模式挖掘的研究还不是十分深入。数据流有着无限性的特性,因此往往不能保存数据流中全部的数据,同时很多时候只对最近的时间段的序列模式感兴趣,提出一个有效的结合滑动窗口技术的挖掘序列模式的算法FPM-SW,算法利用到3个数据结构(PatternTable,CountTable和Ta-tree)来处理基于数据流的序列模式挖掘的复杂性问题。算法通过CountTable结构来保存以往的潜在频繁序列,考虑到在某些情况下CountTable占用内存过多,算法还结合了一种压缩CountTable技术来减少内存占用。FPM-SW的优点是可以最大限度地降低负正例的产生,实验表明FPM-SW具有较高的准确率。

实例位置模糊的空间co-location模式挖掘研究

实例位置模糊在许多领域里都有着非常重要的应用,比如生物医学图像数据库和地理信息系统(geographic information system,GIS)。研究了实例位置模糊的空间co-location模式挖掘问题。定义了实例位置模糊的空间co-location模式挖掘的相关概念,包括实例位置模糊、位置参与率等;给出了基本算法来挖掘实例位置模糊的co-location模式;提出了两种改进算法,即基于网格的距离计算和减枝候选模式,以提高挖掘性能,加快co-location规则的产生。通过大量的实验,说明了基本算法及其改进算法的效果和效率。

基于XML数据的频繁模式挖掘算法

结合XML文档的特点,采用XML数据模型XOEM和压缩结构树的存储结构,提出了一种高效的XML数据的频繁模式挖掘算法──AFPMX算法,并从理论和实验两方面证明了该算法是可行和有效的。

面向征信的区块链模式设计与应用研究

根据目前我国征信体系现状,结合传统征信体系结构所产生的问题,从监管层面提出基于区块链技术的征信行业体系结构和2种数据交易模式以及征信数据交易平台技术架构,具有去中心化、安全可信、集体维护、不可篡改等特点。阐述数据交易的各个过程,探讨区块链在征信行业应用的优势:促进征信数据共享、提升对征信业监管质量、确保信息主体隐私权、有效提升征信数据维度。

基于农业大数据可视化方法的中国生猪空间流通模式

利用大数据可视化手段研究中国省际间生猪流通问题,用GIS将整合后的多源数据进行数据可视化,研究中国19个省(市)的区域间生猪流通现状。参照《国家新型城镇化规划(2014~2020年)》和前人研究成果,将区域间生猪流通现状与中国城市群可视化结果结合进行分析,归纳各城市群生猪流通现况,获得基于城市群发展的生猪空间流通模式,从空间角度分析中国整体生猪空间流通格局存在问题。结果显示,中国总体生猪流向有明显的"西猪东运,北猪南运"趋势,京津冀城市群、长江三角洲城市群和珠江三角洲城市群是中国最主要3个吸纳外埠生猪供应地区,是中国整体生猪流通系统中最重要的组成部分。

快速统一挖掘超团模式和极大超团模式

超团模式是一种新型的关联模式,这种模式所包含的项目相互间具有很高的亲密度.超团模式中某个项目在事务中的出现很强地暗示了模式中其他项目也会相应地出现.极大超团模式是一组超团模式更加紧凑的表示,可被用于多种应用.挖掘这两种模式的标准算法是完全不同的.提出一种基于FP-tree(frequent pattern tree)的快速挖掘算法——混合超团模式增长(hybrid hyperclique pattern growth,简称HHCP-growth),统一了两种模式的挖掘.算法采用递归挖掘方法,并应用多种有效的剪枝策略.提出并证明几个相关命题来说明剪枝策略的有效性和算法的正确性.实验结果表明,HHCP-growth算法相对于标准的超团模式挖掘算法和极大超团模式挖掘算法都具有更高的效率,尤其对于大数据集或在低支持度条件下更为显著.

多维序列模式挖掘算法

提出一种基于最大频繁模式、模式相似与属性描述相结合的多维序列模式挖掘算法MSP,该算法包括3个步骤:挖掘数据集中的最大频繁模式,每个频繁模式成为一个模式类;比较数据中各序列项序列与各模式类的包含与相似关系;按照一定的规则抽取与各模式类相关的属性,给出以属性为前件、模式类为后件的多维序列规则为形式的多维序列模式挖掘结果。对算法进行分析表明,该算法是有效的,且具有较好的可扩展性。

数据源特性对序列模式挖掘结果的影响

用IBM数据生成工具生成数据考察了客户序列数、平均序列长度、平均事务长度、项目数等数据特性对挖掘结果序列模式个数的影响,得到了单项特性对挖掘结果序列模式个数的影响模型,用以在进行正式挖掘之前,通过数据特性对挖掘结果进行初步判断。

设计模式在数据持久层设计中的应用

深入探讨设计模式中抽象工厂模式、工厂方法模式与单件模式的原理,提出了利用抽象工厂模式、工厂方法模式与单件模式相结合的方法来设计数据持久层的设计思路。此设计模式的使用可提高数据持久层设计中代码的可重用性和可扩展性。

基于eEP的两阶段分类方法的研究

传统的基于规则的分类算法多是采用顺序覆盖技术训练分类规则,这使得训练得到的模型覆盖大量的非目标类实例,分类时效果差.基于规则的两阶段分类算法,能够很好的去除模型覆盖的非目标类实例,分类时能取得比较好的结果.EP在分类大型数据库时能够提高分类效率,eEP(Essential Emerging Patterns)是一种特殊的EP,较EP能够减少分类噪音.本文中我们构造一个新颖的分类算法,基于eEP的两阶段分类方法(即EEPCTP),并使用UCI机器学习库中的10个数据集做实验,实验表明EEPCTP分类法取得了与一些经典的分类算法可比的效率和准确性.

挖掘闭合多维序列模式的可行方法

为了对闭合多维序列模式进行挖掘,研究了多维序列模式的基本性质,进而提出了挖掘闭合多维序列模式的新方法。该方法集成了闭合序列模式挖掘方法和闭合项目集模式挖掘方法,通过证明该方法的正确性,指出闭合多维序列模式集合不大于多维序列模式集合,并且能够覆盖所有多维序列模式的结果集。最后分析了该方法所具备的两个明显优点,表明了在闭合多维序列模式挖掘中的可行性。

一种GML文档的Twig模式查询算法

GML文档是XML技术在GIS方面的应用,成为空间数据在Internet上的实际表示、传输和交换的标准。目前,GML文档的查询是GIS领域的研究热点。对这一问题,研究了GML文档的数据特点和结构特点,设计了一种新的索引结构——GB树,GB树是专门针对GML文档中空间数据节点的索引结构。将XMLTwig模式查询思想引入GML文档查询,借助GB树的索引特点,提出了GML文档的Twig模式查询算法——GMLTwigStackGB。GMLTwigStackGB算法保留了XML文档Twig模式查询算法的优势和特点,具有完整的空间查询功能。测试实验表明,该算法能够高效地满足GML文档上的各种数据查询。

基于频繁项集的条件模式挖掘

在数据库挖掘中,要充分地快速地挖掘出数据库中的任意有趣模式,而现实数据挖掘查询等这种任意合成模式特别复杂,如果只利用现有的基于频繁项集算法直接进行复杂模式挖掘是困难的。为解决该问题,一种基于频繁项集的条件模式挖掘被提出。从条件模式定义,性质,条件模式挖掘算法等方面来阐述解决此类任意条件下模式挖掘的问题。该条件模式的挖掘,使得数据库进行任意模式的新知识新规律发现变得更快捷有效。在现实世界的知识挖掘中,条件模式挖掘更能贴近现实知识的发现。

支持多格式工程图档信息提取方法研究与实现

分析了工程信息中多格式非几何特征信息的提取需求,通过研究对象属性提取法和典型模板匹配法,提出了一种通用的非几何特征信息提取模型,重点探讨了基于典型模板匹配法进行改进的"多格式模板匹配提取"算法,并给出了开发实例。此方法为后续信息集成管理的研究和开发提供了基础。

基于SQL的频繁模式挖掘算法

利用标准SQL语言提出了一种在关系数据库中挖掘频繁模式的简易算法.实验证明该算法具有较高的效率.

在多数据库中确定支持度的有效方法

提出了一种用于在多数据库环境下确定模式的支持度的方法。数据挖掘总是在强关联规则模式中进行挖掘,因此计算模式的支持度必不可少。由于多数据库与单数据库的本质不同,单数据库中的支持度只具有本地效应,它的数值和计算方法在多数据库中都是不适用的,因此需要找到一个在多数据库中计算支持度的方法。又由于每个本地数据库的各方面情况不同,因此各自在总部制定决策时的地位和重要性也就各异。于是,在考虑某模式的支持度时,不能简单的将该模式在各本地数据库中的支持度进行平均,而需要引进"权值"的概念。在综合考虑了这些因素之后,提出了一些确定权值的方案,并给出了一个基于权值计算支持度的方法。

基于情景感知的N-gram改进预测模型研究

情景感知服务(Context-Awareness Services)借助信息技术为用户提供自适应服务,卓著的个性化特性使其将成为下一代杀手级应用。本文综合分析移动用户的位置、时间和业务信息,通过改进N-gram模型有效地预测用户行为趋势,以期通过最优化的方式使用户需求与其所处的环境资源相匹配,既期望能从用户视角获得更加丰富的信息体验,又期望能对运营商有所帮助,对理论研究及商业实践均具有积极意义。