数据仓库设计中低粒度数据的分割策略研究

数据仓库中存在着巨大容量的低粒度数据,其存储策略的好坏直接影响到联机分析处理和数据挖掘的性能及效率。该文分析了数据仓库系统中数据分割的一般原则,详细论述了静态数据分割的各种策略,并对结构和内容两个方面的变化所引起的动态数据分割策略进行了详细研究,提出了基于属性相容和属性语义等价的动态数据分割技术。

分流机制下的RFID不确定数据清洗策略

无线射频识别技术(RFID)是物联网的关键技术之一。RFID原始数据的不确定性和海量性严重影响了该项技术的发展。通过对不确定数据特征进行分析,建立了一套分流机制下的RFID数据清洗策略。该清洗策略引入清洗队列的概念,根据清洗节点的判断条件选择最佳的清洗路线,无需遍历清洗系统中的所有清洗节点,从而节省了大量的数据传输和清洗等待时间。实验表明,该策略很好地缓解了数据传输压力,有效地提高了数据清洗的效率。

MBE与大数据给PDM带来的思考

MBE技术的应用使工程数据的结构特征越来越弱,而多型号、大数据使基于RDB的PDM在高并发读写、海量数据高效存储和访问、高可扩展性和高可用性等方面存在的问题日显突出。论述了在大数据和MBE环境下,利用企业私有云和NoSQL技术实施PDM的科学意义和可行性,并提出了一种基于企业私有云和NoSQL的PDM系统架构和技术体系,详细论述了实施PDM系统的各项关键技术和系统实施的技术路线。

基于置信区间的偏离群数据检测方法

异常数据检测与处理是数据仓库系统中数据清洗领域的研究热点。该文提出一种基于置信区间的偏离群数据检测方法,从总体中筛选出有效样本,利用遗传算法从中找到可信样本,利用可信样本确定置信区间,基于置信区间对总体进行检测及处理。该方法所处理的数据不需要与时间相关,且可以快速地识别、检测出大数据量中的"脏数据"。实验结果表明,该方法能有效地解决无规则状态下的偏离群数据的检测,并在实际应用中取得了良好效果。

一种改进的分布式ETL体系结构

在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一致性维护模块(M模块)的设计与实现。ETLM的体系结构免去了分布式数据仓库需要专门进行一致性维护的额外负担,可以更加正确、快捷、高效地支持OLAP。

PDM中单一BOM数据源的NoSQL数据组织研究

物料清单(BOM)是产品数据管理(PDM)系统中最重要的基础数据,其逻辑数据组织呈现网状结构.现有PDM均采用关系型数据库(RDB)的二维表形式组织BOM数据,其访问事务受到ACID特性的束缚,且存在数据冗余度高、查询效率低等问题.以非关系型数据库(No SQL)作为底层数据管理系统,借鉴单一产品数据源(SSPD)的思想,从分析PDM中各类BOM数据的结构和逻辑联系出发,提出树形—原子聚合嵌套式BOM数据组织结构,在物理层完成单一数据源的BOM数据存储,减少查询时的表连接操作,加快查询速度,降低更新代价.

用户显意识下的多重态度个性化推荐算法

个性化推荐技术在电子商务系统中得到了广泛的应用。针对现有商品特征算法不能反映出用户对商品特征认识的差异问题,提出了一种用户显意识下的多重态度个性化推荐算法,引入显意识及多重态度的权值,从不同角度去描述消费者心理特征,使推荐结果更符合用户的需求。实验对比结果表明,用户显意识下的多重态度个性化推荐算法能够提高商品特征推荐算法的推荐精度。

客户信任网络下病毒式营销核心群体的挖掘

目前,国内外对利用数据挖掘实现智能化制定病毒式营销策略的研究亟待深入.为了挖掘客户网络中的核心群体,定义了一种基于信任关系的客户信任网络CTN(Customer Trust Network),在此基础上创建了产品信息扩散模型CTNBDPI(CTNBased Diffusion of Product Inform ation),提出了核心群体挖掘算法VMCGM(V iralM arketing Core Group Mining)与连续病毒式营销策略的制定方法.CTNBDPI模型引入客户特征与环境因素解决了孤立点的接受与推荐问题,实验证明可以更好地反映病毒式营销中产品信息扩散的规律,与已有研究相比,VMCGM算法具有较低的时间复杂度和较高的准确性.

基于CWM的结构化异构数据抽取方法研究与实现

传统的信息集成虚拟方法通常采用Wrapper技术实现结构化异构数据的抽取。针对Wrapper与结构化异构数据源间一对一关系的非灵活性,提出了一种基于公共仓库元模型CWM(Common Warehouse Metamodel)的信息集成架构,利用CWM独立于任何具体实现的优势,在其基础上生成的Wrapper程序可以很好地适用于与之相关的所有结构化异构数据源的抽取。CWM元模型所提供的统一文档类型定义(DTD),使结构化异构数据源拥有了统一的XML表达方式,从而使抽取后的信息可以进行更有效的共享和转换。

一种构造数据仓库的基本时间轮转模型

在分析数据仓库建立的一般方法基础上,提出了一种用于构建数据仓库的基本时间轮转模型·介绍了基本时间轮转机制的概念及实现原理,分析了时间轮转模型的特征;结合具体实例,详细描述了基于粗时间集的基本时间轮转模型构造方法及基于该模型基础上的相关行为·实践证明,与传统的数据仓库构造策略比较,时间轮转机制可有效保证数据汇总的幂等性,并对联机分析处理、数据挖掘和决策支持系统具有更好的可用性,在数据抽取效率、数据存储效力和系统构造便利性等方面也有较大提高·

基于XML的信息集成虚拟方法研究与应用

在分析XML与信息集成相融合的优势基础上,提出了一种利用元数据支持进行信息集成的框架,利用解析器和Wrapper技术向用户提供统一的查询接口和数据视图,借助于元数据的支持来判断查询操作的有效性。采取XQuery语言对XML文档进行集成操作,利用XSL将查询结果提交给用户浏览,较好地解决了信息集成过程中透明访问、联合查询和数据转换等问题,实现了多个异构数据源的快捷查询和快速结果展现。

基于CWM的ODS元模型设计技术的研究与实践

在数据仓库系统的DB-ODS-DW三层体系结构中,ODS充当了承上启下的重要角色,但传统的ODS构建技术和元数据管理方法成本较高,而且在不同厂商的数据仓库和业务分析工具之间的互操作困难.以特种设备检验机构为背景,以特种设备事故分析需求为驱动,提出了一种基于公共仓库元模型的ODS元模型构建技术,进而使用JMI对元模型予以实现.该方法可提高模型的重用性,并对各工具间提供了公共的交换机制,降低了开发成本.

基于加权小世界网络模型的用户聚类技术

传统的无加权小世界网络在用户聚类中具有良好的性质,但不能准确表达用户之间的紧密关系,导致用户聚类效果不够良好。为此在网络中引入了加权边,并利用小世界网络理论对系统中的用户网络进行分析,定义和计算了流动阻力和流动效率,建立了加权的小世界网络模型,并提出了此模型下的重连边算法。实验表明,与传统的小世界网络模型相比,该模型能更好地对用户进行聚类,收敛速度更快,聚类效果更好。

基于改进马尔科夫模型的航空备件需求预测

针对时间序列法存在较大误差的问题,构建基于改进马尔科夫的航空备件需求预测模型。利用备件的历史数据计算出状态转移矩阵,以某飞行大队航材部门某型直升机备件的月统计消耗量为例,通过马尔科夫预测和改进的三步平均马尔科夫预测法对备件的需求状态概率进行预测分析。结果表明:在给定备件满足率的情况下,改进的马尔科夫预测法能取得更好的预测效果。

Web病毒式营销客户信任网络构建

Web病毒式营销中,客户间的信任关系类似于传统商务环境中实体间的社会关系,信任网络类似于传统商务环境中复杂的社会网络,客户间的信任度量受客户认知水平、交易金额、交易时间等因素影响,难以给出准确的量化.为探明这种信任网络的本质内涵以及降低信任关系的复杂性,结合电子商务的认知理论和方法,详细分析和定义了实体属性以及实体关系.给出一种基于客户特征数据和交易数据的客户信任网络模型CNTM(Customer Network of Trust Model),提出三种不同应用环境下的信任网络构建策略COS(Customer Occupation based Strategy),CIS(Customer Interest based Strategy)和COIS(Customer Occupation and Interest based Strategy),并分别给出信任度计算方法.与已有研究相比,提高了信任网络的覆盖率,保证了信任网络的信任强度并有效的改善了冷启动问题.

管理信息系统设计中的几个误区

管理信息系统在目前的应用最为广泛，但其设计过程却往往存在许多误区，因而造成系统运行情况不尽如人意。通过多年来对大量管理信息系统的分析与设计，文章提出了管理信息系统设计中的几个误区和避免措施，可较好地防止系统设计时产生不必要的错误，具有一定的普遍性和实际意义。

基于广域网和异构环境的ODS数据更新策略

为满足信息处理的多层次需求,为企业日常决策分析者提供即时准确的全局数据视图,出现了DB-ODS-DW3层体系结构,其中ODS承担了承上启下的重要作用。该文就ODS中的关键技术——数据更新策略进行了深入的研究,在对比分析了ODS传统数据更新策略的基础上,提出了一种基于网络和异构环境下的ODS数据更新策略,利用XML技术实现了异构数据库环境下变化数据的更新,以及变化数据文件的高效传输,并在实际应用中获得了理想的效果。

一种基于商品基因的个性化推荐模型

个性化推荐技术在电子商务系统中得到了广泛应用.但现有的个性化推荐模型不能反映出商品的某些特殊属性对用户购买行为的影响及用户购买某商品的真正原因.引入生物界中基因的概念,提出了基于商品基因的个性化推荐模型,发现用户钟爱商品基因,并将钟爱商品基因遗传到用户选择的商品.该模型能更好地发现用户的购买动机,从而进一步提高个性化推荐精度和用户满意度.

面向大规模图数据的分布式可达性索引与查询策略

针对构建大规模图数据可达性索引时的构建时间长、存储代价高和响应时间长等问题,提出一种分布式可达性索引与查询策略(DRIQ)。在不破坏原图中节点可达性的前提下,将大规模图划分成若干小规模子图,并对每个子图分布式并行地创建可达性索引,从而提高可达性索引创建效率。给出保持图划分后各子图内节点间以及子图间节点可达性的方法,从而保证基于DRIQ进行可达性查询的正确性。实验结果表明,与传统可达性查询方法相比,该策略具有高效性和可扩展性。

一种构造数据仓库的扩展时间轮转模型

阐述了抽象属性、广义抽象属性、时间标注、时域和抽象属性的拓展等与扩展时间轮转模型相关的基本概念,描述了扩展时间轮转模型的原理、分类和相关因素,介绍了面向客观主题及面向时间特征的扩展时间轮转模型的构造策略·结合具体实例,从存储效率、数据抽取效率、构造便利性和实用性等多方面分析了时间轮转模型和传统数据仓库模型的优缺点·实践表明,按时间轮转模型构造的数据仓库,对联机分析处理和数据挖掘等技术都有较好的支持·