Learned Index和B-Tree在不同分布数据上的性能对比及优化

Learned Index是一种通过训练模型来建立输入数据和存储位置之间映射关系的索引,它能学习到数据间分布的信息,而不同的数据分布将影响模型训练准确率和模型复杂度之间的平衡。为了探索Learned Index适用的场景,使用不同分布、不同数据量的数据对它和加以优化的可更新的自适应学习索引(ALEX)进行性能测试,并与B-Tree进行对比,最终发现Learned Index构建大批量数据的索引时间比B-Tree短,读操作性能、存储空间大小有明显的优势,但写操作性能较差,因此得出Learned Index更适用于大数据情景下的在线分析处理(OLAP)数据库,用于静态数据的存储和查询操作的结论。基于B-Tree的索引结构,对初版Learned Index的结构进行了优化和调整,最终使优化后Learned Index在大批量数据的读写操作性能上有明显提高,其中读操作最高达到原版Learned Index的2倍,写操作最高达到原版的3倍。

基于层次分析法的设备状态评估诊断技术

变压器在电力系统的电能传输过程中扮演着关键角色,其设备的状态诊断,是一项具有衍生结构的多级任务。为提高变压器状态诊断的可靠性,研究将萨蒂的层次分析法应用到变压器状态诊断中,提出了一种基于专家评估的决策诊断技术。介绍了层次分析法的关键性指标——连贯性指数(CI);建立了变压器状态诊断的数学模型;利用层次分析法,通过计算验证了所提方法诊断结果的可靠性。结果表明,该方法简单高效,适用于变压器技术状态的在线诊断。

基于模糊综合评价法的网络舆情预警模型

在详细分析网络舆情影响因素和自身属性的基础上,本文建立了网络舆情指标体系。依据模糊综合评价法构建了网络舆情预警模型,采用混合赋权法确定各指标的权重,选择合适的模糊算子确定指标体系中各舆情因素的数值化评价值,最终得到网络舆情的预警等级。实例表明了该模型的有效性和准确性。

网络恐怖事件预警指标体系研究

[目的/意义]研究当前网络恐怖事件发展动向及特点,从事件热度、事件产生因素、事件级别及影响力等七个方面入手,构建完善的网络恐怖事件预警指标体系,并结合实例提出预警处置建议。[方法/过程]通过发布问卷、专家咨询的方式搜集调查数据,利用主客观相结合的方法精确分析网络恐怖事件的特征。[结果/结论]不同类型的网络恐怖事件在该文提出的七个方面表现出不同的特性,事件传播初期的网络热度和影响力是两个最重要的观测指标。网络恐怖事件与传统恐怖事件相比,在实施途径上的差异最为直观,该文提出的网络恐怖事件预警指标有利于网络安全机构及时发现并妥善解决问题。

面向在线社会支持虚拟社区的用户专业度识别方法研究

针对目前虚拟社区中信息知识、专业人才等虚拟资源没有得到充分利用，且用户特征研究不深入和维度单一化问题，本文研究用户专业度的概念和识别方法。论文首先提出面向在线社会支持社区的用户专业度识别框架；重点阐述了内容、网络和个体3类共10个特征指标，并进行标准量化；通过引入层次分析法（AHP）计算指标权重，得出用户专业度的综合评价值。实验证明，本方法的准确率达到了81．16％，具有一定的可行性。

应用数据仓库技术构建外贸业务辅助决策系统

为了实现对我国贸易能力强弱的定量分析,研究开发了基于数据仓库技术的外贸业务辅助决策系统,该系统的核心是中国贸易业绩评价体系,基础是完整的外贸进出口业务数据,核心技术是数据仓库;论述了中国贸易业绩指数的构成和系统的体系结构;详细介绍了如何将来自不同数据源的数据转移到数据中心,应用联机分析处理技术建立多维数据集实现业绩指数的计算,以及如何应用报表服务器技术实现报表结果在互联网上的发布.

网络原创服装品牌形象识别模型的构建与应用

为提高网络原创服装品牌形象识别度,提升品牌的综合竞争力,采用德尔菲法和多层次分析法建立识别指标体系,构建服装品牌形象的识别模型。选取4个青春休闲类品牌进行品牌形象识别的实测分析,利用方差分析法找出模型中指标的显著性差异与共性,并将模型应用于品牌"NAZICUI"的升级改造。改造后的"NAZICUI"店铺访客数、关注度和成交量等各项数据明显提高,表明该模型具有一定可行性和有效性。该研究结果为网络原创服装品牌形象识别与改造提供了一种有效方法。

基于MDX和OLAP技术的外贸业务分析决策系统

探讨MDX(Multidimensional Expression)和OLAP(Online analytical processing)技术在外贸决策支持系统中的具体应用问题．针对一系列外贸业务指标即关键处理指标的计算要求,采用MDX语句,将外贸业务指标定义为OLAP多维数据集的计算成员,从而完成贸易指标的快速计算,并采用MDX语句完成系统客户端的指标查询．

高校线上教学评价指标体系建构

建构高校线上教学评价指标体系.针对高校线上教学不同阶段的教学特点,设置教学平台、课前预习、课堂教学、学习监控、课后总结等5个一级指标和15个二级指标,运用层次分析方法来确定各级指标权重,构建高校线上教学评价指标体系,为线上教学效果的评价提供参考.

基于数据仓库的OLAP中的索引技术研究

数据仓库建立好后,需要对其充分高效地利用,OLAP联机分析处理就是一个很好的数据分析展现工具。人们对速度的追求是永无止境的,建立索引可以更快捷地响应用户的查询。索引的种类很多,相关研究表明位图索引既能节省空间,又能利用其进行的位运算而提高相应的查询速度,然而位图索引对字段基数较低的字段有比较好的效果,当遇到字段基数较高的字段时也会占据大量的空间,其效果不及B-Tree索引,论文针对这种情况对位图索引进行了扩展,引入了标识符索引,并对其进行了比较讨论,最后提出可以根据维的各自特征建立不同的索引。

一种基于多层次链的Data Cube维层次编码

研究了Data Cube的索引技术,提出一种能够处理复杂维层次结构情况的维层次编码.维层次编码充分利用了Data Cube中维的层次性及其语义特性,结合二进制编码与维层次结构编码对维成员值进行编码,通过二进制操作,可以快速检索出与查询关键字相匹配的维层次编码.同时,基于维层次编码定义的层次链掩码,层次掩码及检索函数能够充分利用多维数据中的语义信息,实现基于语义的检索,减少了I/O开销,提高了OLAP查询效率.

线上线下服装品牌形象评价体系比较研究

文章构建了线上、线下服装品牌形象评价指标体系,并对其差异性进行定量化研究。通过查阅、借鉴已有服装品牌形象研究成果,以国内外品牌形象测评理论模型为依据,确立了线上、线下服装品牌形象评价指标。在此基础上运用专家打分法和层次分析法,在一致性系数小于0.1的情况下,得出各层级指标所对应分布权重并进行深入的比较分析。研究结果表明:网络形象和宣传促销形象对线上服装品牌形象贡献较大,而线下服装品牌中品牌识别形象和服务形象对其综合影响更为突出。分析结果可为服装企业线上、线下品牌形象塑造、维护与品牌营销策略制定提供理论参考。

线上“金课”评价指标体系构建研究

从学习体验的视角出发,采集了中国大学MOOC平台上12门国家精品在线开放课程的评价作为数据来源,利用Rost CM工具对这些数据源进行处理,得到频数较高的评价指标。结合线上“金课”的特征、线上“金课”学习体验构成要素和已有的课程评价标准,建立包括3个一级指标,8个二级指标,28个三级指标的线上“金课”评价指标体系。并利用层次分析法确立了指标的权重。与此同时,在中国大学MOOC平台上选取三门国家精品在线开放课程,邀请学习者进行实例应用,结果表明文章的指标体系具有可操作性,可用于评价线上“金课”的优劣。

基于图结构索引的分布式OLAP加速方法

随着业务数据的规模增大,一些重要的应用场景需要使用分布式在线分析处理(OLAP)支持大规模数据的分析,例如商务智能(BI),企业资源计划(ERP),用户行为分析等.同时,分布式OLAP打破单机存储的限制,可以将数据放在内存中以提升OLAP的处理性能.然而,基于内存的分布式OLAP在消除磁盘I/O后,性能瓶颈转移到了连接操作.连接操作是OLAP中的一种常用操作,会进行大量的数据读取与计算操作.通过对现有的几种连接操作方式进行分析,提出了一种能够加速连接操作的图结构索引以及基于图结构索引的连接操作方式LinkJoin.图结构索引通过用户所指定的连接关系,将数据在内存中的位置以图结构的形式进行存储.基于图结构索引的连接方式,不仅能够有等同于哈希连接的较低复杂度,而且在执行过程中能减少数据读取与计算操作次数.将目前先进的开源内存OLAP系统MonetDB从单机系统扩展成分布式系统,并且在该系统上设计与实现了基于图结构索引的连接操作方式.针对该系统的图索引结构,列式存储以及分布式执行引擎这3个重要方面,进行一系列设计与优化,以提升系统的分布式OLAP处理性能.测试结果表明,在TPC-H标准测试中,基于图结构索引的连接操作对于有连接操作的查询的平均性能提升达1.64倍(最多达4.1倍).对于这些查询中的连接操作,性能提升达9.8–22.1倍.

数据仓库中一种有效的高维联机分析处理方法

在大量数据仓库系统中,对于一个d维的data cube,数据立方体(cube)可以生成2d个聚集cuboids,然而随着数据仓库维数的增长,计算这些预聚集数据已经成为一个瓶颈.在minimal cubing方法的基础上,提出一种具体层次语义特性的多维层次数据立方体——前缀索引立方体(prefix-index cubing)技术,将高维cube划分成若干个低维立方体cube,以实现高维cube的分布式存储和并行计算.理论分析与实验结果表明,相对于以往的minimal cubing等方法,前缀索引立方体方法的性能显著提高.

网络意识形态安全事件预警指标体系

随着经济社会和互联网的快速发展,网络意识形态论战事件频发,建立完善的预警指标体系,维护网络意识形态的安全具有重要意义。基于面向网络意识形态安全的语义知识库和网络客观数据,构建了网络意识形态安全事件预警指标体系,利用德尔菲专家法和层次分析法确定预警指标体系指标参数权值,最终确定出事件对应的预警等级,为政府管理部门制定相应的监管策略提供理论依据。

基于AHP理论电子商务客户满意度指标体系构建

根据电子商务发展的现状,分析了以网上购物为例的电子商务客户满意度影响因素,利用层次分析法建立了客户满意度评价指标体系,排列出指标中影响较大的因素,并提出对策建议。