基于分布式计算的what-if分析并行处理策略

根据基于OLAP的what-if分析的查询特点,使用分布式并行处理技术解决what-if分析性能较低的问题。以星座模型为基础的what-if分析中,将多维聚集查询分布到不同计算节点进行聚集计算,然后将各个计算节点的聚集计算结果合并输出。该方法根据基于OLAP的what-if分析中其维表远远小于事实表的特性,将事实表中的记录进行水平分片,充分利用各节点计算和I/O处理能力,以解决OLAP查询中计算密集型及I/O消耗过大的难题。在该方法中,随着计算节点数目的增加,其查询时间随之减少,有效地提升了分析效率。

基于CEP的ECG实时监测分析系统的研究与设计

针对医院临床和普通病人对心电数据实时监控和分析的需求,提出了将CEP复杂事件处理技术应用到ECG实时检测和分析系统中。设计了ECG检测算法,并根据CEP技术需要做出了改进,探测算法产生的心跳数据将被作为基本事件,使得基于CEP的ECG探测分析系统能够以复杂事件来区分不同种类的异常心跳。并可根据病人的病历和以往的心电数据进行报警、辅助预诊断。实验结果表明,设计的ECG实时监测分析系统通过CEP技术能够有效的区分部分异常心跳类型。

DRVisSys:基于属性相关性分析的可视化推荐系统

数据可视化通常是展示数据价值最有效的方式。针对大规模复杂多维数据,对相关数据子集进行分析并将分析结果自动映射成合适的可视化展现模式,是一项需要大量迭代计算的复杂技术工作。设计并实现了DRVis Sys系统,该系统根据属性关联分析技术推荐出合适的可视化展现模式;其对于非平凡属性组合的选择,采用典型关联算法计算出更优的属性集。考虑到各属性权重在实际生活中是有区别的,采用层叠隐马尔可夫算法计算各属性权重,将属性权重作为非平凡属性组的评测标准之一。为使得推荐出的可视化展现模式能更好地满足用户需要,DRVis Sys系统能根据用户反馈,更新可视化推荐模型。实验结果表明,DRVisSys能够快速进行数据分析并为用户推荐出合适的可视化展现模式。

FastNavi:巡天数据的交互式探索系统

目前,我国天文科学领域的重大科学工程FAST(500 m口径球面射电望远镜)已于2016年9月建成并进入调试和试运行阶段。为满足FAST建成后开展科学研究的需要,采用基于阵列模型的科学型数据库系统作为巡天数据的存储支撑系统,设计实现了一个能够满足对大规模巡天数据进行高效读写、复杂分析的交互式探索系统FastNavi。该系统涵盖了最为常用的巡天数据可视化探索的核心功能,通过优化对巡天数据的可视化分析及观测信息导航的实现,向天文学家或其他非专业人士进行天文研究提供了一种新的交互式探索方式。FastNavi目前已在国家天文台FAST工程科学部巡天数据研究规划中应用,并被其列为巡天数据科学研究的支撑软件。

VISDMiner:一个交互式数据挖掘过程可视化系统

针对数据挖掘中挖掘过程不透明以及用户交互少的问题,本文设计并实现了VISDMiner系统。VISDMiner系统将可视化技术和数据挖掘技术结合在一起,提供对挖掘过程中各阶段产生的可视化子结果集的分析。用户可根据自己的领域知识和经验去调整数据挖掘算法模型的参数和可视化模型的参数,促进算法和挖掘分析过程的有效调优。为了处理高维数据集,VISDMiner系统采用一种基于最大信息系数的主成分分析改进算法MIC-PCA,该算法主要是针对传统PCA算法降维能力和分类准确率低的问题进行改进。实验结果表明,VISDMine不仅实现了数据挖掘过程的可视化,还提高了用户对数据挖掘执行结果的可理解性,其采用的改进的MIC-PCA算法提高了PCA算法的降维能力和分类准确率。

阵列数据库系统FASTDB的研究与实现

为有效解决大规模科学数据的存储和分析问题,设计并实现一个分布式阵列数据库原型系统FASTDB,优化大规模科学数据的存储和分析性能,单独分析用户自己上传的科学数据。为验证FASTDB的性能优势,设计一组真实的天文领域科学分析任务,将FASTDB系统与SkyServer系统进行实验比较,实验结果表明,FASTDB系统在多数科学大数据分析场景下的性能远强于SkyServer系统。

基于密度聚类的出租车异常轨迹检测

出租车GPS装备的普及使用产生了大量轨迹数据。出租车异常轨迹的检测和分析,可为惩罚具有欺诈行为的出租车司机提供有益支撑。针对出租车稀疏轨迹,基于轨迹相对相似度检测异常轨迹,由于其具有不对称性,类似于DBSCAN的传统密度聚类方法无法适应此种情况,本文提出基于密度RDBSCAN算法用于出租车异常轨迹聚类检测。对于聚类得出的候选异常轨迹,结合轨迹密度异常值和轨迹长度异常值的概念,利用证据理论综合前述2个因素来判别轨迹的异常程度,进而得到异常程度最高的TOP-N异常轨迹。使用旧金山真实的出租车数据,通过提取相同起点和终点(Origin-Destination,OD)的轨迹集进行实验,实验结果表明本文提出的方法能够有效地检测到异常轨迹,并成功给出异常程度最高的TOP-N异常轨迹。

一种面向工作负载预测的基于小波变换的特征提取方法

在资源受限条件下,根据数据挖掘任务在执行过程中实时产生的资源和任务状态来准确地预测任务执行时间是非常重要的。为有效地使用时间序列数据实现准确预测,提出一种降载策略来确定预测的切入点和数据处理方案。该策略使用动态时间规整(Dynamic Time Warping,DTW)距离度量子序列与整个序列之间相似度的变化以确定用于预测的数据,然后利用小波变换计算小波系数并提取小波系数的能量值作为预测的特征,最后预测任务执行时间。实验结果表明,该方法提取的特征信息包含原序列较多信息,在预测任务执行时间方面具有较高的准确性。

VTSRM:一种基于SVM-RFE和MRMR的AD MRI医学图像分类方法

为了准确地识别阿尔兹海默症(Alzheimer’s Disease,AD),轻度认知障碍(Mild Cognitive Impairment,MCI)和正常个体(Normal Controls,NC),论文实现了一种基于SVM-RFE和MRMR的AD MRI医学图像分类方法 VTSRM。该方法首先提取出MRI医学图像的纹理特征和形态学特征,然后利用基于支持向量机递归特征消除算法(SVM-RFE)和最小冗余最大相关(MRMR)技术的特征选择算法SRM选择出最优特征子集,并使用SVM分类算法对AD,MCI,NC进行分类。美国公共阿尔茨海默病神经影像学数据集上的实验证明了论文方法的有效性。

DoFFT:一种基于分布式数据库的快速傅里叶变换方法

快速傅里叶变换在天文学中有着广泛的应用。例如,脉冲星信号通常需要基于快速傅里叶变换进行相干消色散处理。由于信号数据通常存储在数据库中,而将数据从数据库取出后再由外部程序进行快速傅里叶变换处理将产生大量I/O和网络开销进而严重影响整体处理性能。针对此问题,本文设计一种用户自定义函数(UDF)形式的可在分布式数据库中并行执行和优化快速傅里叶变换的算法DoFFT(Database optimized FFT)。此外,针对数据库集群中每台机器负载不同、数据分布不均匀等有时会导致执行效率低下的问题,DoFFT方法基于CPU、I/O,网络与传输速率等的代价,对涉及的数据进行数据重分布处理,以进一步优化快速傅里叶变换的并行执行。实验结果表明,采用基于数据重分布的优化后,DoFFT算法的性能得到了有效提升。

DF-SSD:一种基于反卷积和特征融合的单阶段小目标检测算法

针对经典的单阶段多目标检测算法SSD对小目标物检测效果差的问题,提出DF-SSD算法,其核心技术贡献包括基于反卷积与特征融合的方法和改进后的先验框尺寸计算算法。反卷积与特征融合能够增加浅层特征层的语义信息。改进后的先验框尺寸计算引入了数据集的特点,能有效利用每一个先验框进行训练和预测。改进后的方法DF-SSD与基于SSD改进的R-SSD和RSSD模型相比,具有较高的检测准确率。同时,DF-SSD的检测时间仅是R-SSD的1/2,是DSSD的1/5。改进后的方法在VOC2007和DIOR这2个数据集上的MAP比SSD分别提升了1.4和3.6个百分点。其中ship、vehicle、windmill、cat这4类小目标的MAP分别提升了23.2、12.6、8和4.8个百分点。结果表明:DF-SSD方法有效提高了小目标物的检测正确率,并且具有较快的检测速度。

FastSky:巡天数据的天图系统

随着我国天文科学领域的重大科学工程FAST(500米口径球面射电望远镜)的建成,亟需一套可用于进行可视化展现和数据处理的天图系统。研究并实现了一套致力于满足FAST巡天数据可视化展现和数据处理基本需求的天图系统Fast Sky。该系统基于Healpix球面分割技术实现对天区的分割和索引的构建,并基于Web浏览器实现各类预置和自定义的天图分析及巡天数据处理。Fast Sky目前已被FAST工程科学部列为巡天数据科学研究的支撑软件,在FAST巡天数据科学研究规划中应用。

ADCS:一种基于SSD的阵列数据库缓存技术

论文提出了在阵列数据库中引入固态硬盘作为Cache的内存-SSD-磁盘的多级存储架构,研发了以阵列数据库的存储单元chunk为粒度的缓存技术—ADCS,并在FASTDB中进行了实现。ADCS采用最近最少使用(LRU)算法作为缓存淘汰算法,得益于内存和磁盘之间的SSD cache构建技术,阵列数据库的查询性能提升了34%左右。

面向容器的云平台数据重分布策略研究

随着Docker等的问世,基于容器的操作系统级虚拟化技术受到云计算厂商的广泛关注。针对云平台上不同应用领域的数据库容器(面向事务型任务的数据库容器与面向分析型任务的数据库容器)在运行时对宿主机资源需求的差异,提出一种面向容器的数据重分布策略,用于优化容器中数据库服务的性能。实验结果表明,该策略达到了预期效果,可以有效提升容器中数据库服务的性能。

阵列数据库系统的存储块分割策略研究

阵列数据库系统是存储和分析大规模科学数据的常用技术方案。目前主流的阵列数据库中存储块分割策略采用固定边长作为块的边界,若边长过大会增加查询分析时定位Cell的时间,反之则产生过多的小块增加内存开销。本文提出一种改进的Chunk边长分割算法CLD,其通过减少读取数据时的磁道数以及预取技术提高阵列数据库系统的性能。在阵列数据库系统Sci DB集群上的实验表明,在最优情况下系统性能提升了10.9%。

面向区块链节点负载预测的ARIMA组合预测方法

准确预测服务器的剩余负载率可以合理地分配系统资源,提高系统的资源使用率。为了能有效提高区块链应用中各节点剩余负载率序列预测的准确度,提出了一种差分自回归移动平均(AutoregressiveIntegrated MovingAverage,ARIMA)模型、BP神经网络以及局部异常因子(Local Outlier Factor, LOF)算法的组合预测模型。对比ARIMA模型、ARIMA-BP模型、LOFARIMA-BP模型的预测结果,比较三个模型的预测能力。实验结果表明,LOF-ARIMA-BP组合模型的预测精度优于ARIMA模型以及ARIMA-BP模型。

SNS:一种快速无偏的分层图抽样算法

抽样作为一种有效的统计分析方法,常被用于大规模图数据分析领域以提升性能。现有的图抽样算法大多存在高度节点或低度节点过度入样的问题,较大程度地影响了算法的性能。复杂网络具有无标度特性,即节点的度服从幂律分布,节点个体之间存在较大差异。在基于点选择策略的抽样方法的基础上,通过结合节点的近似度分布策略,设计并实现了高效无偏的分层图抽样算法SNS。在3个真实的图数据集上的实验结果表明,SNS算法比其他图抽样算法保留了更多的拓扑属性,且执行效率比FFS更高。SNS算法在度的无偏性、抽样结果拓扑属性近似性方面的表现均优于现有算法。

基于delta表的what-if分析性能优化

针对基于delta表存储的what-if查询处理实现技术中查询性能较低的问题,对what-if分析的两个阶段提出优化方案:在假设视图生成阶段,提出基于Bloom filter算法实现what-if视图生成;在基于假设视图的OLAP查询阶段,提出基于Redis的查询缓存算法WFQC,提高基于假设视图的OLAP查询效率。实验结果表明,Bloom filter算法生成的what-if视图比使用传统的表连接算法生成的what-if视图性能提高了约32%;与传统的物化视图实现机制相比,基于Redis查询缓存的OLAP查询性能提升了2倍。

FastATB:科学数据分析任务的可视化构建系统

为有效解决领域科学家编写复杂分析任务的难题,帮助领域科学家快速定义科学数据分析任务,减轻领域科学家学习复杂查询语言的复杂语法和语义规则的负担,提出一种数据查询和分析语句的可视化构建策略。基于该策略,结合阵列对象的特点,设计科学数据分析任务的基本组件,在此基础上实现一个科学数据分析任务的可视化构建系统,使用拖拽操作可视化构建复杂查询序列,其可用性已在天文学领域得到验证。

基于工作流的科学数据分析系统

随着科技的发展,科学领域的研究人员在观察和实验中产生的数据规模越来越大,科学分析任务也愈加复杂。新型的阵列数据库和工作流技术逐渐被应用到大规模科学数据的管理和分析中。结合阵列数据库系统SciDB,研究并实现了一种基于工作流的科学数据分析系统,用于满足基于大规模数据的复杂科学数据分析需求。