ORA_ROWSCN伪列在Oracle历史数据迁移中的应用研究

通过对Oracle常见数据迁移方法的利弊分析,给出利用ORA_ROWSCN行级跟踪模式的Oralce 10g数据迁移解决方案,该方案既使数据迁移省时省力,又能保证数据库的完整性和一致性,为企业做Oracle历史数据迁移提供完美方案。

Data Evaluation and Visibility in Single Beam Scanner of Gamma Ray Tomography

In this paper, data analysis and modeling of gamma ray tomography taken into account spatial resolution and source of errors and the attenuation coefficient measurement in row data from tomography process are presented. The results showed that this method is simple, effective and should be prior to any data treatment for opaque vessel reactor and by reconstruction algorithm in process imaging.

变电设备状态监测大数据的查询优化方法

变电设备状态监测数据体积大、价值密度低,传统数据处理方法不能很好地满足状态监视、评估与诊断等应用快速查询的需要。文中通过对状态监测数据特点和分布式列数据存储方法的分析,给出了变电设备状态监测的大数据处理框架。通过对监测时间、监测设备编号和设备编号等数据属性的组合,设计了3种状态监测数据复合行键结构,以提高状态监测数据行键查询的灵活性。为了解决在行键未知情况下全表扫描效率低下的问题,提出基于协处理器的二级索引构建方法,实现在非行键约束条件下的快速查询。实验结果表明,基于协处理器的二级索引方法在查询效率上比无索引和IHBase二级索引方式有了明显提高,对状态监测数据写入速度影响较小,能够较好地满足大数据环境下变电设备状态监测大数据快速、灵活查询的需要。

一种新的连珠棋局面表示法及其在六子棋中的应用

为了提高连珠棋局面的表示效率,给出了一种基于棋形来描述棋子间联系的表示方法,并在六子棋程序NEUConn6中成功运用.该方法不但紧凑、高效地描述了局面状态,还方便了局面的增量更新;此外,它把在线计算转化为离线计算,并且它很自然地把棋类知识和数据结构结合在一起.该方法不限于六子棋,可广泛用于别的连珠棋博弈程序.

环境空气质量监测大数据存储模式研究

为解决传统的关系型数据库无法有效存储及查询海量空气质量监测数据的问题,设计了一个基于HBase的大数据存储模式。该模式以带时间戳的多版本形式存储空气质量监测物的实时数据,使用实时数据计算站点、城区的小时,日均值数据及评价后,将结果分别存储到对应的数据列中。通过设计包含地区编码、站点编码、时间信息维度的行健,将数据合理的分布在多个子区域及其包含的存储文件中,以便有效进行数据查询。实验结果表明该模式可以完全满足实时数据、小时均值数据及评价、日均值数据及评价的存储及业务逻辑的数据查询要求,从而证明了该存储模式的可行性。

基于数据关联融合KCF与Kalman滤波的车辆多目标跟踪

在复杂交通场景下的车辆多目标跟踪,由于车辆之间较高的相似性和交互性,跟踪算法为了保证精度一般都较为复杂,无法满足智能分析应用需求。为此,结合简单有效的数据关联算法和快速精准的单目标跟踪算法,提出在线数据关联的多目标跟踪新方法。方法利用目标检测算法获得的当前目标集,通过关联算法建立目标与已形成轨迹集的关联矩阵,并通过行列耦合原则选出最佳关联对作为关联结果,针对不同的关联结果尤其是漏检和严重遮挡的情况,引入KCF算法与Kalman滤波联合完成目标轨迹的持续更新。实验表明,本文算法可以很好地解决目标误检、漏检以及严重遮挡情况,并且对目标轨迹的实时准确获取,可以为交通视频智能分析提供可靠的轨迹数据。

多层螺旋CT核心技术的研究

与传统CT相比多层螺旋CT每一周扫描可采集多层图像信息 ,扫描速度更快 ,扫描层厚更薄 ,因此有足够的信息量进行三维重建等图像后处理工作 ,多层螺旋CT的出现掀开了CT发展史上崭新的一页。本文将就多层螺旋CT的球管、多排探测器。

HTAP数据库关键技术综述

混合事务与分析处理(hybrid transactional analytical processing,HTAP)技术是一种基于一站式架构同时处理事务请求与查询分析请求的技术.HTAP技术不仅消除了从关系型事务数据库到数据仓库的数据抽取、转换和加载过程,还支持实时地分析最新事务数据.然而,为了同时处理OLTP与OLAP,HTAP系统也需要在系统性能与数据分析新鲜度之间做出取舍,这主要是因为高并发、短时延的OLTP与带宽密集型、高时延的OLAP访问模式不同且互相干扰.目前,主流的HTAP数据库主要以行列共存的方式来支持混合事务与分析处理,但是由于该类数据库面向不同的业务场景,所以它们的存储架构与处理技术各有不同.首先,全面调研HTAP数据库,总结它们主要的应用场景与优缺点,并根据存储架构对它们进行分类、总结与对比.现有综述工作侧重于基于行/列单格式存储的HTAP数据库以及基于Spark的松耦合HTAP系统,而这里侧重于行列共存的实时HTAP数据库.特别地,凝炼了主流HTAP数据库关键技术,包括数据组织技术、数据同步技术、查询优化技术、资源调度技术这4个部分.同时总结分析了HTAP数据库构建技术与评测基准.最后,讨论了HTAP技术未来的研究方向与挑战.

一种高效挖掘高维数据的频繁闭合模式算法

为了克服传统高维数据挖掘频繁闭合模式算法迭代产生子表,引起算法执行时间长和存储开销大等问题,提出了一种高效挖掘高维数据的频繁闭合模式的算法EMHCP.EMHCP算法采用一种新型结构位图表来压缩存储数据,在仅扫描数据库一次后,建立位图转换表.根据位图转换表来构建混合树结构,采用深度优先的方式和有效的剪枝策略高效挖掘出所有的闭合模式.从而有效地缩小了搜索空间,加快了处理速度.通过在生物数据库应用的实验结果表明,EMH-CP算法比已有的CARPENTER和TD-close等算法更为有效.

500排宝石CT数字化在结肠肿瘤的临床应用

目的:研究500排宝石CT在结肠肿瘤的临床应用价值。方法:收集结肠肿瘤患者并予肠道准备、口服造影剂、注射解痉药物等扫描前准备,行腹部CT增强扫描,将图像数据传至工作站进行三期数据的配准,宽窗、宽位选择,三维重建及数字化处理。结果:CT数据数字化模型可高分辨力三维显示肿瘤、肿瘤血供、肠管形态及肿瘤与肠管间的解剖空间结构,同时其受病变侵犯的情况可清晰显示,可随意分割显示腹腔目标脏器的图形。肿瘤、肠管的解剖关系与术中所见相吻合。结论:CT数据的三维重建及进一步数字化处理,能充分显示腹腔目标脏器的空间立体结构及病灶,有助于术前规划及术前评估。本研究更大意义在于数据来源的优化,为数字医学技术研究提供良好的数据来源。

基于Hadoop的气象数据分布式存储技术研究

针对目前气象数据存储所面临的海量扩张、高并发读写、结构化和非结构化数据并存以及长时间序列和大数据集检索效率低下等问题,提出了以Hadoop开源框架为基础的气象数据分布式存储方案。通过对气象数据自身属性和特点进行分析,得出了气象数据在经过充分优化的基础上,在分布式存储框架中具有很强的适应性和规模化应用的潜力;并在HBase数据库中的Row Key设计和小文件合并策略方面做了创新。最后针对气象数据中广泛存在的结构化和非结构化这两种主要数据类型,以自动气象站数据和雷达产品数据为具体实例,给出了详细的设计思路和实现方法。

工作流参与者定义研究

当前的工作流管理系统中,工作流的活动参与者定义主要还是使用基于角色的机制,在活动实例运行时缺乏灵活的动态分配能力。对这种传统的活动参与者定义机制进行了扩展,通过引入用户属性列表和业务实例数据表等概念,提出了一种利用SQL脚本来完成参与者定义的新方法。应用结果表明,该方法能够极大地增强参与者定义的灵活性,具有很好的应用前景。

西安某数据中心空调系统设计

介绍了西安某数据中心空调系统设计,通过对数据机房的空调负荷、气流组织、冷冻水温度、冷却塔配置、新风系统、空调冷源、空调系统运行策略等进行分析,采用冷通道封闭、延长自然冷却时间、余热回收、5种空调运行模式等多种措施降低数据中心的全年空调运行能耗,经计算全年平均PUE小于1.3,达到预期设计目标。

一种三容错数据布局

随着存储介质的增多,单容错、双容错的数据布局方案已经无法满足现有分布式存储系统对可靠性要求。该文在双容错行对角奇偶校验(Row Diagonal Parity,RDP)码的基础上,提出一种新的扩展行对角奇偶校验(Extending Row Diagonal Parity,E-RDP)码,能够容许任何3存储节点出错,具有最大距离可分(Maximum Distance Separable,MDS)编码特性,冗余率与纠错能力达到3容错编码最优。并采用不同斜率几何直线图描述编译码过程,给出了一种快速译码算法,易于软硬件实现。与其它纠删码数据布局方案进行比较,理论分析结果表明,E-RDP码的空间利用率、编译码效率、小写性能以及平衡性的综合性能达到最优,具有实用价值。

星上TDI-CCD拼接相机的数据传输设计

为了适应拼接成像系统大数据量给系统图像整合带来的影响,同时解决行频异速引起的数据不同步问题,设计了一种基于FPGA的LVDS伪串行数据独立式DDR输出的实现方法。首先讨论了数传结构在不同工作模式下的特性,针对拼接成像系统宽视场、数据量大、频率高,以及侧摆成像模式下产生行频异速等特点,提出了一种新的LVDS数传结构;验证并对比了新结构与原结构在资源、速率和环境适应性的性能和差异。结果表明,该结构在程序设计上更容易实现,可靠性高,具有更好的温度漂移特性和时序稳定性。该数据传输结构设计将原有的CCD拼接成像系统的数据率提高一倍以上,并满足高可靠性要求,适合在大多数拼接成像系统中使用。

陆上赛艇专项力量训练系统的研制

设计并实现了陆上赛艇专项力量训练系统,展示了初步的实验结果。根据赛艇运动中单人双桨项目的运动特点设计了训练台架并预留扩展功能,选用磁粉制动器作为系统阻力源,用高精度的光电式角位移编码器来检测桨角信号;选用了单片机和智能化的外围接口芯片构成了系统硬件部分,保证了实时准确的数据采集发送和系统控制;软件系统实现对测试数据进行基本的信号处理和统计学分析,解决训练过程中的可视化问题,设计了友好的人机交互界面。经过初步实验,系统达到赛艇专项力量训练的基本要求。

采用分段行-列核2DPCA的高光谱图像降维

二维主成分方法计算时间少,降维效果好,被成功应用到高光谱图像降维中。基于二维主成分方法,为挖掘高光谱图像的非线性信息,实现了分段行-列核2DPCA方法的降维,并对比分析了行-列2DPCA方法、分段行-列2DPCA方法和行-列核2DPCA方法的降维效果。利用相关性将高光谱图像划分为5个子空间,通过转换数据结构来实现行和列的核2DPCA变换,最后将行和列结果进行融合得到降维结果。降维结果表明,在较高信息保持率情况下,分段行-列核2DPCA方法具有最高的图像清晰度和边缘强度。不同地物像元像素折线图表明,分段行-列核2DPCA方法能更好地区分不同地物,可以很好地应用于地物分类和目标识别。

一种基于SSD的高性能Hadoop系统的设计与应用

在大数据平台中,随第一代Hadoop出现的基于磁盘的批处理计算框架Map Reduce的局限日益显现:数据读入和中间结果数据均依赖于大量磁盘I/O,性能有限。基于内存计算的Spark成为当前重点,对比Map Reduce性能可提升10-100倍,但内存使用的成本依旧高昂。采用超高速且相对廉价的SSD作为大数据的缓存解决方案,阐述了SSD和HDD的混合存储架构;同时,结合高效的Spark计算引擎和行列混合式文件结构等优化技术,设计了一种基于SSD的高性能Hadoop系统,能有效地解决大数据计算系统的性能问题和存储空间问题,实验结果显示取得数倍性能提升。

天玑大数据引擎及其应用

大数据计算面对的是传统IT技术无法处理的数据量超大规模、服务请求高吞吐量和数据类型异质多样的挑战。得益于国内外各大互联网公司的实际应用和开源代码贡献,Apache Hadoop软件已成为PB量级大数据处理的成熟技术和事实标准,并且围绕不同类型大数据处理需求的软件生态环境已经建立起来。文章介绍了大数据计算系统中存储、索引和压缩解压缩的硬件加速三项研究工作,即RCFile、CCIndex和SwiftFS,有效解决了大数据计算系统的存储空间问题和查询性能等问题。这些研究成果已形成关键技术并集成在天玑大数据引擎软件栈中,直接支持了淘宝和腾讯公司的多个生产性应用。

SQL Server数据复制方法研究

分布式数据库系统使用数据复制技术保持数据一致性。论文研究了SQL Server 2000数据复制的发布-分发-订阅模型、三种复制类型及其工作原理，配置复制的准备工作和配置步骤，并对配置过程中出现的标识列处理给出了详细的解决方法。