基于可信云计算的非集中式元数据存储结构优化

在非集中式元数据的存储调用过程中,在硬件结构复杂、负载量大的情况下,参数设置优化步骤复杂,导致带宽达不到存储应用的期望,为此设计了一种基于可信云计算的非集中式元数据存储结构优化方法。设计非集中式元数据存储结构总体框架,计算最优元数据存储结构,通过能量检测对存储分区进行筛选,建立基于可信云计算的存储度量模型,设计可信度量存储报告机制,引入行列混合存储,设计内部结构分布图,实现结构优化。测试结果显示:在不同优化方法下,设计的优化方法所得到的存储结构下并行读写的写入带宽不会受到服务器数量变化的影响,高负载读写下的聚集带宽也较优。

面向存算ADC阵列的比较器失调校准电路

提出了一种面向存算模数转换器(ADC)阵列的动态比较器全局失调校准电路,采用数字辅助的模拟微调技术,并结合阵列式应用特点全局共用校准电压.校准过程分为粗校准和细校准周期,提高了校准速度和精度.粗校准利用6-bit计数器和数模转换器(DAC)产生阶梯式校准电压,根据初始失调电压极性将校准电压连接至对应的电流补偿电路,通过较大的校准步长快速减小失调电压值,并改变其极性.细校准采用一种基于晶体管栅压调控的延时可调电路,通过10-bit计数器和DAC产生细校准电压,实现失调电压值的精细调整.基于简单门电路和触发器设计比较器校准逻辑电路,在全局校准信号的控制下,实现本地校准开关和校准周期的转换.通过校准电压发生电路的全局共用,比较器只需要增加校准逻辑电路、电流补偿电路和延时可调电路,从而减小了由校准电路导致的面积开销.基于55nm互补金属氧化物半导体(CMOS)工艺的仿真结果表明,在输入时钟50MHz条件下,失调校准范围±20mV,校准后失调电压0.96mV(3.3σ),阵列校准后失调电压呈现出较为均匀的分布,包含校准电路的比较器版图面积为696.28µm^(2).

基于列存储的MapReduce分布式Hash连接算法

大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化的特点。传统关系型数据库在对大数据进行操作时存在系统性能严重下降、计算效率提升有限以及可扩展性差等问题,因此引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce分布式Hash连接算法。首先,设计面向大数据的分布式计算模型,在设计的分片聚集并行连接的基础上,利用Hash连接以及动态探测方法优化了数据并行连接处理效率;然后,针对该算法开发了基于Hadoop的原型系统。通过实验证明,在大数据分析处理中,所提算法在执行时间和负载能力上都有很好的性能表现,也能提供良好的可扩展性。

并行挖掘频繁项目集新算法——MREclat

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat。首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节点上,且在分发数据时引入了均衡策略;接着,在各个计算节点上求出以某一前缀开头的所有频繁项目集;最后,合并各个节点的结果得到所有频繁项目集。介绍了MREclat的设计思想,研究了算法的运行性能。实验结果表明,MREclat算法效率大约是PEclat算法的2倍,加速比性能比PEclat算法提高了64%。

列存储数据查询中的连接策略优化方法

列存储数据查询优化的重点是列的连接策略.现有的列存储系统通过存储的改变来简化列的连接,致使列的连接缺少查询优化处理,策略单一且无法满足复杂查询.在剖析现有连接选择策略的基础上,提出一种新的连接策略优化方法,即首先利用基于规则的优化方法为列存储数据查询制定优化规则,过滤不可能产生最优计划的候选计划;然后设计了基于代价的优化算法,根据动态Huffman树和左深连接树原理对查询执行顺序进行改进,进一步减少候选计划的规模;根据列存储数据的特点将候选计划中每个连接节点的执行策略归纳为串行连接和并行连接两类,并在此基础上提出代价估计模型,进而可针对这两种连接策略进行代价估计和策略选择.最后在SSB数据集上通过实验证明了方法在列存储数据查询中的有效性.

基于列存储的MapReduce并行连接算法

针对传统关系型数据库在对大数据进行操作时,系统性能严重下降、计算效率提升有限以及可扩展性差等问题,引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce并行连接算法。设计面向大数据的分布式计算模型,包括MapReduce分布式环境下的列存储文件格式MCF,采用协同定位策略实现对分布式存储的优化。使用分片聚集和子连接启发式优化方法,实现大数据在MapReduce分布式环境下并行连接算法。实验结果证明,在大数据分析处理中,该算法在执行时间和负载能力上有着较好的优化性能,同时具有良好的可扩展性。

一种基于OWL的语义网数据划分与并行加载方法

随着语义网数据规模的爆炸式增长,海量数据存储和检索面临越来越严峻的挑战,分布式数据库与并行计算已成为其主要解决方案。基于列存储分布式数据库HBase设计了一种多表语义网数据存储模型,实现从OWL本体定义到存储模型的映射。基于OWL本体定义信息对语义网数据实现按类划分,并将三元组存储于主体所属于的类的两张表里,采用MapReduce框架实现并行的数据划分和加载任务,最后在Hadoop集群环境下对方法进行了可行性验证。

四合一的人脸识别查询系统的设计与实现

论文介绍了TH人脸识别查询系统(四合一)的设计思想和实现技术。该系统以人像识别技术为核心,采用客户机/服务器模式,建立和维护了一个含有人像特征以及文档信息的综合数据库,从而能够在输入一张未知人脸图像时,迅速地查询出最接近于待查图像的若干已登记人员的身份信息。该系统应用到了人像识别、机群、数据库等多种技术。该系统在公安刑侦,海关,机场,车站等领域有着广泛的应用前景。

一个新的高速大容量数据采集及实时存储处理系统的构想和实现

本文论述了一个用于飞机进气道流场测试分析的高速大容量数据采集及实时存储处理系统研制中提出的技术难题，系统的构想和实现，功能和应用效果。

飞机进气道流场压力畸变数据采集与处理系统

论述了一个用于飞机进气道出口流场动态压力畸变测试分析的高速数据采集及实时存储处理系统的研制背景、国内外情况、主要技术难题及已完成系统的组成、功能和技术性能。

TH FACE2000人脸识别系统的设计与实现

文章着重介绍了THFACE2000人脸自动识别系统的设计思想和实现技术。该系统以人像识别技术为核心,用客户机/服务器模式,建立和维护了一个含有人像特征的综合数据库,从而能够在输入一张未知人像照片时,迅速地询出最接近于待查照片的若干已登记人员的身份信息。该系统应用到了人像识别,机群,数据库等多种技术。该系统在安刑侦,海关,机场,车站等领域有着广泛的应用前景。

按行及按列划分的并行矩阵向量乘法的分析

文中首先总结按行划分和按列划分的并行矩阵向量乘法在原理上的异同。然后实现基于MPI模型的按行划分以及按列划分的矩阵向量乘法的程序,并分析了程序在基本框架方面的异同。最后给出测试这两种程序的实验条件和任务,并对这两种程序在不同情况下的执行时间进行分析。

计算K(≥2)序线性递归N方程组的一种有效并行方法

本文提出计算K(≥2)序线性递归N方程组的一种有效并行方法,当k<<N,且K=iP时,其加速S_P=P,效率E_P=1,其中i为1≤i≤m的整数,m=|N/P|,P为所需的处理机数.

采用云计算技术构建大型数据仓库平台的探讨

分析了目前电信运营商在建设大型数据仓库时在基础设施方面所面临的技术难题,结合云计算的技术特点,给出一套云计算技术解决方案,并与传统方案做了对比,具体分析了云计算方案的优势因素。

PBPP:列存储系统中基于传递块缓冲区的流水线并行处理

片上多核处理器(CMP)凭借其低功耗和低成本等优势迅速成为处理器市场的主角,它为多线程的实现提供了硬件支持。列存储技术在分析型应用中具有显著的优势。在列存储系统中,查询优化依然是最重要的问题之一。在列存储系统中,利用多核资源提高查询处理性能具有较大潜力。文中通过对查询执行器生成的物理查询树进行流水多线程设计,结合列存储的特点,建立传递块缓冲区,使主线程和辅助线程分别对传递块缓冲区读写,以提高查询性能。同时还提出使用操作系统中经典的"生产者和消费者"模式来解决线程之间的同步问题。提出的这些方法应用在实验室研发的列存储系统DWMS中,使用数据仓库基准测试集SSB验证了这些方法的有效性。实验结果表明,传递块缓冲区的设计使SQL的查询效率有了近50%的提升。

基于大数据技术的农业物联网应用系统

目前,农业生产已经越来越趋于精细化和智能化,该文介绍了基于可横向扩展的列式数据库HBase以及并行计算框架Map Reduce等大数据技术的农业物联网的应用系统。农业物联网涉及对农业生产环境数据的实时采集、农作物的实时监控、农作物的生长状况判断以及改善农物的生长环境等方面。一个完整的物联网系统应该涉及农作物生长的各个方面,系统基于采集的数据拟合环境变化曲线（ECC）,然后,再结合作物的生长状况学习出农作物的最佳生长环境（CBGE）曲线,最后,再依据农作物的生长周期构造农作物生长模型（CGM）。在此基础上就可以实现农作物的精细化耕作,实现远程控制环境变化进而达到智能耕作的目的。

构建大数据云计算平台分布式技术初探

云计算是一种以基于网络技术的数据和运算能力为中心的密集型计算模式,它融合了多项ICT技术。本文基于分布式下的存储、计算和数据库等关键技术实现及性能指标对云计算进行初步阐述。

Spark平台下类别数据互信息计算的并行化

针对大规模类别数据的互信息计算量非常大的问题,利用Spark内存计算平台,提出了类别数据的并行互信息计算方法,该算法首先采用列变换将数据集转换成多个数据子集;然后采用两个变长数组缓存中间结果,解决了类别数据特征对间互信息计算量大、重复性强的问题;最后在配备了24个计算节点的Spark集群中,使用人工合成和真实数据集验证了算法。实验结果表明,该算法在效率、可伸缩性和可扩展性等方面都达到了较高的性能。

基于点核积分的放射源定位方法

针对目前放射源估计定位方法中存在的低适用性问题,本文提出了一种基于点核积分的放射源定位方法。首先将连续的辐射区域离散化;然后采用列主元消去和非负线性最小二乘(NNLS)算法与点核积分相结合,对放射源源强进行反解;最后通过可信度函数来对放射源的所有可能位置进行判断,从而估计放射源的实际位置。为验证所提方法的有效性,通过MCNP5程序进行了虚拟仿真实验。实验结果表明,提出的方法能以较小的误差定位单放射源及多放射源所在的位置,方法有效可行。

并行环境下外挂物动态分离过程的数值模拟

并行工程的发展提出了计算流体力学的发展新概念,在此基础上研究开发了一个以非定常流计算为核心的多体分离数值仿真集成系统。该系统采用运动嵌套网格方法,能够处理飞行器在空间中的大尺度运动,结合六自由度运动学方程,具有实时仿真运动部件在气动力、弹射力和重力等耦合作用下运动的能力。基于外挂物投放数值模拟具有网格运动、非定常的特点,从网格重建、多重网格方法等方面探索了提高计算效率的途径和实现方法,结合并行化计算使分析周期大大缩短。以20个中央处理器(CPU)为例,并行计算和3层多重网格使计算速度提高约40倍,同时分布式存储、并发计算的特点缓解了对单节点的内存需求,解决了工程应用中受计算周期、网格规模等限制的难题。为了验证本文方法的正确性,对外挂物投放标模实验进行了数值仿真,计算得到的外挂物运动轨迹在0.5 s时间范围内与实验值基本吻合;对分离过程后半段出现的偏差,从气动力变化的时间历程上进行了说明,提出偏航力矩的误差和累积效应导致了预测出现偏离,对关键的分离初始阶段,该方法可以取得令人满意的效率和精度。