一种适合多用户并发访问的影像存储模型

针对传统的遥感影像金字塔一体化存储模型在多用户并发访问应用中的存在的问题,提出一种适合多用户并发访问的可分离式存储模型,通过数据的分布存储和访问处理任务的分解、转移,提高数据服务器的I/O性能和响应效率。实验结果证明了该模型的有效性,且模型系统具有较高的可扩展性和稳定性。

基于内存云的大块数据对象并行存取策略

由于内存云（RAMCloud）只支持最大1 MB的小块数据对象存储,因此当大于1 MB的对象需要存储在内存云集群中就会受到对象大小的限制,无法在集群中进行存储。为了解决内存云存储限制的问题,提出了基于内存云的大块数据对象并行存取策略。该存储策略首先将大块数据对象分割成若干个1 MB的小块数据对象,然后在客户端生成数据摘要,最后使用并行存储算法将客户端分割成的小块数据对象存储在内存云集群中。读取时首先读取数据摘要,然后根据数据摘要从内存云集群中并行读取小块数据对象,并将小块数据对象合并生成大块数据对象。实验结果表明：大块数据对象的并行存取策略在不破坏内存云集群体系结构的前提下存储时间为16~18μs,读取时间为6~7μs。在Infini Band网络架构下,所提并行算法的加速比呈现类似线性的增长,它使大块数据对象也能够像小块数据对象一样在微秒级别下快速、高效地进行存取。

并行挖掘频繁项目集新算法——MREclat

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat。首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节点上,且在分发数据时引入了均衡策略;接着,在各个计算节点上求出以某一前缀开头的所有频繁项目集;最后,合并各个节点的结果得到所有频繁项目集。介绍了MREclat的设计思想,研究了算法的运行性能。实验结果表明,MREclat算法效率大约是PEclat算法的2倍,加速比性能比PEclat算法提高了64%。

一种基于OWL的语义网数据划分与并行加载方法

随着语义网数据规模的爆炸式增长,海量数据存储和检索面临越来越严峻的挑战,分布式数据库与并行计算已成为其主要解决方案。基于列存储分布式数据库HBase设计了一种多表语义网数据存储模型,实现从OWL本体定义到存储模型的映射。基于OWL本体定义信息对语义网数据实现按类划分,并将三元组存储于主体所属于的类的两张表里,采用MapReduce框架实现并行的数据划分和加载任务,最后在Hadoop集群环境下对方法进行了可行性验证。

新一代广播型网络实验系统的构建与实现

基于播存结构和并行广播原理,在DVB-C数据广播平台上设计了一种能应用于多种内容广播的实验系统,从硬件和功能2个方面介绍了该实验系统的结构以及实现方法。

HPPHM:多维数据并行I/O存储新策略及其性能研究

针对大型多维数据集合中数据存储访问效率较低的缺陷而进行了相应的研究,通过采用并行I/O技术,将多维数据在分布式系统的多个磁盘之间进行分布存储,通过循环拆分法将已有的数据从适用于二维数据扩展到了多维数据中,并通过对循环法进行理论分析,对多维数据存储访问进行研究,提出了一种新的启发式多维数据循环策略,即基于访问步长值Hi与访问长度M互质的启发式策略(HPPHM),实验表明了新算法在并行度和顽健性等性能方面都具有优越性。

四合一的人脸识别查询系统的设计与实现

论文介绍了TH人脸识别查询系统(四合一)的设计思想和实现技术。该系统以人像识别技术为核心,采用客户机/服务器模式,建立和维护了一个含有人像特征以及文档信息的综合数据库,从而能够在输入一张未知人脸图像时,迅速地查询出最接近于待查图像的若干已登记人员的身份信息。该系统应用到了人像识别、机群、数据库等多种技术。该系统在公安刑侦,海关,机场,车站等领域有着广泛的应用前景。

生态系统复杂性怎样导致稳定性

生态系统物种多样性与生态系统的稳定性是不是正相关,多样性怎样导致稳定性。从生态系统抗拒外界环境因子振荡,保持能流物流稳定的功能角度来看,其多样性与稳定性的关系,可以用系统工程学关于技术设备系统复杂性与可靠性的关系原理加以说明。这时要进行结构分析,区分串连结构和并连结构。串连结构中,复杂性与可靠性呈负相关。并连结构中,复杂性导致冗余储备的增加,与可靠性呈正相关。生态系统物种的复杂性和多样性,大部分表现为构成并连结构,提高系统冗余度,因而能增强系统可靠工作的稳定性。从生态系统内部诸要素相互关系涨落的内激稳定性角度来看,则完善负反馈调节控制机制以及通过遗传反馈实现协同进化,能够把复杂性转变为稳定性。

基于列存储的MapReduce分布式Hash连接算法

大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化的特点。传统关系型数据库在对大数据进行操作时存在系统性能严重下降、计算效率提升有限以及可扩展性差等问题,因此引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce分布式Hash连接算法。首先,设计面向大数据的分布式计算模型,在设计的分片聚集并行连接的基础上,利用Hash连接以及动态探测方法优化了数据并行连接处理效率;然后,针对该算法开发了基于Hadoop的原型系统。通过实验证明,在大数据分析处理中,所提算法在执行时间和负载能力上都有很好的性能表现,也能提供良好的可扩展性。

TH FACE2000人脸识别系统的设计与实现

文章着重介绍了THFACE2000人脸自动识别系统的设计思想和实现技术。该系统以人像识别技术为核心,用客户机/服务器模式,建立和维护了一个含有人像特征的综合数据库,从而能够在输入一张未知人像照片时,迅速地询出最接近于待查照片的若干已登记人员的身份信息。该系统应用到了人像识别,机群,数据库等多种技术。该系统在安刑侦,海关,机场,车站等领域有着广泛的应用前景。

基于图像特征索引的并行检索技术研究

为了提高建立索引、检索图像的速度,提出云架构上基于图像特征索引的并行检索系统。该检索系统主要有3个模块:海量小图片分布式存储(Store)、并行建立图像特征索引(Indexing)、并行图像检索(Retrieve)。在Store模块中提出针对海量图片的合并存储,Indexing模块中提出索引缓存模式,避免重写索引的输出接口,Retrieve模块中对索引进行分片管理,以及并行检索。实验结果表明,相对于其他图像检索系统,基于图像特征索引的检索系统有效减少了图像特征索引建立时间,缩短了图像的检索时间,提高了图像检索速率。

边界跟踪并行处理的新方法

针对边界跟踪的复杂问题，首次提出了边界跟踪问题的数据并行、处理并行的系统并行处理模式。在图像预处理中，实时地实现了Ｒｏｂｅｒｔｓ算子和图像分割；在图像跟踪中，实时地实现了链码结构的边界跟踪；在硬件结构中，采用了功能流水线的方法，实现了图像采集、图像预处理、边界跟踪的综合集成，由此实现了边界的高速跟踪。论述了并行数据存取原理，介绍了边界跟踪系统的整体结构以及并行预处理、并行跟踪的方法，给出了边界跟踪的实例。

并行VOD系统中视频存储的可靠性研究

从并行VOD系统出发,通过分析比较当前流行的视频存储方案,提出了一种向前恢复算法。此算法考虑到了硬件失效,可保证系统在故障发生时能马上接近断点传输数据,提高了系统的可靠性。以并行VOD系统数据节点为背景,阐述了其实现过程。

计算机存贮系统提速问题探讨

讨论了存贮系统结构的改进,合理选择相关参数,适当改进调度算法,来达到提高存贮系器系统的速度。重点说明了高速缓冲存贮层次的组成及其工作原理、虚拟存贮层次的组成与结构及其工作原理,多体并行存贮器的编址及其交叉、重叠工作过程、缓冲栈的设置,同时也说明了提高命中率及加速比的方法。

大型多维数据集合中并行I/O数据存储新策略研究

对大型多维数据在分布式系统的多个磁盘之间进行并行I/O分布存储进行了研究,将已有的数据循环拆分法从适用于二维数据扩展到多维数据中,提出了一种新的启发式多维数据循环策略,即基于访问步长值Hi与访问长度M互质的启发式策略(HPPHM),实验结果表明了新算法在并行度和鲁棒性等性能方面都具有优越性.

一种基于交叉采样技术的高速数据采集方法

介绍了一种基于交叉采样原理的高速数据采集系统的实现方法.运用了存贮器芯片之间并行交叉写入及多通道交叉采样模拟信号技术,并应用硬件控制时序逻辑,达到了较高的采样速率.

基于列存储的MapReduce并行连接算法

针对传统关系型数据库在对大数据进行操作时,系统性能严重下降、计算效率提升有限以及可扩展性差等问题,引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce并行连接算法。设计面向大数据的分布式计算模型,包括MapReduce分布式环境下的列存储文件格式MCF,采用协同定位策略实现对分布式存储的优化。使用分片聚集和子连接启发式优化方法,实现大数据在MapReduce分布式环境下并行连接算法。实验结果证明,在大数据分析处理中,该算法在执行时间和负载能力上有着较好的优化性能,同时具有良好的可扩展性。

5MW储能虚拟同步发电机孤岛启动与同期控制技术

储能虚拟同步发电机既要实现并网和离网工况下的良好运行,又要实现同期并网的无缝切换。通过对传统逆变器多模块并联孤岛运行控制策略分析比较改进,提出一种基于虚拟同步机技术的孤岛并联启动控制策略。该孤岛并联启动控制策略引入同步发电机电气方程、下垂控制和虚拟阻抗分量,通过控制电压环输出电压调节量、系统反馈电压和虚拟阻抗分量计算出系统参考电流。同期控制通过对电网并网点两侧电网角度、幅值和频率的检测调节使并网时刻电压幅值、角度和频率满足误差范围要求,最终实现电压电流平滑过渡,孤岛到并网的无缝切换。最后,建立4机并联5 MW储能虚拟同步发电机并联仿真RTDS模型,利用RTDS仿真验证算法的有效性。

飞机安全性设计的外挂物投放数值方法

研究了飞机外挂物投放问题的数值模拟方法,并应用于安全性设计.通过采用运动嵌套网格方法,结合三维Euler方程对飞机外挂物投放过程进行了数值模拟,并针对该投放模拟方法提出了一套合理可行的并行计算方案.由不同弹射力作用方式对于外挂物投放安全性设计的影响,证实所提出方法对投放过程的数值模拟是有效的.

列存储数据查询中的连接策略优化方法

列存储数据查询优化的重点是列的连接策略.现有的列存储系统通过存储的改变来简化列的连接,致使列的连接缺少查询优化处理,策略单一且无法满足复杂查询.在剖析现有连接选择策略的基础上,提出一种新的连接策略优化方法,即首先利用基于规则的优化方法为列存储数据查询制定优化规则,过滤不可能产生最优计划的候选计划;然后设计了基于代价的优化算法,根据动态Huffman树和左深连接树原理对查询执行顺序进行改进,进一步减少候选计划的规模;根据列存储数据的特点将候选计划中每个连接节点的执行策略归纳为串行连接和并行连接两类,并在此基础上提出代价估计模型,进而可针对这两种连接策略进行代价估计和策略选择.最后在SSB数据集上通过实验证明了方法在列存储数据查询中的有效性.