基于SSD的Key-Value系统优化设计与实现

随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Value系统对吞吐量要求较高,而基于Flash的固态硬盘(solid state drive,SSD)能够提供很高的随机读性能,在SSD上构建Key-Value系统已成为海量数据存储领域的一大研究热点.鉴于Flash具有非定点更新、寿命有限等特性,基于SSD的KeyValue系统必须针对Flash的特性作专门优化.以一种称为SkimpyStash的基于SSD的Key-Value系统为基础,提出了一种新的Key-Value系统低延迟存储系统(low latency store,LLStore).LLStore使用内存文件映射技术来减少针对SSD的IO请求,除此之外,针对SkimpyStash中低效的压缩策略,提出一种改进方法,可以在少量增加内存开销的情况下极大地减少查询时间.通过与原系统的性能比较实验,LLStore在平均查询时间上可以获得至少12%的加速.

CTCS-4级列控车载设备电子地图FLASH存取管理方案

为进一步提高列车运行速度、缩短追踪间隔、减少建设运营维护成本,提出下一代列控系统即CTCS-4级列控系统,其关键技术包括移动闭塞、基于卫星列车精确定位、基于卫星列车完整性检查、高速铁路车地双向传输等技术。CTCS-4级列控系统采用基于电子地图辅助卫星实现列车精确定位,其中电子地图文件在车载设备FLASH存储器中如何存取还没有统一的技术标准规范。分析电子地图不同数据文件特点与FLASH存储器的管理机制,根据FLASH容量、电子地图文件数目和不同文件数据大小,并考虑电子地图文件存取过程中的耗时情况,提出一种高效且不影响车载设备其他业务模块运行的电子地图文件存取管理方案。

快速处理大数据量三维激光扫描数据的技术研究

为解决由于利用三维激光扫描仪进行模型重建过程中数据量大而造成的在数据读取、数据处理及三维显示等方面速度低下、操作不流畅等问题,结合当前计算机软、硬件技术的现状,分析激光扫描数据本身的特点,提出基于内存映射文件技术、虚拟内存技术、多线程技术、数据库技术及用OpenGL快速显示三维模型的技术等解决手段,同时在WindowsXP操作系统上,利用Vc++6.0给予了具体的程序实现,以古建筑室内激光扫描数据作为试验数据,实践表明了文章提出的技术手段在现有的计算机条件下,较好地解决数据量大、数据处理和显示速度慢的问题。

内存映射文件及其在大数据量文件快速存取中的应用

分析了Win3 2系统下的虚拟内存系统模式及内存映射文件的工作机理 ,介绍了如何用WindowsAPI将文件映射至内存 ,并通过实验数据得出 ,采用内存映射文件在对大数据量文件进行存取 。

大数据量地球物理测井绘图关键技术研究

在开发地球物理测井解释软件过程中,绘图所涉及的数据量很大,在绘图过程中要进行大量的比例运算、坐标转换及坐标映射等,特别是绘制巨幅、需要连续滚屏显示的声电成像测井图像,数据量和运算量更大,因此,就会经常出现内存不足、图形刷新速度过慢、图形重叠和闪烁等现象.在开发测井解释系统GeoWell过程中,采用内存映射文件、内存DC绘图、局部重绘等技术实现了大数据量巨幅测井图形的快速度、高质量绘制以及图形的连续滚动显示,提高了绘图效率,为微机环境下开发大数据量复杂测井绘图软件提供了技术参考.

内存映射文件在大数据量海洋调查数据处理中的应用

在进行大数据量海洋调查数据处理的过程中,以通常的普通文件操作的方式读取这些数据往往需要应用程序持续不断地努力执行与硬盘间的大量数据交换任务,其不但占用大量计算机内存,而且完成的效率之低往往令人难以忍受。为满足大数据量海洋调查数据计算机处理工作的需要,利用内存映射文件的方法实现了对大数据量海洋调查数据进行高效率读取和分析的软件设计。文中阐述了该软件的设计思路和内存映射文件方法的具体实现过程。通过实际应用证明该软件稳定可靠,在运行效率上较普通应用程序方式有显著提高。

基于分布式共享存储系统的并行文件子系统DPFS

为了改进软件 DSM系统中对文件的存取性能以获得更好的应用程序性能 ,基于软件 DSM系统 JIAJIA的并行文件子系统 DPFS被开发出来 .DPFS系统采用文件映射接口作为应用编程接口 ,使得文件存取界面简单 ,并且能充分利用软件 DSM系统的大量特性 ,系统设计相对简单 .在曙光 2 0 0 0并行机上进行的应用测试表明 ,采用DPFS文件子系统后 。

工控系统中实时数据库关键技术研究与实现

文章介绍了在面向工业控制过程的实时监控系统建设中,实时数据库系统的设计。针对实时数据库系统的特点,分析了实时数据库的功能模块、存储结构、事务调度和并发控制等关键技术并给出了具体实现方法。在实现过程中采用了多媒体定时器、内存映射文件、多线程、同步对象等技术,保证了系统的稳定性和强实时性。

基于内存映像文件的网络信息安全性存取的探讨

分布式技术的广泛应用给网络信息的安全性带来了问题 ,网络信息的安全包括信息传递的安全以及存储和存取的安全 ,基于共享内存和内存映像文件进行信息共享和信息的动态存取 ,在一定程度上保证了数据的安全性和完整性。

基于C++的实时数据库的设计与实现

根据仿真系统支撑平台的实时性要求 ,利用动态链接库和内存映射文件建立系统运行的实时数据库 ,通过内存映射文件开辟共享内存区 ,编制一系列封装在动态链接库的接口函数来实现对共享内存区数据的操作 .该方法既能实现多个进程数据的共享 ,又保证了实时的响应速度 .

基于映射文件的电磁并行FDTD算法实现研究

为简化并行FDTD算法实现,提出一种新的基于映射文件技术的解决方法。对于并行FDTD算法的两个关键环节:场值数组定义和子域间通信在该方法中借助操作系统的映射与重定向功能来实现,由于屏蔽了子域间显式的通信操作,将大幅度降低并行FDTD算法实现的复杂度。数值模拟实例和相关的性能比较验证了新方法的可行性与便利性,所得加速比、并行效率等性能指标参数与通常的MPI消息传递方法基本相当。

地球物理测井数据格式及面向对象的数据读取

在进行地球物理测井数据处理或解释软件开发时,只有知道所处理的测井数据的格式,才能正确地进行读取、格式转换、数据处理以及绘图等工作。在对ECLIPS5700数控测井系统XTF文件格式分析的基础上,基于内存映射文件技术,采用面向对象的方法创建了XTF文件数据读取类,实现了大数据量XTF文件数据的快速读取,也可为其它格式测井数据的格式转换和数据处理提供技术参考。

基于Vega Prime的多场景仿真系统框架

介绍了基于MFC的Vega Prime视景仿真开发方法。分析了多场景仿真系统中不能正常进行场景切换的原因,提出了基于进程的场景切换方法。该方法将基于MFC的主控进程和基于MFC的Vega Prime仿真进程分离开来。主控进程通过创建/中止仿真进程的方式实现场景间切换;进程间采用内存映射文件和消息机制两种方式进行数据通讯,以传递Vega Prime环境初始化参数、仿真控制参数和场景属性数据,能够保证仿真系统的大数据量通讯要求和实时性要求。构建了基于VegaPrime的多场景仿真系统框架。

智能遥控器SD卡文件系统的设计与实现

为保存通过从遥控器学习或Internet网上下载的遥控器编码,设计了以SD卡为存储介质的智能遥控器。为提高单片机运行文件系统的速度,按FAT16文件系统精简格式,并建立存储器的物理地址映射,采用根据物理地址直接读取SD卡有效数据,实现了单片机高效地运行SD卡文件系统。为小型嵌入式系统扩展外存提供了一种解决方案。

大规模非结构网格上基于PC的流线可视化研究

针对大规模非结构网格 ,提出了两种基于 PC的流线可视化方法 :内存映像文件方法 (MMFM)和多线程out- of- core方法 (MTOM) .利用八叉树空间划分大规模非结构网格 ,并讨论了数据块的组织结构 .MMFM将大规模数据文件映像成虚拟 RAM,流线构造与 in- core方法类似 ,利用空间分块组织数据 ,减少缺页请求 .MTOM利用多线程技术实现 out- of- core流线构造 ,使得 CPU和 I/ O重叠 ,隐藏时延 ,在多 CPU上还可并行处理 .测试结果表明 ,MMFM,MTOM都可利用较少内存进行大规模非结构网格的流线可视化 。

SMB协议在异构网络并行FDTD计算中的应用研究

在多系统异构局域网中,由于不同操作环境的消息传递接口(MPI)程序缺乏互操作性,使得并行时域有限差分运算(FDTD)难以充分利用局域网内的计算资源。对此,提出利用应用层服务消息块(SMB)协议实现异构FDTD计算,并通过内存文件存取、内存映射数组以及引入冗余计算等方法来缓解与克服SMB通信延迟对并行性能的影响。数值模拟实例验证了新方法的可行性与正确性,所得加速比、并行效率等性能指标参数与常规同构MPI消息传递方法基本相当。

基于内存映像文件的冰箱测试管理系统

基于内存映像文件的冰箱测试管理系统在Windows 2000下,通过内存映像文件实现数据采集进程与测试管理进程间的通信,使数据采集和测试管理程序并行运行,保证了数据采集的实时性、稳定性及测试管理系统对用户操作的快速响应,消除了用户使用的迟钝感,对类似系统的开发具有重要的借鉴作用。

使用Win32优化内存和文件I/O管理

分析了传统I/O管理中存在的一些问题和Win32部件对象的特性,详细介绍了使用内存映射文件的全过程。为了使用的方便,设计了一个C++来包装使用内存映射文件的API函数,并用于实际的编程。具有一定的实用价值。

基于数据截获和欺骗式注入的通用记录重演方法

针对传统记录重演方法存在同报文格式相关、需要被控程序紧密配合及数据传输效率低等问题,提出了一种基于数据截获与欺骗方式实现的通用记录重演解决方案。首先,利用Winsock2服务提供者接口技术,实现了网络数据的自动截获;其次,采用内存映射文件技术解决了数据共享和高速存取问题;最后通过向用户程序发送伪消息激发其读数据动作,完成数据注入。实际应用表明,新方法避免了数据的网络传输,无需被重演程序配合且与系统报文无关,能够完成10倍速度的流畅重演,普适于分布式仿真与模拟训练系统。

海量并行处理系统的大数据读写接口优化研究

针对MPS系统中数据文件管理混乱、文件读写速率低的问题,采用道集流方式进行数据流程控制,并使用超时机制、数据库连接池和内存映射等技术对系统进行优化.测试结果表明,优化后的系统数据管理有序、文件读写速度显著提高.