大数据存储系统I/O性能优化技术研究进展

大数据存储系统的I/O性能是影响大数据应用整体性能的关键因素之一,总结了当前在存储系统架构、元数据I/O性能、数据I/O性能方面开展的大数据存储系统I/O性能优化工作,并指出了未来大数据存储系统I/O性能优化的一些研究方向。

基于磁盘I/O性能的Hadoop任务选择策略

最大化利用本地磁盘的I/O资源是提升计算集群性能的关键,但Hadoop系统中多数调度算法未考虑此项因素。为此,引入磁盘负载作为Map任务选择的权衡参数,任务调度时参照磁盘负载程度选择合适的任务,以保证数据节点上各磁盘的负载相对均衡,并据此设计新的任务选择模块集成到Hadoop的调度器中。同时为进一步提升Hadoop系统的性能,实现Map作业的近似完全本地化执行。实验结果表明,该任务选择策略能够充分利用数据节点本地磁盘的I/O资源,可使节点的I/O Wait平均降低5%,CPU利用率平均上升15%,作业的执行时间缩短20%。

Xen虚拟机间的磁盘I/O性能隔离

针对当前的虚拟化技术无法使各个虚拟机平等地或按特定比例地共享磁盘带宽、无法保证虚拟机间的I/O性能隔离的问题,基于Xen半虚拟化技术中的块IO请求处理过程,提出一种适用于Xen虚拟机间的磁盘I/O性能隔离算法-XIOS(XenI/O Scheduler)算法,在通用块层调度各虚拟机的块IO操作(bio结构),在I/O调度层保障延迟需求.实验结果表明该算法有效地在虚拟机间按比例地分配磁盘带宽.

附网存储体系中的I/O性能分析

附网存储是目前网络存储设备发展的新趋势 .文章以附网存储体系结构的研究为背景 ,针对系统中设备的 I/O性能进行了分析 .根据建立排队论理论模型 ,定量地分析出了有关影响性能的主要参数 ,并导出了相关性能公式 .通过对分析结果的计算检验 。

基于动态混合分片机制的云存储系统I/O性能优化算法

为了解决云存储系统中存储I/O性能优化的问题,从数据分布的角度进行研究,建立了存储分片性能模型,并以此为基础给出了以I/O性能最优为目标的分片决策算法以及最优分片数的计算方法,提出了基于动态混合分片机制的数据分布算法(DADH).DHAH能充分考虑各存储节点和客户机的实际性能,动态地进行文件分片决策和最优分片数的计算,并且能根据存储节点的实际性能优化数据分布.实验结果表明:DADH较传统数据分布算法具有最优的I/O性能,并且算法性能提升效果在各种带宽下平均达到18%～44%.

并行PC系统结构及其I/O性能评价

传统的微 /小型计算机采用共享总线结构 ,其带宽、扩展性、可用性、可靠性等受到限制 ,因此 ,总线形成了系统内部通信瓶颈。并行PC结构是一种新型的、以交换网络为中心的、高效的系统结构 ,它解决了传统PC机存在的不足和缺陷。本文对并行PC系统结构作了介绍 ,然后采用M/M/1排队模型 ,针对传统PC和并行PC的I/O性能进行了评价与比较 ,最后给出结论及建议。

影响VoD服务器I/O性能的关键因素

在讨论了基于网络视频点播系统模型和通用服务器体系结构的基础上,主要分析了影响视频点播服务器性能能力的几个关键因I/O素,对存储设备的吞吐量、总线速率、通道的速率和网卡的传输速度等对服务器性能的影响进行了较全面、深入的分析。最后提PCISCSII/O出一种利用服务器集群的方式提高系统能力的方法。

多处理机I／O性能的研究

计算机系统的Ｉ／Ｏ子系统可以分为隐式Ｉ／Ｏ和显式Ｉ／Ｏ两类。隐式Ｉ／Ｏ也称为页面调度，是指在虚拟存储器中页面内的Ｉ／Ｏ服务；显式Ｉ／Ｏ是指程序通过读／写命令所产生的明显的磁盘存取。本文对大型科学计算应用系统在多处理机环境下并行运行时影响Ｉ／Ｏ性能的因素进行了详细讨论。通过对大量测试数据的研究发现，在设计应用系统时，隐式Ｉ／Ｏ的问题并不是主要的，而随着计算速度的提高和处理能力的增强，解决显式Ｉ／Ｏ的问题则显得日益重要。

Linux页面缓存机制分析及其对磁盘I/O性能影响

随着二级存储设备与主存在传输速度上的差距不断扩大,磁盘I/O逐渐成为影响计算机系统性能的主要因素,甚至是限制系统平均性能的瓶颈。作为操作系统中磁盘缓存的最主要形式,页面缓存(Page-cache)机制与文件读写执行流程有非常紧密的联系,直接影响着磁盘I/O性能。页面缓存管理是操作系统虚存管理子系统的重要组成部分。

集群系统CPU、内存、I/O性能测试研究

为了研究一个具体集群系统的CPU、内存和I/O性能,文章利用2个Benchmark工具(HINT,IOzone)测试一个拥有4个计算节点的集群系统的CPU、内存和I/O性能。文章通过对比不同的系统软硬件配置和测试参数条件下的测试结果,对集群系统的CPU、内存和I/O性能做出了客观的评估,并对集群的优化提出合理的建议。

UBIFS损耗均衡对系统I/O性能的影响

分析flash文件系统的损耗均衡问题,指出损耗均衡的触发条件对系统I/O性能的影响。在最新UBIFS文件系统上运行测试程序,结果证明在不同损耗均衡触发条件下,系统I/O性能的最大差距超过20%。针对现有损耗均衡算法的不足提出一种改进的自适应算法。

RAID10: 高I/O性能和高可靠性的完美结合

本文详细介绍了ＲＡＩＤ１０的结构特点和性能特征，并对ＲＡＩＤ１０的实现方法作了较为详尽的论述。

基于FFT并行算法的并行I/O性能的研究

该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要性。研究计算机的I/O性能对于如何进一步改进系统以及提高资源利用率具有重要意义。

嵌入式NHD系统I/O性能分析及优化

嵌入式NHD(Network Hard Disk)系统是一种动态连接计算资源和存储资源的装置,它以硬件的方式对ATA存储控制器的访问接口进行功能模拟,即将对标准磁盘访问的ATA协议转化为对网络存储设备访问的NBD协议,从而为计算子系统提供虚拟的存储空间.文章对NHD系统的I/O性能进行分析,并针对性采用了DMA流水、零拷贝和TCP校验和卸载等优化技术.实验数据表明,在不改变硬件配置条件下,优化后NHD系统的I/O性能由原来的1.05MB/s提升为3.45MB/s,基本达到实用化需求.

基于虚拟化平台的Hadoop应用I/O性能分析

MapReduce编程模型在大规模并行化应用的设计和开发领域正在发挥越来越重要的作用.同时,Hadoop又是现在被广泛使用的云平台中数据密集型应用开发的开源MapReduce实现方式.众所周知,在云计算中最小的计算单元就是虚拟机,虚拟机有充分利用系统资源,使系统便于管理,提高系统可靠性和节省开销等多种优点.该文将通过一系列实验对不同虚拟化平台上Hadoop应用的I/O性能进行评测分析,这些实验的结果可以作为将来选择虚拟机类型的标准,以便Hadoop应用能够在虚拟化平台中获得最好的I/O性能.

锰钛系低温选择性催化还原催化剂的抗SO_2和抗H_2O性能研究进展

低温选择性催化还原(SCR)脱硝技术具有运行成本低、能耗低和布置方便的优点,催化剂的反应温度低,适合中小型工业锅炉的脱硝技术需求,因此受到越来越多的关注。锰钛系催化剂以其较高的低温脱硝效率成为当前低温SCR催化剂研究领域的热点,然而催化剂易受到SO_2和H_2O的影响,限制了它的工业应用。本文介绍了在含SO_2和H_2O的条件下锰钛系低温SCR催化剂的中毒症状,总结了催化剂的SO_2和H_2O中毒机制,重点阐述了在抗硫方面掺杂过渡金属元素以及载体改性的研究进展,详细介绍了掺杂Ce、Co、Fe和Ho等元素以及催化剂酸改性和复合载体对催化剂抗硫性的影响,同时简要总结了近年来其他方法提高锰钛系低温SCR催化剂抗硫抗水性能的状况,最后归纳了目前此类催化剂抗硫抗水措施的局限并指出今后的重点是进一步提高其抗中毒能力。

海量存储系统I/O性能瓶颈分析

通过追踪I/O数据在信道中的传输过程,分析了当前海量存储系统可能存在的瓶颈。指出了在硬件性能一定的情况下,编码技术在磁盘阵列中的应用,以及对存储系统的容错性和存取速度的贡献。本文最后提出了一种存储综合测评系统,具体评估了P4080和IOP80331平台的读写带宽和系统性能。

一种自适应的基于预测的I/O性能优化方法

目前计算机的I/O性能已经成为严重制约计算机整体性能提升的瓶颈。在现有技术条件下,I/O性能的优化方法对于提升I/O性能显得尤为重要。本文提出了一种自适应的基于预测的I/O性能的优化方法,该方法采用了基于预测的数据预读策略,改进I/O读操作的响应速度;采用基于预测的缓存分配策略,改进了I/O写操作的响应速度,从而在整体上提高了计算机系统的I/O性能。从实验测试的结果可以看出,这种方法适用于多种不同的负载类型,能够大幅度提升计算机的I/O性能,是一种通用的、效果显著的I/O性能优化方法。

一种民航转报机硬盘I/O性能监控的设计与实现

文章提出一种能够检测民航转报机系统硬盘I/O性能的监控系统,该系统可以部署于民航转报机IP终端,并定时进行数据更新,诊断后台Linux服务器硬盘运行状况,为转报机日常维护提供技术支持。系统通过visual2010进行C#设计。

NI LabVIEW FPGA硬件新增仪器级I/O针对PXI测试系统,新型NI FlexRIO产品系列有效提高了基于FPGA的I／O性能

2008年12月——美国国家仪器有限公司（National Instruments，简称NI）近日针对PXI平台，推出了一个全新的、开放式的、基于FPGA的产品系列。NI FlexRIO系列产品是工业领域首款成熟商用现成产品，它为工程师们提供了同时结合高速、工业级I／O和NI LabVIEW FPGA技术的解决方案。通过NI FlexRIO，工程师可以在基于PXI的FPGA硬件上添加自定义信号处理算法。同时，利用可互换的适配器模块，他们可以直接将FPGA连接到仪器级I／O，或者创建自定义的前端硬件以满足客户实际应用需求。利用FlexRIO的这些性能，工程师们可以在设计和测试许多复杂的电子设备时，根据需要使用在线处理、硬件在环仿真和协议识别测试等。