DIR:Dynamic Request Interleaving for Improving the Read Performance of Aged Solid-State Drives

Triple-level cell(TLC)NAND flash is increasingly adopted to build solid-state drives(SSDs)for modern computer systems.While TLC NAND flash effectively improves storage density,it faces severe reliability issues;in partic-ular,the pages exhibit different raw bit error rates(RBERs).Integrating strong low-density parity-check(LDPC)code helps to improve reliability but suffers from prolonged and proportional read latency due to multiple read retries for worse pages.The straightforward idea is that dispersing page-size data across several pages in different types can achieve a low-er average RBER and reduce the read latency.However,directly implementing this simple idea into flash translation lay-er(FTL)induces the read amplification issue as one logic page residing in more than one physical page brings several read operations.In this paper,we propose the Dynamic Request Interleaving(DIR)technology for improving the performance of TLC NAND flash-based SSDs,in particular,the aged ones with large RBERs.DIR exploits the observation that the la-tency of an I/O request is determined,without considering the queuing time,by the access of the slowest device page,i.e.,the page that has the highest RBER.By grouping consecutive logical pages that have high locality and interleaving their encoded data in different types of device pages that have different RBERs,DIR effectively reduces the number of read re-tries for LDPC with limited read amplification.To meet the requirement of allocating hybrid page types for interleaved data,we also design a page-interleaving friendly page allocation scheme,which splits all the planes into multi-plane re-gions for storing the interleaved data and single-plane regions for storing the normal data.The pages in the multi-plane re-gion can be read/written in parallel by the proposed multi-plane command and avoid the read amplification issue.Based on the DIR scheme and the proposed page allocation scheme,we build DIR-enable FTL,which integrates the proposed schemes into the FTL with some modifications.Our experimental results show that adopting DIR in aged SSDs exploits nearly 33%locality from I/O requests and,on average,reduces 43%read latency over conventional aged SSDs.

SoftSSD:enabling rapid flash firmware prototyping for solid-state drives

Recently,solid-state drives(SSDs)have been used in a wide range of emerging data processing systems.Essentially,an SSD is a complex embedded system that involves both hardware and software design.For the latter,firmware modules such as the flash translation layer(FTL)orchestrate internal operations and flash management,and are crucial to the overall input/output performance of an SSD.Despite the rapid development of new SSD features in the market,the research of flash firmware has been mostly based on simulations due to the lack of a realistic and extensible SSD development platform.In this paper,we propose SoftSSD,a software-oriented SSD development platform for rapid flash firmware prototyping.The core of SoftSSD is a novel framework with an event-driven programming model.With the programming model,new FTL algorithms can be implemented and integrated into a full-featured flash firmware in a straightforward way.The resulting flash firmware can be deployed and evaluated on a hardware development board,which can be connected to a host system via peripheral component interconnect express and serve as a normal non-volatile memory express SSD.Different from existing hardware-oriented development platforms,SoftSSD implements the majority of SSD components(e.g.,host interface controller)in software,so that data flows and internal states that were once confined in the hardware can now be examined with a software debugger,providing the observability and extensibility that are critical to the rapid prototyping and research of flash firmware.We describe the programming model and hardware design of SoftSSD.We also perform experiments with real application workloads on a prototype board to demonstrate the performance and usefulness of SoftSSD,and release the open-source code of SoftSSD for public access.

一种用磁盘备份SSD的高性能可靠存储系统

固态盘(solid state drive,SSD)因为其优越的性能已被大量部署于当前的存储系统中.但是,由于寿命有限,SSD的可靠性受到广泛的质疑.磁盘阵列(redundant arrays of inexpensive disk,RAID)是一种传统的用来提高可靠性的手段,但并不适用于SSD.这项工作提出一种基于SSD和磁盘的混合存储系统,构建该系统的主要思想是SSD响应所有I/O请求,从而获得较高的性能;磁盘备份所有数据,从而保证系统的可靠性.但是,磁盘的I/O性能显著低于SSD,构建该系统的问题在于磁盘能否及时地备份SSD上的数据.为了解决这一问题,从两方面提出优化:在延迟方面,采用非易失主存弥补磁盘与SSD的延迟差距;在带宽方面,采用两种措施:1)在单块磁盘内部重组I/O请求,使磁盘尽可能的顺序读写;2)采用多块磁盘备份多块SSD,通过将一块SSD上的写请求分散到多块磁盘上,有效应对单块SSD上出现的突发写请求.通过原型系统实现表明,该混合系统是可行的:磁盘能够为SSD提供实时的数据备份;与其他系统相比,该混合系统取得较高的性价比.

虚拟化环境下面向多目标优化的自适应SSD缓存系统

以SSD(solid state drive)为代表的新型存储介质在虚拟化环境下得到了广泛的应用,通常作为虚拟机读写缓存,起到优化磁盘I/O性能的作用.已有研究往往关注SSD缓存的容量规划,依据缓存读写命中率评价SSD缓存分配效果,未能充分考虑SSD的服务能力上限,难以适用于典型的分布式应用场景,存在虚拟机抢占SSD缓存资源,导致虚拟机中应用性能违约的可能.实现了虚拟化环境下面向多目标优化的自适应SSD缓存系统,考虑了SSD的服务能力上限.基于自适应闭环实现对虚拟机和应用状态的动态感知.动态检测局部SSD缓存抢占状态,基于聚类方法生成虚拟机的优化放置方案,依据全局SSD缓存供给能力确定虚拟机迁移顺序和时机.实验结果表明,该方法在应对典型分布式应用场景时可以有效缓解SSD缓存资源的争用,同时满足应用对虚拟机放置的需求,提升应用的性能并兼顾应用的可靠性.在Hadoop应用场景下,平均降低了25%的任务执行时间,对I/O密集型应用平均提升39%的吞吐率.在Zoo Keeper应用场景下,以不到5%的性能损失为代价,应对了虚拟化主机的单点失效带来的虚拟机宕机问题.

基于SSD的多因素融合的驾驶疲劳检测研究

为了降低因疲劳驾驶而导致的事故发生率,提出一种利用卷积神经网络与人脸特征点、疲劳判定指标相融合的方法,共同构建疲劳驾驶检测模型。首先利用SSD网络定位驾驶员的眼睛与嘴巴区域,VGG16网络学习这两个区域所包含的疲劳特征;同时再结合人脸68特征点、眼睛纵横比(EAR)和嘴巴纵横比(MAR)共同判定驾驶疲劳状态。最后,在相同测试集下分别计算SSD算法和Faster-RCNN算法的平均精度均值mAP;在YawDD数据集上应用此模型;并通过模拟驾车环境来验证此模型的可行性。实验结果表明,SSD算法要优于Faster-RCNN算法,并且此模型在YawDD数据集上的检测准确率约达97.2%,摄像头也能对驾驶员的状态进行实时检测。此模型对疲劳状态的检测十分有效,可在一定程度上降低因疲劳驾驶而导致的事故发生率。

利用重复数据删除和增量编码有效利用基于闪存的SSD

为解决基于闪存的固态盘寿命有限及随容量被消耗可靠性也逐渐衰减的特性,基于两个重要的观察结果:a)存在大量的重复数据块;b)元数据块比数据块被更加频繁地访问或修改,但每次更新仅有微小变化,提出了flash saver,耦合EXT2/3文件系统,结合重复数据删除和增量编码来减少到SSD的写流量。Flash saver将重复数据删除用于文件系统数据块,将增量编码用于文件系统元数据块。实验结果表明,flash saver可减少高达63%的总写流量,从而使其具有更长的使用寿命、更大的有效flash空间和更高的可靠性。

Asurvey on design and application of open-channel solid-state drives

Compared with traditional solid-state drives(SSDs),open-channel SSDs(OCSSDs)expose their internal physical layout and provide a host-based flash translation layer(FTL)that allows host-side software to control the internal operations such as garbage collection(GC)and input/output(I/O)scheduling.In this paper,we comprehensively survey research works built on OCSSDs in recent years.We show how they leverage the features of OCSSDs to achieve high throughput,low latency,long lifetime,strong performance isolation,and high resource utilization.We categorize these efforts into five groups based on their optimization methods:adaptive interface customizing,rich FTL co-designing,internal parallelism exploiting,rational I/O scheduling,and efficient GC processing.We discuss the strengths and weaknesses of these efforts and find that almost all these efforts face a dilemma between performance effectiveness and management complexity.We hope that this survey can provide fundamental knowledge to researchers who want to enter this field and further inspire new ideas for the development of OCSSDs.

基于SSD数据库负载的SQL能耗感知模型

面对大数据带来的能耗及环境方面的严峻问题,构建节能的绿色数据库系统已成为关键需求和重要挑战。针对现有数据库系统主要以性能优化为目标,缺少对能耗的感知及优化的问题,提出基于数据库负载的能耗感知模型,并将模型应用于基于固态硬盘(SSD)的数据库系统中。首先,将数据库负载执行过程中对主要系统资源(CPU、固态硬盘)的消耗解析为时间开销和功耗开销,并基于SSD数据库负载的基本I/O类型构建时间开销模型和功耗开销模型,实现为数据库构建资源开销单位统一的能耗感知模型;然后,利用多元线性回归实现对模型的求解,并分别在独占环境和竞争环境下,验证模型对不同I/O类型的数据库负载能耗估算的准确性;最后,分析实验结果,并讨论了影响模型准确性的因素。经实验验证模型准确度较高,在DBMS独占系统资源情况下的平均误差为5. 15%,绝对误差不超过9. 8%;竞争环境下的准确率相对下降,但平均误差也低于12. 21%,可有效构建能耗感知的绿色数据库系统。

通过差值和压缩减少SSD的擦除次数

作为SSD(solid state drives)的存储元件,NAND闪存在进行写之前,存储单元必须先进行擦除,因此被称作写一次存储器。SSD的使用寿命受到存储单元的擦除次数的限制,因此减少擦除次数对于SSD的可靠性十分重要。提出了一种通过编码压缩后的差值信息的方法来对SSD中写过一次的页面进行二次写,从而减少SSD的擦除次数,延长使用寿命。首先计算物理页面中更新前后的数据的差值,然后将差值数据进行压缩,再将压缩后的数据进行编码后保存在写过的物理页中的可写位中,以此实现写过物理页的二次写。实验结果表明,对于数据更新为主的应用,该方法能够充分利用写过的物理页中的可写位,大幅减少SSD的擦除次数。

面向SSD寿命优化的访问序列折叠缓存替换算法

SSD(solid state drive)的写入寿命比较有限,因此除命中率外,SSD缓存设备的写入量成为评价缓存替换算法的另一个关键指标。如何使算法提高写入数据转化为缓存命中的效率,从而延长SSD的使用寿命,具有重要的研究意义。目前,已有缓存替换算法的设计一般基于时间局部性,即刚被访问的数据短期内被访问的概率较高,因此需要频繁的数据更新和较高写入量来保证较高命中率;或是通过不低的开销屏蔽相对最差的部分数据来减少一定的写入量,还缺少用低开销获得数据长期热度规律,有效提高缓存数据质量的算法。提出了访问序列折叠的缓存替换算法,用比较低的开销定位拥有长期稳定热度的数据写入缓存,明显提高了SSD缓存数据质量,在保证命中率的同时减少了SSD的写入量。实验表明,访问序列折叠算法相比LRU(least recently used)算法可在命中率损失低于10%的情况下减少90%的写入量,与SieveStore、L2ARC(level2 adjustable replacement cache)等写入优化缓存算法相比,命中率相当时可将写入量减少50%以上,有效达到了通过缓存高质量数据,减少SSD的写入量,延长其使用寿命的目的。

基于SSD-MobilenetV3模型的车辆检测

针对自动驾驶平台车辆检测问题,提出一种结合迁移学习的卷积神经网络(CNN)模型SSD-MobilenetV3。网络结合SSD检测速度较快与MobilenetV3占用内存小的优点,将SSD模型的基础网络替换成MobilenetV3。首先,结合迁移学习的方法,在COCO数据集上对网络进行预训练,再使用自建融合车辆数据集对预训练模型全连接层进行重新训练,可在短时间训练下得到收敛,并有较好的准确率。实验结果表明:相比原SSD模型,检测准确率达到85.6%,提高了3.1%;参数量减为16.9 Mbyte,减少了83.1%。模型在准确率小幅上升的同时,大幅度减少占用内存,更适用于自动驾驶平台。

基于SSD模型的船载危险驾驶行为检测系统设计

水上交通安全问题日益凸显,如何预防水上交通事故的发生是水上管理部门亟需解决的问题。针对船舶驾驶员危险驾驶行为容易造成水上交通事故,危害生命,造成巨大经济损失等问题,设计了一种基于SSD模型的船载危险驾驶行为检测系统。该系统采用有NVIDIA显卡的主机,通过获取船舶驾驶员的视频数据流,加载训练好的驾驶行为检测模型,有效地提高了检测的速度和精度,并且及时通过语音播报的形式提醒驾驶员小心驾驶规避水上交通事故。检测的数据信息通过MQTT数据包的形式发送到远程后台管理平台,管理人员可以登录平台查看所管理的船舶船员的驾驶情况,历史信息统一存放在数据库中,不会丢失。实际结果表明,该检测系统对危险驾驶行为平均识别率为95.76%,系统处理视频流平均帧率为15fps,实现SSD模型在船舶危险驾驶行为检测上的应用,后台管理平台减少了管理成本,提高了驾驶的安全性,具有十分广泛的应用驾驶。

基于改进SSD算法的安全驾驶行为识别方法研究

提出一种基于改进的SSD网络的安全驾驶行为识别方法。针对SSD目标检测算法VGG16网络结构的不足之处,用表征能力更强的Inception-ResNet网络进行替换;用残差学习算法减少网络学习维度,降低网络训练难度;引入多层特征金字塔结构,用改进三分支残差网络对小目标的语义进行多特征融合,从而在反向传播时可以获得后续多层的梯度信息,提高目标检测精度。给出了Tensorflow平台下具体的实现过程,测试结果表明,该方法能够实时有效地识别驾驶员疲劳状态,提高驾驶安全系数,减少交通事故。

岁末鏖战，谁是SSD之王？五款SSD全面横向评测

作为传统硬盘强有力的竞争者，SSD（Solid State Drive，即固态硬盘）自诞生之初就受到电脑玩家的高度关注。但早期的SSD属于概念性产品，技术还不够成熟。经过两年多的发展，今年国内外各大品牌纷纷推出了大容量SSD，而国内玩家也能通过各种渠道买到这些价值不菲的“发烧级”产品。那么，现在SSD究竟达到了什么样的性能水平，相比传统硬盘有多大的优势？以及国内晶牌的低价SSD和国外品牌的高价SSD有何差异？型计算机评测窒将在本次测试中为大家揭晓答案。

基于闪存固态盘的存储系统性能优化关键技术综述

闪存固态盘(SSD)具有高并行性、复杂的内部事务以及具有计算能力等特性。现有的存储系统是针对磁盘设计的,无法充分利用闪存固态盘的性能。本文介绍闪存固态盘给现有存储系统带来的问题与挑战,并从提高系统总带宽、减少固态盘内部事务对性能的影响、性能服务质量保证与利用固态盘的计算能力4方面阐述其性能优化关键技术,最后讨论了基于闪存固态盘的存储系统的发展方向。本文归纳指出,软硬件协同的设计方式是优化基于闪存固态盘的存储系统的发展趋势,软硬件协同设计有助于提供可预测的性能及可控的端到端延迟。

Pinpointing and scheduling access conflicts to improve internal resource utilization in solid-state drives

Modern solid-state drives (SSDs)are integrating more internal resources to achieve higher capacity.Parallelizing accesses across internal resources can potentially enhance the performance of SSDs.However,exploiting parallelism inside SSDs is challenging owing to real-time access conflicts.In this paper,we propose a highly parallelizable I/O scheduler (PIOS)to improve internal resource utilization in SSDs from the perspective of I/O scheduling.Specifically, we first pinpoint the conflicting flash requests with precision during the address translation in the Flash Translation Layer (FTL).Then,we introduce conflict eliminated requests (CERs)to reorganize the I/O requests in the device-level queue by dispatching conflicting flash requests to different CERs.Owing to the significant performance discrepancy between flash read and write operations,PIOS employs differentiated scheduling schemes for read and write CER queues to always allocate internal resources to the conflicting CERs that are more valuable.The small dominant size prioritized scheduling policy for the write queue significantly decreases the average write latency.The high parallelism density prioritized scheduling policy for the read queue better utilizes resources by exploiting internal parallelism aggressively.Our evaluation results show that the paralle/izable I/O scheduler (PIOS)can accomplish better SSD performance than existing I/O schedulers implemented in both SSD devices and operating systems.

可信固态硬盘:大数据安全的新基础

大数据平台,因其数据多、价值高和存储集中的特点,已经成为对攻击者非常有吸引力的目标.因此,大数据安全是一个非常重要的研究课题.然而,当前保障大数据平台(如Hadoop)数据安全的两种常见方法各有不足:(1)访问控制.存在被外部黑客攻破或内部管理员绕过的风险;(2)数据加密.虽然安全性较高,但加密解密海量数据会增加显著开销.为了同时满足大数据应用对数据存储的高安全和高性能要求,文中提出可信固态硬盘(TrustedSSD),它提供安全增强的存储设备接口和协议,使得用户可以对存储中的数据施以细粒度的访问控制,从而保障存储中数据的安全.文中深入分析了可信固态硬盘的安全性,并详细介绍了系统设计与实现中的挑战和应对.实验结果表明,无论是在合成的还是真实的工作负载上,可信固态硬盘的运行开销不到3%.因此,可信固态硬盘有望成为大数据安全的新基础.

基于磁盘和固态硬盘的混合存储系统研究综述

大数据和云计算环境下海量增长的数据对存储系统的超高容量和体系结构带来了极大的挑战。目前存储系统的发展趋向于大容量、低成本和高性能,然而任何单一的存储器件如传统的机械磁盘(HDD)、固态硬盘(SSD)、非易失型性随机存储器等由于其固有的物理特性的限制,并不能满足以上的需求。将不同的存储介质混合组合成高效的存储系统是一个好的解决方法,固态硬盘作为一种高可靠性、低能耗、高性能的存储器被越来越广泛地运用到混合存储系统。通过将固态硬盘与传统磁盘进行组合,利用固态硬盘的高性能和传统磁盘低成本大容量的特点,能够为用户提供大容量的存储空间,保证系统的高性能,同时还能降低成本。通过阐述SSD与HDD混合存储系统的研究现状,对不同的SSD与HDD混合存储系统进行分类总结;然后针对缓存架构和设备同层架构这两种目前最流行的存储架构中涉及到的关键技术和不足进行讨论;最后对基于SSD和HDD的混合存储技术进行概括总结,并对今后该领域的研究重点和方向进行展望。

一种适用于异构存储系统的缓存管理算法

当前数据中心广泛采用虚拟化、混合存储等技术以满足不断增长的存储容量和性能需求,这使得存储系统异构性变得越来越普遍.异构存储系统的一个典型问题是由于设备负载和服务能力不匹配,使得存储系统中广泛使用的条带等并行访问技术难以充分发挥作用,导致性能降低.针对这一问题,提出了一种基于负载特征识别和访问性能预测的缓存分配算法(access-pattern aware and performance prediction-based cache allocation algorithm,Caper),通过缓存分配来调节不同存储设备之间的I/O负载分布,使得存储设备上的负载和其本身服务能力相匹配,从而减轻甚至消除异构存储系统中的性能瓶颈.实验结果表明,Caper算法能够有效提高异构存储系统的性能,在混合负载访问下,比Chakraborty算法平均提高了约26.1%,比Forney算法平均提高了约28.1%,比Clock算法平均提高了约30.3%,比添加预取功能的Chakraborty算法和Forney算法分别平均提高了约7.7%和17.4%.

基于混合存储的无盘网络服务器数据优化分布方法

无盘网络服务器需处理大量I/O操作,导致其存储子系统成为系统性能提升的瓶颈。为解决该问题,提出基于固态硬盘(SSD)和硬盘驱动器(HDD)混合存储的数据分布方法,使工作站共享的操作系统和应用程序镜像数据分布于SSD,而将工作站运行过程中的镜像修改数据分布于HDD。根据无盘网络服务器I/O数据块访问特性,建立块分布模型,由此设计SSD和HDD间的数据块动态迁移方法,根据SSD和HDD中块的访问信息计算数据分布概率,并动态决定数据块的保存位置。实验结果表明,该方法可有效提高工作站启动速度及存储系统带宽,减少SSD写次数。