一种融合注意力机制的CNN-BiGRU磁盘故障预测方法研究

磁盘作为重要的存储介质,一旦出现故障很可能会导致存储数据丢失,给个人及企业带来难以估量的损失。现有磁盘故障预测模型存在不能很好地平衡磁盘数据样本、未充分利用磁盘数据的时序特性等问题。以Backblaze云存储公司公布的真实磁盘数据为研究对象,提出了一种融合注意力机制的卷积神经网络(CNN)和双向门控循环单元(BiGRU)网络的磁盘故障预测模型。在数据预处理方面,采用负采样与焦点损失函数来平衡正负样本,利用CNN进行特征提取,并结合BiGRU网络来有效地处理时序数据。通过融合注意力机制,能够让模型快速地捕捉更多关键特征信息,将筛选出的特征与数据输入模型进行训练。通过对比其他故障预测模型,本文提出的模型在精确率等4个评价指标上均有1%~7%的性能提升,为提高磁盘存储的可靠性提供了有力的支撑。

基于CNN-LSTM神经网络的磁盘故障预测方法

运维人员准确预测将要发生的磁盘故障是保障数据安全的关键。然而,不平衡数据、不准确磁盘特性标记影响预测的准确性。提出一种基于预故障重置窗口(pre_Failure Reseting Window,pre_FRW)数据处理并组合卷积神经网络(CNN)和长短期记忆网络(LSTM),即pre_FRW-CNN-LSTM的磁盘故障预测方法。pre_FRW数据处理既可以解决样本不平衡,又能减少潜在的模糊样本。而CNN-LSTM模型结构能提取数据的空间特征,还能有效捕捉时间序列之间的依赖关系。在真实监控数据集上实验表明,pre_FRW-CNN-LSTM的磁盘故障预测方法对比业界其他方法提升2%~10%的故障预测率,并保持较低的错误告警率。

容许多个磁盘故障的RAID编码方法研究

随着磁盘阵列规模的增大,同时发生多个磁盘故障的概率将大大增加,单容错编码难以满足应用对高可靠性存储的需求.分析了主要的双容错RAID编码方法及其特点,对各种双容错编码方法的冗余性能进行了比较.给出了一种基于循环置换矩阵构建的能容许三个磁盘故障的MDS交换群阵列码,其编码和解码效率较高,是大规模RAID存储系统的应用方向.

不平衡数据集下基于自适应加权Bagging-GBDT算法的磁盘故障预测模型

针对磁盘数据集中正负样本数目严重不平衡导致基于机器学习的分类算法易出现故障预测准确率低的问题,本文提出一种基于自适应加权Bagging-GBDT算法的磁盘故障预测模型.首先,提出基于聚类的分层欠采样方法对健康磁盘样本进行多次抽样,解决随机欠采样方法易丢弃潜在有用样本的问题;其次,将每次采样后样本与全部故障磁盘样本组合得到多个样本子集,通过训练这些子集建立多个预测精度较高的GBDT子分类模型;最后,根据待测点邻域样本类别自适应确定各子模型权重,据此通过加权硬投票集成最终的磁盘故障预测模型.在8组KEEL不平衡数据集上实验结果表明,与现有典型不平衡学习算法相比,少数类的召回率平均提升了9.46%;同时在磁盘公开数据集和某调度系统磁盘数据上对比验证了该方法在故障预测率上的先进性.

分布式存储系统中磁盘故障检测机制

在大规模分布式存储系统中,经常会出现磁盘故障的情况,一方面需要尽快找出故障磁盘以降低数据丢失的风险,另一方面需要高准确率地找出故障磁盘以降低更换磁盘带来的时间成本和经济成本。文中针对以上需求,提出了一种基于磁盘空间随机取点的检测方法,通过将磁盘空间均分为N等份,然后在这些空间中随机读一个扇区,根据I/O状态以及I/O延迟时间来判断磁盘是否故障。实验表明,该方法能够在较短时间内以较高的准确率找出分布式存储系统中的故障磁盘,提高了分布式存储系统的可靠性。

基于XGBoost的磁盘故障预测及其特征分析

目前处于大数据的时代,磁盘作为常见存储数据的途径之一,一旦出现磁盘故障问题,可能会导致大规模的数据丢失,造成严重后果,对此,本文以大型云储存Backblaze公司真实的记录数据为研究对象,首先,对原始数据进行数据处理,对缺失数据进行填补,其次,使用阈值法、Lasso特征选择对数据降维,然后,将筛选后的数据使用XGBoost模型训练,并与典型的机器学习算法中的LightGBM、Random Forest、SVR、Extra Tree Regression、Adaboost、GBR等11种主流机器学习模型进行实验对比,结果表明本文在RMSE、MAE、三种性能指标上均优于对比模型,最后,利用SHAP模型增强对模型的可解释性,对比三种算法XGBoost、Random Forest和SHAP对磁盘故障的影响程度,为云存储企业减少损失并提高效率提供了参考。

基于LightGBM的在线磁盘故障预测模型

本文提出的基于LightGBM的在线磁盘故障预测模型,在保障误报率较低的情况下,实现较高的故障检出率,同时该模型可以根据新来的样本数据进行实时更新,适应SMART属性随时间的动态变化,摆脱模型老化问题。

Kafka中Broker节点磁盘问题的故障处理方法

Apache Kafka作为一种分布式的消息队列中间件,由于其具有高可靠性、高吞吐量、可持久化、可扩展性好等特点。在大数据项目中,如日志聚合、流数据处理等应用场景中被广泛使用。由于Kafka的消息需要持久化到磁盘中,磁盘故障会影响Kafka的使用,严重时会造成数据丢失。所以基于Kafka的存储特性,通过复盘和分析由于磁盘问题导致的Kafka集群故障,提出了一系列的磁盘故障处理方法,从而缩短Kafka集群故障的恢复时间。

基于态势感知的硬件故障预测研究

磁盘及内存故障已成为数据中心停机的主因,分布式存储系统本身的磁盘故障预测功能不成熟,且对不同品牌磁盘兼容性不足,在初始测试中预测成功率接近于0,操作系统硬件报错机制还不够完善。在随机森林预测算法基础上研究了全新的磁盘故障预测模块,针对不同的磁盘型号选择不同的预测模型,大大提高了对磁盘故障的预测成功率。在基于服务器功能及操作系统的特性研究了可行的内存态势感知工具,捕获并处理所有来自内核追踪架构的出错事件并记录,结合自研采集工具实时采集报告的硬件错误信息,产生监控指标最终生成告警,及时发现节点内存产生的读/写错误,有效减少了被动宕机及服务器重启问题。磁盘和内存故障预测生成的告警运用根因分析技术进行智能分析,及时有效的发现硬件故障,避免了被动宕机和重启问题的发生。经统计,磁盘预测模块精确率提升至70%,召回率提升至70%;内存故障预测精准率提升至90%以上。

GeoEast服务器软硬件故障的恢复及用户应用优化

2009年从美国引进的IBM集群系统的管理节点dqhm04由于盘控故障,致使系统上安装的GeoEast无法启动; VSP用户应用GeoEast打不开工区,创建作业流程时发现模块名字都是灰色;用户同时应用GeoEast软件和从法国CGG公司引进的GeoCluster软件需要切换用户账号。针对这三个问题采用更换管理节点;查找许可证文件;编写shell脚本程序进行解决。从而使管理节dqhm04服务器GeoEast软件均正常工作,用户不用反复切换账号,只需一个账号就能很方便地应用两套软件。

基于智能预警的自恢复存储系统研究

为提高磁盘阵列存储的可靠性,提出一种基于智能预警的自恢复存储系统。在对磁盘S.M.A.R.T信息实时监测采集的基础上,利用机器学习方法对磁盘故障进行预测,对于预警磁盘采取以数据为中心的自修复迁移保护策略。分析结果表明,该系统能提高存储可靠性,数据迁移过程对用户透明,可用性较强。

云存储系统中的预测式局部修复码

为了保证客户访问数据的高可用性,一些云存储系统开始采用一类新型编码,即局部修复编码(locally repairable codes, LRC).例如Windows Azure和Facebook的HDFS RAID.与Reed-Solomon码相比,LRC修复效率高,因为它将每个条带的数据块分成多个组,每个组内额外生成一个校验块,因而组内就可以对单个故障块进行修复.LRC假设每组大小相同,这意味着每个故障块的修复所产生的组内数据传输量是相同的.但是,对于那些更易出现故障的磁盘,它们所造成丢失的数据块理应被系统更有效地修复.借助基于决策树的磁盘故障预测方法来动态调整LRC中组的大小,从而构造一类预测式LRC(proactive LRC, pLRC),使得即将发生故障的磁盘存储的数据块所在的组的长度变小,以便这些数据块可以在更小的组内进行更快地修复,同时保持和传统LRC相同的存储开销和编码结构.不仅通过MTTDL建模分析pLRC的可靠性,还在Facebook的Hadoop HDFS平台中实现了pLRC并进行了性能测试.结果表明,比起LRC,pLRC的可靠性最多可提升113%,同时降级读和磁盘修复性能最多可提高46.8%和47.5%.

低编译复杂度的双容错阵列码

纠删码技术是独立磁盘冗余阵列-6(RAID-6)的双容错能力的底层实现技术,它的性能是左右RAID-6性能的重要因素。针对RAID-6中常用阵列纠删码的I/O不平衡和数据恢复速度慢的问题,提出一种基于异或(XOR)的混合阵列码——J码(J-code)。J-code采用新的校验生成规则,首先,利用原始数据构造的二维阵列计算出对角校验位并构造新的阵列;然后,利用新阵列中数据块之间的位置关系计算得到反对角校验位。此外,J-code将原始数据与部分校验位存储于同一磁盘,能减少编译码过程中的异或(XOR)操作次数和单盘恢复过程中读取数据块的个数,从而降低编译码复杂度和单盘故障修复的I/O成本,缓解磁盘热点集中现象。仿真实验结果表明,相较于RDP(Row-Diagonal Parity)、EaR(Endurance-aware RAID-6)等阵列码,J-code的编码时间减少了0.30%~28.70%,单磁盘故障和双磁盘故障的修复用时分别减少了2.23%~31.62%和0.39%~36.00%。