大规模集群硬盘故障预测可迁移性研究

硬盘驱动器(HDD)仍然是大型数据中心与超算中心主要和重要的存储部件,而存储集群规模地持续扩大对硬盘故障预测的研究不断提出挑战.当前,前人已使用统计学、机器学习和深度学习等不同类型的故障预测方法用于大规模存储集群的硬盘故障预测,并取得不俗的研究结果.但是,对于故障模型的迁移性与数据集差异的相关研究还较少.我们收集了多种类型的HDD数据集与基于不同策略的模型,对其进行交叉实验验证,在模型迁移性、数据集预处理和模型参数方面获得了相关实验结果,例如:数据集在回溯时间与平衡度上的设置显著影响一定程度的预测模型性能,而模型参数设置则并不敏感;模型在不同数据集之间的可迁移性强弱不定,而数据集特征类型和数量的选择更影响预测模型性能.

人体活动识别数据集的数据处理方法

对由可穿戴设备采集的针对人体活动识别的数据集进行处理,并用处理后的数据对一维卷积神经网络进行训练,测试并得到精准度结果.对数据集的处理使得原本数据集中一些噪音和无效数据被过滤排除掉,在训练神经网络时减少了运算量,提升了神经网络的效率.后经测试,在神经网络结构不变的情况下,处理后的数据集可以使神经网络性能得到提升.

使用ContextCapture软件搭建倾斜摄影实景三维数据处理集群

为提升城市级大范围、高分辨率、高精度的海量倾斜摄影航测数据的建模效率,在分析当前建模软件、设备配置、集群架构的基础上,搭建倾斜摄影实景三维数据快速处理集群。该集群以ContextCapture为倾斜摄影数据处理软件,选择最优的计算节点设备配置,合理规划集群架构,布设万兆光纤,搭建100个计算节点的倾斜摄影实景三维数据网格处理集群;同时,研发集群监控平台,实时监控集群运行状态。通过济南市倾斜摄影实景三维数据的生产验证了集群的有效性。

对气体传感器数据集的处理分析方法

对由Vergara等人收集的气体传感器数据集进行处理,选取手工设计特征法和主成分分析法两种不同的特征提取方法,再结合Z-score数据标准化方法构成两种特征工程方案进行实验.把两种方案处理后的数据输入人工神经网络模型中展开训练、测试.预测结果表明,主成分分析法结合Z-score标准化的特征工程方案模型准确率更优.在神经网络结构不变的情况下,选择不同的特征提取方法处理数据可以使模型预测率得到提升.

叠前地震反演道集数据的预处理

随着叠前反演技术的推广应用,提高叠前反演质量成为关键,针对叠前反演输入的CRP道集数据开展预处理研究,通过道集水平性和去噪处理,将叠前反演输入地震数据质量明显提升,为后期叠前地震反演提供了的可靠资料基础,起到间接提高反演精度的作用。

基于失真数据降噪的数据预处理方法及其在风电功率预测中的应用

提高风电数据精度对于建设泛在电力物联网具有重要意义。风电功率预测对历史风电数据集的要求较高,现研究多集中于通过建立不同预测模型或提出不同预测算法以提高风电功率预测准确性,对于风电功率历史数据集本身的噪声数据的处理关注并不多。为此,提出一种针对风电历史数据降噪的方法,该方法主要作用于数据集本身,通过清除历史风电数据中的失真数据,降低历史数据中无用数据的数量,在提高风电功率预测准确性的同时,尽可能缩短数据建模、预测的时间。

基于状态表调度的相控阵雷达高可用处理集群

相控阵雷达具有高速大容量的目标信息采集能力,要求计算机必须具备高性能的数据处理能力。论文从相控阵雷达数据处理系统的高可用性角度出发,考虑故障监测、系统重构的因素,提出了一种基于状态表调度的计算机集群负载平衡算法,实现了数据的高可用、高性能处理。

欠抽样和DEC相结合的不平衡数据分类算法

DEC算法是一种基于支持向量机的改进算法,但是研究表明,对于某些不平衡数据集,DEC分类器不能达到较高的少数类分类精度。针对这种情况,提出了一种基于欠抽样方法和DEC方法结合的新算法US-DEC来提高少数类分类精度。先用一个新的欠抽样方法来预处理数据集,再用DEC分类器训练处理过的数据集。通过在七个不平衡数据集上的仿真实验,比较了US-DEC算法和支持向量机,欠抽样方法以及DEC方法的分类性能。实验结果表明,在提高每类数据集的少数类分类精度上,US-DEC算法要优于其他算法。

数据挖掘在运动自行车量身定做中的应用

基于自组织数据挖掘的基本原理,根据运动自行车车架设计的背景知识,选取影响车架尺寸的骑行者的身体特征,并选择相关的数据作为学习样本,在Knowledgeminer中建模,得到车架尺寸和身体特征之间的定量关系,实现了运动自行车车架量身定做的功能.

基于申威1621数学库中的非精确结果异常处理

由于国产申威基础数学库其功能、接口需要与单机编译器glibc libm库保持一致,将基础数学库集成到glibc中进行功能测试时,检测出有部分函数的INE异常需要消除.针对这种情况,首先研究了glibc数学库的异常检测机制;然后针对基础数学库中数值函数的INE异常进行分析和优化,提出一种测试数据集分段处理的方法,最后消除了这种INE异常.测试表明,测试数据集分段处理的方法能够有效解决数值函数的INE异常,相对于之前的异常处理方法,使用本方法后平均性能加速比达到148%.

基于智能优化算法的自然语言语义相关度计算模型

常规的语义相关度计算模型多数采用深度学习原理构建设计而成,模型运行流程复杂,收敛速度较慢,语义斯皮尔曼相关系数较低,无法显著提升自然语言语义相关度计算结果的精度。针对此问题,引入智能优化算法,提出了一种全新的自然语言语义相关度计算模型,选择与自然语言文本特征适配度较高的文本编码器,全面提取文本中的重要语义信息,将计算模型无法识别的文字化信息处理为模型能够识别的文字化信息,并扩大数据集,融合不同类型的文本数据,使文本数据格式保持一致。实验分析可知,提出的模型具有良好的性能优势,自然语言词语对的斯皮尔曼相关系数值均较高,语义相关度计算结果的精度得到了显著提升。

基于MapReduce的层叠分组并行SVM算法研究

随着训练集规模的不断增大,支持向量机学习成为了密集型计算的过程。针对计算过程中存在占用内存大、寻优速度慢等问题,通过大量实验对分组训练和层叠训练两种并行SVM算法进行性能分析,给出层叠分组SVM并行算法,并利用MapReduce并行框架实现,解决了层叠训练模型效率低的问题。实验结果表明,采用这种学习策略,在保持精度损失较小的情况下,一定程度上减少了训练时间,提高了分类速度。

并行SVM算法在Flink平台的应用研究

在大数据时代背景下,数据规模成指数级增长,传统支持向量机(SVM)已无法适应大数据环境,所以需要将传统支持向量机算法改进使其可以应用于大数据计算框架.针对计算过程中存在占用内存大、寻优速度慢等问题,提出一种基于Flink平台的并行支持向量机算法.该方法首先基于层叠支持向量机(Cascade SVM)的合并策略以及训练结构,通过Flink分布式计算框架实现;其次,通过优化并行操作算子的性能引入分布式广播变量,优化算法,有效解决单机SVM算法训练效率低的问题.实验结果表明,结合Flink框架实现SVM算法并行化,能有效的减少了训练时间,提高模型的训练效率.

静态软件缺陷预测方法研究

静态软件缺陷预测是软件工程数据挖掘领域中的一个研究热点.通过分析软件代码或开发过程,设计出与软件缺陷相关的度量元;随后,通过挖掘软件历史仓库来创建缺陷预测数据集,旨在构建出缺陷预测模型,以预测出被测项目内的潜在缺陷程序模块,最终达到优化测试资源分配和提高软件产品质量的目的.对近些年来国内外学者在该研究领域取得的成果进行了系统的总结.首先,给出了研究框架并识别出了影响缺陷预测性能的3个重要影响因素:度量元的设定、缺陷预测模型的构建方法和缺陷预测数据集的相关问题;接着,依次总结了这3个影响因素的已有研究成果;随后,总结了一类特殊的软件缺陷预测问题(即,基于代码修改的缺陷预测)的已有研究工作;最后,对未来研究可能面临的挑战进行了展望.

基于SSD算法的戴口罩人脸识别方法研究

人脸识别技术(Face recognition technology)是提取到人脸部的某些特征生成某种模式对图像和视频进行判断,给出图像或视频中是否存在人脸以及人脸特征是否属于同一人的结论。随着新冠疫情在全球的蔓延,口罩成为人们进入公共场合的必需品。作为人工智能领域的主要应用之一,使用人脸识别技术开发一款对进入公共场所的人员进行口罩检测的工具变得很有必要。文章通过自主开发一种基于SSD思想的识别人脸是否佩戴口罩的检测系统并利用可编程嵌入式硬件进行仿真,对带口罩的人脸进行定位判断人脸是否佩戴口罩,通过判断人群密度辅助保持社交距离,并根据算法给出是否有人群聚集风险。该系统参数量相对较小,因此可运行在内存有限的嵌入式设备中。经验证集测试,系统对人脸是否佩戴口罩的识别准确率达到92%,可满足于实验室、公司办公室、工厂等一些私密或公众场所的使用。

无人机倾斜摄影在森林景区实景三维模型构建及分析

无人机倾斜摄影测量技术作为新技术在实景三维建模领域得到了广泛的应用。分析了倾斜摄影测量技术的基本原理、系统组成,给出了基于无人机倾斜设计技术的实景三维模型的技术流程与方案。选取河南焦作云台山红石峡森林景区为试验区,按照相关技术流程与方案制作了该地区的实景三维模型,模型真实表达了旅游景区的实际自然风貌、人文等特征,通过浏览模型便可以达到身临其境的感觉,该实景三维模型数据可作为旅游景区规划、景区各种自然现象仿真、开发智慧管理系统等的基础数据与依据,具有巨大的市场价值与应用前景。

城市轨道交通站点一体化接驳设施规模测算方法研究

城市轨道交通站点接驳设施规划建设对于提高城市轨道交通与其他交通方式的接驳效率、扩大站点吸引客流范围等起着非常重要的作用,而接驳设施规模测算则是轨道交通站点与地面交通一体化接驳设施空间布局和规模控制的重要依据。基于相关研究成果和具体工程项目实践,对客流数据鉴别与数据集处理方法、接驳客流分担率预测、规模测算公式及参数标定等方面优化改进,提出城市轨道交通站点一体化接驳设施理论规模测算方法,并提出接驳设施理论规模测算结果处理方法。

多输入卷积神经网络肺结节检测方法研究

针对传统计算机辅助诊断系统中肺部结节检出过程复杂,检出结果依赖于分类前期每个步骤的性能,以及存在假阳性率高的问题,提出了一种基于卷积神经网络的端到端的肺结节检测方法。该方法首先使用大量带标签的肺结节数据对构建的多输入卷积神经网络进行训练,实现从原始数据到语义标签的有监督学习。然后采用快速边缘检测方法和二维高斯概率密度函数构建候选区域模板,从待检测CT序列中获取候选区域并将其作为多输入卷积神经网络的输入数据。最后采用判定阈值实现疑似肺结节区域标注,同时在相邻的CT影像中进行重点检测。在LIDC-IDRI数据集上的大量实验结果表明,所提方法在肺部CT影像中对微、小结节的检出率较高;同时,重点检测模板能够小幅降低微、小结节检测的假阳率。

基于端到端句子级别的中文唇语识别研究

近年来,随着深度学习的广泛应用,唇语识别技术也取得了快速的发展.与传统的方法不同,在基于深度学习的唇语识别模型中,通常包含使用神经网络对图像进行特征提取和特征理解两个部分.根据中文唇语识别的特点,将识别过程划分为两个阶段——图片到拼音(P2P)以及拼音到汉字(P2CC)的识别.分别设计两个不同子网络针对不同的识别过程,当两个子网络训练好后,再把它们放在一起进行端到端的整体架构优化.由于目前没有可用的中文唇语数据集,因此采用半自动化的方法从CCTV官网上收集了6个月20.95GB的中文唇语数据集CCTVDS,共包含14975个样本.此外,额外采集了269558条拼音汉字样本数据对拼音到汉字识别模块进行预训练.在CCTVDS数据集上的实验结果表明,所提出的ChLipNet可分别达到45.7%的句子识别准确率和58.5%的拼音序列识别准确率.此外,ChLipNet不仅可以加速训练、减少过拟合,并且能够克服汉语识别中的歧义模糊性.