云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。

面向云文件系统的隔离性度量方法研究

随着云计算的快速发展,云文件系统在云计算基础设施中扮演着越来越重要的角色。尽管目前业界已有不少面向云文件系统的性能评测工具,但大多数评测工具仅关注于传统的系统性能指标,比如IOPS和吞吐量,难以评估云文件系统在多租户环境下的性能隔离性。由于云环境I/O负载的动态性和异构性,所以准确评估云文件系统的隔离性变得更加具有挑战性。提出了一种新型的云文件系统隔离性度量模型,并在一个基准测试工具Porcupine中进行了实现。Porcupine通过模拟真实负载特征的I/O请求,实现对负载与性能的准确仿真并提高文件系统的测试效率。通过对Ceph文件系统的实验,验证了所提出的隔离性度量模型的有效性及准确性。

Ceph云文件系统中纠删码的应用研究

Ceph云文件系统[1]通过完全副本冗余策略来提高数据的可靠性,但是会造成存储空间的浪费。为了提高存储空间的利用率,研究了纠删码和缓存分层（Cache层）技术~[2]。在Ceph平台下,通过实验对完全副本与纠删码冗余存储进行分析比较,得出在存储数据越来越大的情况下,基于Cache分层的纠删码存储性能优势比完全副本更明显;完全副本则更适合于对小文件进行存储。

基于纠删码的云文件系统数据放置方法

当前,在分布式云文件系统中,纠删码冗余技术以较高的容错性能和较大的空间利用率逐步取代副本冗余技术来保证数据的可靠性。多数基于纠删码的云文件系统中,数据放置方法采用随机放置策略并假设集群节点同构,然而在实际的云存储系统中节点的同构性并不理想,且节点的存储性能会随着系统的运行动态地发生变化,所以随机地选取节点进行数据放置并不能有效地保证系统的均衡性。为此,文中分析确定了影响节点负载性能的关键因素,并采用层次分析法建模求出不同存储数据类型的负载影响因子。同时基于节点负载性能,计算提出了一种全局随机、局部顺序的数据放置算法,该算法在选择节点的过程中综合考虑节点内的实时负载均衡和数据可靠性两个因素。实验结果显示,相比于随机放置方法,提出的该数据放置方法不仅能够实现存储系统节点内的实时负载均衡,还能加快数据写入和恢复的速度。

大场景点云文件多核并行批量压缩方法研究

为了减少大场景点云文件无损压缩时间,避免数据处理过程中人工操作造成的时间浪费和输入失误,本文引入LASzip点云无损压缩算法和OpenMP并行编程技术,提出了在单机多核CPU系统环境下基于LASzip的大场景点云文件多核并行批量压缩算法。实验结果显示,与串行算法相比,并行算法在压缩比不变的情况下压缩时间明显下降,取得了很好的加速比。当线程数为8时,压缩和解压缩加速比分别达到4.27和3.99,优化效果显著。

基于Hadoop平台的分布式文件云存储系统设计

数据量的激增促进了分布式文件系统的迅速发展,Hadoop作为一个开源框架,以其高效的数据存储与处理能力在分布式系统中占据重要地位。通过Hadoop Distributed File System(HDFS)实现大规模数据集的分布式存储,YARN为资源管理提供了弹性调度,使得Hadoop成为处理大数据问题的理想平台。本文探讨了基于Hadoop平台的分布式文件云存储系统设计,旨在提供一种高效可靠的分布式文件云存储解决方案,以支持大数据时代下的数据存储与处理需求。

一种HTML5云文件系统

本文提出了一种HTML5云文件系统,使得HTML5应用能够像访问传统文件系统一样访问云存储。HTML5云文件系统充分利用了浏览器的HTML5特性,实现了云存储数据的本地缓存和离线操作,提高了云存储的访问效率。针对移动互联网的特点和多用户、多终端访问的需求,实现了身份认证、访问控制、数据同步等功能,为移动智能终端应用开发提供支撑。

云计算环境下电子文件管理问题的思考

本文在分析云计算概念和优势的基础上,对传统电子文件管理中存在的问题进行思考,指出云计算在电子文件领域应用的前景。同时,我们也应看到当前现实条件下,云计算在电子文件运用中存在的管理、可靠性、数据兼容性等主要问题。

中央控制远程印刷文件云服务系统的研究

设计和构建了由中央控制服务器和企业文件服务器群构成的一种印刷文件云服务系统,实现了客户直接递交文件到企业印刷文件服务云,通过云端文件复制或转移,使企业实现了本地化管理远程数字文件资源,实现了自动化印刷工作流程控制。实验对云端服务器间相互确认、动态版面形成及自动文件转移等进行了测试。中央控制远程印刷文件云服务系统改变了远程印刷服务过程中的文件管理模式,为印刷企业实现云印刷服务和自动化数字印刷流程提供支持。

基于ownCloud搭建高校计算机机房教学文件云存储

随着信息化发展,计算机机房的课程安排越来越多,教学内容也越来越丰富,师生对计算机机房的实时异地存储的需求越来越迫切。介绍了基于ownCloud开源软件为计算机机房教学搭建文件云存储,实现师生在校内实时异地存储功能。文中详细描述文件云存储的网络基础环境和服务器环境,以及在LNMP环境下搭建ownCloud校内文件云存储的方法和文件云存储的应用效果。

一种新的云存储数据容错存储方式检验方法

云存储中,防止数据丢失的关键是实现文件容错。然而,云存储服务商可能没有提供承诺的容错水平,导致用户蒙受数据丢失和经济损失的双重风险。现有云存储数据容错存储方式检验方法存在服务器预读取欺骗攻击,并且效率低、实用性差,不能达到在一定概率范围内,快速、轻量级地检测出犯规的服务器行为的要求。针对上述问题,该文利用磁盘顺序存取和随机存取的差异性设计了一种远程数据容错存储方式检验方法随机与顺序访问时间差异化(DRST)方法,其原理是文件块被分散地放在不同磁盘上,读取一个磁盘上顺序存储的文件块比随机读取不同磁盘上的文件块所需的响应时间短。最后,对所提方法进行了严格的理论证明和深入的性能分析,结果表明,所提方法能够快速检验出服务器是否为用户提供了其承诺的容错水平,并且比现有方案更安全,更高效。

云计算平台API兼容问题分析和解决方案

对云计算应用中常用的No SQL数据库和云文件系统API兼容问题进行了分析,设计了JPA技术框架和云文件系统统一访问框架来解决云计算平台API兼容问题。以HBase+HDFS私有云计算平台、Simple DB+Amazon S3公共云计算平台为例,实现了医疗领域云计算系统应用,并在不同云平台之间实现了系统迁移。研究结果表明,该技术方案较好地解决了云计算平台API的兼容问题,提高了云计算应用系统开发效率和运行效率。

基于Hadoop的电网非结构化数据智能分析云平台

大数据环境下,电网非结构化数据蕴含的信息爆炸式增长对于其数据的挖掘具有重要的支撑作用。与此同时,传统的数据存储与计算成本较为高昂,并行程序编写困难。面对这种情景,我们设计并实现了一个在大数据环境下的电网非结构化数据智能分析云平台。该系统包括数据提取,数据清洗,大数据分析,数据标记,点云模型,数据挖掘等诸多智能分析模块,使用Hadoop大数据分析并储存和计算海量电网非结构化数据,建立云文件系统支持多用户跨平台操作分析。

大数据量内容文件管理系统的研究与应用

随着数据技术水平的不断提升,信息在企业运营和发展中起到的核心作用越来越显著,也越来越受到企业的重视。各种格式的内容承载了该企业和机构历年来积累的知识和过程资本。一般情况下,我们认为信息就是企业内容,其中包括产品技术指标、营销文档、客户信息、影像资料等。它代表了企业的经营行为的总结和沉淀,如果没有一套全面的系统对内容开展安全和高效管理,就无法实现信息投资的回报。

云存储四大产品机会

近阶段云存储市场风起云涌,国际国内都不乏好产品的诞生。由于市场定位的不同,衍生出来的云存储产品和服务也不同。企业应该根据自身特征、未来定位和资源匹配度,来合理选择自己适合的细分市场,进行创业和发展。建议从四个云存储产品定位分析市场:"文件云"、"应用云"、"手机云"、"开放云"等,及提出"开放云"的巨大潜力和商业机会!

电信运营商计费数据云采集平台浅析

当前,云计算的研究和应用受到越来越多的关注,云计算平台能够为用户提供从基础设施到平台再到软件的一系列服务,随着电信运营商业务的不断发展,基于云计算环境下的计费数据平台成为电信运营商的迫切需要。本文通过分析计费数据采集系统的发展趋势,在充分考虑采集周期、处理性能、存储性能三个技术要点的基础上,提出了"电信运营商计费数据云采集平台"解决方案,方案利用云计算平台并行计算和分散存储的优势,实现计费数据并行采集,并行预处理以及文件云存储,提高整个采集流程的计算处理能力,提升文件大批量读写性能,从而提高联机采集系统的实时性。

激光三维扫描建立颌面部软组织模型在正畸中的应用

目的利用激光三维扫描技术,建立一种快速简便的颌面部软组织三维数字化模型的重建方法,直观准确地观察监测颌面部软组织在正畸过程中的三维变化。方法 1例咬合关系正常健康女性,制作安氏II类颌面部软组织模型,距三维激光扫描仪80cm,扫描采集多幅点云文件,GeoMagic10.0软件重建形成面部的三维模型,测量颌面部软组织指标。佩戴牙模2次,重复上述激光三维扫描,重建后进行测量。结果重建形成具有较高清晰度的颌面部三维数字化模型,以及简易的安氏II类颌面部软组织轮廓的数字化模型;不同的三维数字化模型直接融合对比,唇部出现高信区域代表颌面部软组织明显变化;利用软件分析工具直接测量鼻唇角、审美平面至上下唇突点及颏唇沟的距离,治疗前模型:111.86o、-3.57mm、-2.54mm、3.95mm,治疗中模型:114.31o、-2.73mm、-1.06mm、3.46mm,治疗后模型:116.53o、-0.15mm、0.64mm、3.11mm。结论三维激光扫描是一种真实可靠、低成本、易操作的颌面部软组织建模方法,可为正畸临床中颌面部软组织分析及病历资料保存提供技术手段。

基于三角测量的三维激光扫描仪设计

基于三角测量原理,设计了一套三维激光扫描仪。分析了光信号在不同表面上的反射性质,设计出较为准确的亚像素光点中心定位算法。实验表明即使在红外光较强的环境下,也具备较好的抗干扰能力,具有较高性价比。

基于视频水印认证技术的3D影视动画制作云管理系统

本文采用支持向量机、Adaboost集成学习及压缩感知等方法，研究视频数字水印的身份认证及版权认证技术，实现了视频帧数据中秘密信息或版权信息的大容量自适应隐藏，应用于3D影视动画制作云管理系统，有效解决了用户身份真伪认证和数字产品版权认证等问题，并可对云平台中的认证异常及时反馈，降低了该系统中的产品外泄、盗版等风险，大大提升了系统的安全性。