基于FastDFS分布式文件存储系统的设计与实现

FastDFS是一款轻量级的开源分布式文件存储系统,专为存储中小型文件而设计,充分考虑文件系统所需性能、并发、扩展等需求,对FastDFS架构分析后,提出一组利用本地数据库存储远程文件的源服务器地址的方法,设计多节点部署,为实现文件系统容灾备份增加了系统的可靠性。本文对FastDFS做整体介绍,并进行系统多节点部署,在并发交易发生时,对文件上传并立即下载进行测试,实现了分布式文件系统的可靠性及可行性。

运用FastDFS和Drill构建海量BIM族数据存储和查询平台

BIM族数据属于半结构化数据,其数据结构相对松散且可变,难以使用传统关系数据库进行存储和查询。本文以FastDFS分布式文件系统和Drill实时查询引擎为基础,在BIM资源库下针对族数据的存储和查询构建了的分布式数据处理平台。经测试,较传统以关系数据库为核心的非分布式系统,存储性能和查询性能均有较大提升。

FastDFS针对数据采集应用的改进

在数据采集领域,一般是采用定点采集数据并传输至集中节点管理,这种方式会产生大量远程传输带宽,并且在多用户使用数据的过程会使得中心节点的负载过重。本文结合实际应用需求,通过对分布式文件系统FastDFS的原理进行分析,针对数据采集应用,改进FastDFS并设计了一种适合数据采集与使用的分布式存储系统。设计了组、小组、存储服务器的三级存储模式,增强了存储系统的拓展能力同时为数据采集上传带来方便,取得了较好的效果。

基于FastDFS的数字媒体系统设计与实现技术研究

海量的数据存储一般采用分布式文件系统HDFS,Hbase等作为存储工具,但对海量媒体资产数据这种中小文件的存储,存在性能瓶颈,并且随着后期小文件越来越多,会造成系统元数据占用过大。对于海量媒体资产管理而言,检索是关键,设计良好的查询体系很重要。结合国家重点研发课题海量数字媒体与应用的实际应用需求,通过分析分布式文件系统FastDFS的原理与缺陷,提出了一种基于容器技术、适合于存储海量中小型文件的分布式存储系统,同时设计了集群服务器之间的同步目录组方案,确保在宕机的情况下,用户的数据不会丢失,且Docker支持多租户,确保了不同租户数据的隔离性。最后对设计实现的原型系统进行了测试与分析,测试结果表明,基于FastDFS的数字媒体资产在线管理系统符合预期设计,性能和可靠性较好,可适用于超算环境下各种渲染任务的使用。

基于FastDFS的协同办公系统应用

本文通过对FastDFS文件分布式储存进行研究,并对系统架构分析,提出了基于FastDFS储存附件方式,将附件从数据库剥离,并改进系统服务器部署方式,实现系统数据瘦身与异地高效访问,保证系统稳定运行,实现系统容灾备份的可操作性及可行性。

分布式文件系统FastDFS文件寻址算法研究与应用

FastDFS是为互联网应用量身定做的分布式文件系统,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,适合用来存储大量的图片、视频、电子文档等文件。FastDFS文件地址由FastDFS服务端生成并返回,包含了组名、文件目录和文件名。本文以分布式文件系统FastDFS作为研究对象,对FastDFS文件标识按字节码进行Base62编码,提出了文件编码到文件地址的转换算法,有效地提升了文件地址的检索速度。

老年认知障碍多维度评估系统

老年认知障碍逐渐成为影响老年人生活质量的主要威胁之一,但是目前针对老年认知障碍群体的预防措施、诊疗技术、医养模式等尚不成熟,并且缺少能够完整地、分门别类地存储医疗数据的老年认知障碍数据系统,这便导致了老年认知障碍诊断不准确、认知障碍患者治疗时机延误、认知障碍患者没有得到相应的医养服务等问题.针对以上问题,本文设计了一种基于B/S架构的老年认知障碍多维度数据管理系统,利用FastDFS分布式文件存储系统的功能,保障了系统数据的安全性和稳定性.利用递归树结构帮助提取表格数据,加快筛查速度.系统的兼容性好,能够在目前主流的浏览器下稳定运行.

基于知识图谱与优化数据架构的电力服务系统设计

为了提升电力服务的智能化水平,文中基于软件工程理论完成了线上电力服务系统设计,主要包括在线服务接入、人工交互管理、知识图谱管理及系统支撑管理共4个模块。针对知识图谱中噪声数据多且较为稀疏的特点,将知识图谱的查询问题转化为图论中的子图匹配问题。通过引入邻域向量的概念,以相似度作为查询依据来有效提高系统的效率。相较于RDF-3X与NESS算法,所提算法在查询耗时上分别降低了85.59%和73.71%。此外,基于FastDFS分布式存储架构实现了知识图谱的分布式存储。且系统数据库的SQL查询、知识图谱的响应时间与单节点数据架构相比分别降低了58.3%和91.7%,故其具备良好的扩展性,并可满足未来数据增长需求。

面向BIM数据的分布式文件存储系统设计与实施

国内的BIM相关技术在近几年发展迅速,随之高速增长的BIM数据对存储系统的高可用性、负载均衡、横向扩容等功能也提出了更高的要求。本文就BIM行业内某公司需求,设计并实施了以FastDFS为主HDFS为辅的分布式文件存储系统。该公司主要存储BIM数据中常见的.rfa文件和.rvt文件,其中,.rfa文件的大小在KB级,而部分.rvt文件则体量较大。主流分布式存储系统HDFS适合存储大文件,为节省研发HDFS针对小文件存储算法方面的成本,本文引入了适合存储中小型文件的轻量级分布式存储系统FastDFS,以此为主要存储系统,并部署HDFS,存储大文件,为公司之后优化HDFS小文件存储,迁移全部存储平台至HDFS,并在此之上建立分布式计算平台打下技术基础。本文在两个存储系统之上布置了配有Keepalived模块的Nginx反向代理服务器,统一用户存取入口,在保证系统负载均衡和高可用性能力的同时封装了Web API,依据文件大小,将BIM数据分别存入Fast DFS和HDFS。经测试,新系统较原系统在存储性能方面有较大提升,并增添了高可用性、负载均衡、横向扩容等功能。

基于组合定权法的负载评价模型研究

随着互联网技术的快速发展以及海量数据的几何级增长,分布式存储等相关技术得到广泛应用。其中分布式文件系统的应用为海量文件存储和管理等提供了解决方案。当前主流的分布式文件系统,如Ceph、GlusterFS、MogileFS等因为各自的特点而得到广泛应用。针对评价开源分布式文件系统FastDFS负载参数指标单一,无法实时准确反映系统中各服务器实际工作负载状态这一问题,在研究现有负载均衡技术的基础上,提出了一种基于多指标的负载评价模型。该模型既考虑了主观因素,又考虑了客观因素,运用组合定权法确定各指标权重,使得模型的权重系数能够准确反映FastDFS在不同应用场景下各服务器的真实负载。仿真实验结果表明,所提出的评价模型是有效可行的,既实现了负载的合理分布,也提高了系统的资源利用率。

分布式文件系统在全国公安交管互联网服务平台的研究与应用

本文从交管信息系统的数据特点出发，以提高互联网服务平台的系统能力、降低建设成本为目的，对现有分布式文件系统进行了研究和比较，最终采用FastDFS作为分布式文件系统的实现，并对互联网服务平台的分布式文件系统部署架构进行详细阐述。

面向城轨线网的海量小文件存储方法

城轨线网小文件数据量巨大,传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式,提出基于FastDFS分布式文件系统和Redis键值数据库的城轨线网海量小文件存储方法,将具有相关性的城轨小文件合并成大文件进行聚合写操作;根据FastDFS返回的大文件索引、小文件存储起始偏移量和小文件长度建立全局索引,利用Redis存储小文件名和全局索引的键值对;采用数据预取机制,预取创建时间相邻的数据。实验结果表明,相较于FastDFS系统,FastDFS-Redis系统的小文件读写吞吐量分别提高了9.35%和4.45%,达到明显改善城轨线网海量小文件的访问效率的目的。

基于WebGL的轨道交通BIM轻量化应用方案

为了解决轨道交通建筑信息模型(BIM,Building Information Model)在Web端的渲染需求,提出了基于WebGL(Web Graphics Library)技术、JSON(JavaScript Object Notation)文件格式、FastDFS存储技术3者相结合的轨道交通BIM在Web端的轻量化应用方案。通过Revit的二次开发,提取Revit自有的BIM表面模型数据,将其使用JSON的方式存储;针对完整BIM对应的JSON格式文件较大的问题,提出了多个JSON格式文件代替一个JSON格式文件的存储方案;使用FastDFS文件服务器,将这些JSON格式文件存储;利用WebGL分级渲染FastDFS中的JSON格式文件。所提方案实现了轨道交通各专业BIM Web端显示。试验结果表明,BIM轻量化显示方案拥有非常好的通用性,对轨道交通的大模型兼容性好,保证了原始BIM数据精确,实现了各专业BIM的交互。

基于人脸识别的海量图片的存储和索引优化

人脸识别是一种根据人类的面部特征来鉴别个体的技术。其中需要通过摄像机获取人脸图像,但在产生大量的小文件过程中,过去的分布式文件系统很难为其提供高性能读写和快速检索。结合FastDFS,Redis以及Mysql来优化图片的存储和索引,将同一摄像机目录下的小图片文件合并成大文件,并在其中建立内部小文件索引,然后将合成的大文件写到FastDFS中生成大文件索引,最后客户端结合小文件索引和大文件索引生成全文索引,并且利用Mysql的持久性存储特点来进行所有文件名和对应全文索引的存储以及利用Redis内存数据库来暂存近一年的文件和读取文件,同时采取提前读的机制来提前预取相邻时间的文件存放到客户端缓存来减少IO的操作。最后通过实验证明写性能平均提高了7.5%,读性能平均提高了5.0%。

基于Android的建筑古籍电子书库的研究与实现

建筑古籍作为历史文化的产物和依托部分,具有重要的学术研究价值。针对建筑古籍难以再出版的特点,系统将古籍内容数字化为图片形式,利用分布式文件系统 FastDFS 结合 Nginx 技术搭建图片服务器以解决海量图片存储和快速访问的负载问题,结合 Spring 框架、Android MVC 框架设计并开发了一款电子书库。将 Android 客户端作为读者使用端,实现古籍的多样化检索、阅览、收藏等功能;Web 浏览器作为后台管理端,实现用户的角色权限管理和古籍资源的管理。该系统有助于解决古籍保护与利用之间的矛盾,对传统文明的传承和建筑文化的信息互联都具有重要意义。

基于MongoDB构建高性能网站技术研究

现代大型网站有两个主要特征:大数据量和高访问量,这也是此类大型网站发展的难点和瓶颈,通过构建高性能WEB站点,是解决大型网站发展困境的必由之路.从硬件和软件两个方面探讨了高性能网站的系统架构建设,采用当前最流行的构建高性能WEB站点技术,特别是非关系型数据库MongoDB和分布式文件系统FastDFS的引进,加上基于MVC的PHP开发模型,保证网站的高性能、高可用和高安全性.