MinIO分片大小对文件上传性能的影响

当今主流的存储服务一般是基于对象的,因MinIO具有云原生、灵活部署的特性而被广泛的运用于微服务架构系统中,在集群部署的方式下,其分片传输的特性可以提供更高的传输效率。通过对MinIO的存储对象进行分片处理,观察传输过程中的性能指标,找到不同集群部署环境下适合的分片大小,这也为文件服务的选型提供了帮助。

Pearson相关系数法快慢横波波场分离

横波分裂是各向异性介质的重要特征,当横波或转换波穿过各向异性介质到达地面时,地面三分量检波器的x分量和y分量接收到的地震记录中都会同时存在快横波和慢横波。将快横波和慢横波进行分离,进而计算介质的各向异性参数是多分量数据处理中重要的一步。将数学中的Pearson相关系数引入到多分量地震勘探中,提出了Pearson相关系数法进行旋转角度识别,进而分离快、慢横波波场。相比于传统的互相关法,Pearson相关系数法从精度、抗噪性能和计算效率上都有提高。

基于密钥分解理论的文件安全分割算法

提出了密钥分解问题的向量空间投影理论,由此给出了密钥分解算法,并且将该理论和算法引入文件分割问题的研究中,给出了一种应用于实际保密场合的文件安全分割及恢复算法,并与传统文件分割算法进行了比较。利用分组密码的原理,将文件先分组再分存。实现了将文件分割成个子文件,而利用其中任意(1≤≤)个子文件可以恢复原文件,为重要文件的存储和传输提供了安全保证。同时对在通信保密中实现信息的分解保密提出了建议。

海量数据跨盘存储机制的设计与实现

针对石油勘探行业海量数据过大而单存储设备无法有效存储的问题,提出了海量数据跨盘存储机制.该机制充分利用面向对象的重载和多态技术,通过定义专门的文件类,封装标准函数库中的文件操作接口,提供对单数据体的各种文件操作,使文件跨盘存储通过软件方案得以实现.该机制有效地提高了单一存储设备存储空间的利用率.

岩石抗拉强度特性的劈裂试验分析

采用钢丝垫条、直接加压、弧形模具的加载方式,对砂岩、泥岩进行了大量的劈裂试验。结果表明:采用不同的加载方式,测定的岩石抗拉强度差别很大。其中,弧形模具加载测得的抗拉强度最大,其次是直接加压的方式,钢丝垫条加载方式测得的抗拉强度最小。通过对劈裂试验试件内应力场的分析,用MATLAB程序绘制出试件内应力场解析解的分布图,结合FLAC2D的模拟结果,认为对于不同的岩石,试件的破坏方式不同,硬岩不一定是从试件中心首先破坏,而是试件轴线上的某个部位;软岩和层状岩石则因不同的加载方式有不同的破坏方式。不同加载方式测试结果产生差别主要是因为加载板和试件间存在摩擦力等因素影响,随后给出了硬岩不同加载方式时抗拉强度的计算公式。

一种实现文件分割与组合的方法

介绍了使用VB6.0对海量文件进行分割,然后在目的地进行组合的方法,进而实现大型文件、软件的快捷转移。借助于VB对二进制文件易操作性,可以将文件轻松进行分割成多个设定大小的二进制文件并且另外生成一个文件用来记录分割后的文件数量。当在目的地进行组合时,分别打开分割的二进制文件并将文件内容写入同一个文件内从而实现了文件的组合。该方法使用VB编程,容易实现,程序代码短小,交互性较好。

一种预防XML文件过大引起JAVA内存泄露的方案

JAVA内存泄露是对应用系统的稳定性有很大的影响,文件过大使程序运行要用到的内存大于虚拟机能提供的最大内存而导致内存泄露.文中提出了通过对XML文件拆分与拼装来解决由于XML文件过大而导致的内存泄露问题的方法.测试结果表明可以有效预防内存泄露.

基于HTML5、AJAX的文件分割上传与加密存储研究

网络存储应用中文件上传与存储是两个关键。为了降低大文件上传的服务器负载,提出了一种基于HTML5、AJAX的文件分割上传方法。该方法根据文件大小在区间范围内动态设置分割尺寸,降低服务器负载、优化上传耗时,在服务器端使用文件头验证文件类型,防止恶意上传。为了提升文件存储的安全性,提出了一种将文件加密、分割、分散存储的方法。该方法使用AES算法结合动态密钥加密文件,将文件分割并分散存储,密钥使用RSA算法再次加密,私钥的一部分由用户保存,文件下载时解密合并、以二进制流分块输出,增加了文件被完整获取与解密的难度。实验结果证明,能有效降低服务器负载、提升文件存储的安全性。

建筑安装工程图纸对象自动识别方法的研究

针对当前主要依靠人工进行识别的现状,提出一种计算机自动识别建筑安装工程图纸中电气构件的方法。首先利用DXF文件读取图形信息,根据电气构件图形特征,删除DXF文件中的冗余图形信息,并将DXF文件转为图像格式,在图像中利用图像分割技术读取全部的电气构件数据。实验仿真结果表明该方法快速、有效。

基于Hadoop的海量车牌图像处理优化技术

Hadoop集群下每个小文件均占据一个Block,一方面存储海量元数据信息消耗了大量的NameNode内存,另一方面,Hadoop为每个小文件单独启动一个Map任务,大量的时间花费在启动和关闭Map任务上,从而严重降低了MapReduce的执行速率。对此,在详细分析已有解决方案的基础上,采用CFIF将多个小文件分片打包到大分片中,给每个大分片只启动一个Map任务来执行,通过减少启动Map任务的数量,提高了处理海量小文件时的效率。通过设计Hadoop图像接口类,继承并实现CFIF抽象类,最终完成了对海量图像小文件的处理。与常规HDFS、HAR和MapFile方案在NameNode内存空间和运行效率方面进行了对比,结果表明,CFIF在NameNode内存占用率和运行效率方面,都有很好的表现。

测震多台分析结果拆分软件的开发与应用

对"九五"EDSP-IAS和"十五"MSDP-DM地震交互分析软件进行对比,在MSDP软件功能没有完善之前,EDSP-IAS软件在一定时期内还将存在,开发测震多台结果拆分软件可以在多台连续波形文件中同时截取多个台站的事件文件,在同一屏幕上进行处理,分析结果可以相互对比,有助于提高震相识别的精度。分析完成后还可将EVT文件及其分析结果自动拆分,拆分后按新疆维吾尔自治区地震局要求,自动对每天的结果进行压缩,自动校核和上传数据,减少了大量人工重复性工作,还减少了人为操作出现的错误。

大文件分块上传和下载软件的设计与实现

针对大文件在网络存储过程中可能存在的上传和下载失败问题,提出了一种利用数据库进行分块存储和管理较大文件的方法。将一个较大的文件分割成多块,分别对分割后的每一块进行上传或下载,从而避免了网络因素对直接上传和下载较大文件所产生的影响。测试表明,通过所提出的分块与合并方法,可以有效地避免文件上传和下载过程中可能出现的失败问题,提高了上传和下载的效率。

EPS文件中矢量汉字拆分模型的研究

针对在刻字软件中人工对汉字拆分费时费力的问题,提出一个EPS文件中矢量汉字拆分模型。该模型在分析EPS文件中矢量汉字的构成特点基础上,设计了两个类以及类中方法的算法,其中的EPS文件类的算法用来读写EPS文件、拆分汉字部件,汉字部件类的算法完成移动和绘制汉字部件等功能。模型用C#语言编程实现,结果表明模型稳定、准确、高效,大大减少了人们拆字的工作量。

FY2C卫星实时数据的通道分离及小波分析

为了提高卫星云图在天气预报中应用的及时有效性,经常需要尽快显示实时接收的卫星数据云图。各省气象台中规模利用站接收的FY2C卫星云图的实时数据,格式为gpf,需要先进行通道分离后才能显示图像,本文主要介绍各种投影类型的gpf数据经通道分离后,对其单通道云图进行小波分析,以便简单直观地分析云图的特征、提高云图的传输效率。

遥测文件截取器软件设计与实现

为解决大容量遥测数据文件的快速分割,软件针对遥测文件以帧为基本单位且每帧头都含有时码的特点,设计按特征参数截取、按时间截取以及按帧序数截取等三种方法以满足不同的截取要求。遥测参数的解算调用已成熟的动态链接库,对于一些耗时的运算使用了二分搜索等优化算法。该软件操作方便、截取效率高,在型号应用中发挥了重要作用。

一种Web中快速传输大型文件的方法

实现了WEB应用程序中快速传输大型文件的机制.浏览器端采用HTML5标准中文件系统的访问特性,对上载的文件首先进行分片实现并行上传.服务器端采用CGI程序接收浏览器端上传的文件.后台管理服务对上传的分片文件进行管理.下载文件时通过CGI请求后台管理服务,按序发送文件分片.整个过程均不涉及文件分片的重组过程,减少了磁盘IO请求.与其它文件上传下载方式相比,本方法具有上下载文件大小无限制,传输速度高及不需要第三方控件等特点.

基于Python的Excel文档处理程序的设计与实现

从提高办公人员处理Excel数据的工作效率出发,笔者介绍了使用Python及第三方库pandas开发Excel文档处理程序的方法。该程序实现了Excel文档的内容匹配、合并、拆分等功能,性能良好,运行效率高,并通过tkinter库方便了用户使用程序的图形用户接口,降低了企业的人力资源成本,具有广泛的应用价值。

提高VSAM文件访问速度的一种有效方法

文章针对当前主机系统所面临的效率问题,提出减小CA分裂次数,加快VSAM文件访问速度的有效方法,以此来提高系统运行效率。文章先对VSAM结构进行介绍,然后详细描述减小CA分裂的方法,最后通过实际应用中的测试,证明该方法行之有效,并可以大大的提高主机系统运行的效率。

用VC实现文件分割

介绍了用VisualC++6.0编写文件分割器的方法。

磁场增强大气压等离子体射流对镍钴合金泡沫的表面改性

用磁场增强大气压等离子体射流(APPJ)限域改性镍钴合金泡沫(NCF),并在纯水中原位生长镍钴氢氧化物(NiCo(OH)_(2)),探讨等离子体射流对氢氧化物纳米材料电催化性能的影响。结果表明:磁场可有效提高APPJ改性位置的放电强度和活性粒子浓度,提升镍钴氢氧化物纳米晶核的形成密度,加速后续纯水中氢氧化物生长速度。此外,氧化物纳米六方体镶嵌在纳米片边缘,有利于增强电催化稳定性。制备的MO_(x)-M(OH)_(2)/PMNCF电极材料在碱性溶液中(1 mol·L^(-1) KOH)传递析氢(HER)析氧(OER)电流密度为100 mA·cm^(-2)时,过电位分别为248和385 mV,优于其他化学法制备的同类材料。本文为过渡金属化合物电催化材料的绿色构建提供了一种新方法。