一种批量数据处理的云存储方法

研究了批量数据处理在云端存储的方法和技术,使用扫描设备自动采集数据存储到云终端存储系统,并由云端应用程序定期收割云终端的批量数据,实现了数据云存储和管理系统,应用到商品分销和物流跟踪的家纺领域实证,达到为配送中心节点站及时配货满足顾客需要,为商品生产厂家提供清晰准确的商品位置和信息、准确的库存和市场需求信息,帮助决策者制定生产和销售计划的目的。

VB编程实现测量数据文件的批量处理

介绍了采用Visual Basic语言编程实现大批量、反复的、条理性的测量数据文件一次性处理的方法和技巧。批量处理数据,能够节省工作时间、减轻劳动强度、提高工作效率,还可减少人工错误、确保数据精度,值得推广。

智能数据批量处理控制模型

介绍了一种用于设计制造协同平台的基于软件Agent的智能数据批量处理控制模型。模型利用Agent的学习能力分析数据处理的行为特征并记录到信念库中,当有请求到达时,Agent利用外部环境传感器获取系统负载、用户带宽等数据,并结合信念库中的请求特征,运用推理过程计算出当前处理的最佳数据量,通过调用执行计划改变请求的控制流来控制本次请求需处理的数据量。在协同平台中集成本模型可以保障用户的请求响应时间,缩短等待时间,平滑系统负载的峰值。通过实验验证了模型的性能。

Spark和Flink平台大数据批量处理的性能分析

为了研究Apache Spark和Apache Flink两个框架在进行批量大数据处理时的性能差异和相似性,分析Spark和Flink的引擎差异,重点对比了两个框架在运行机器学习算法的细节。比较的算法有：支持向量机（SVM）算法、线性回归（LR）算法和分布式信息理论的特征选择（FS-DIT）算法,其中SVM和LR算法为平台固有算法,FS-DIT根据平台框架特点重新设计。三种机器学习算法的实验结果表明：Spark的性能优于Flink,且总体运行时长低于Flink。另外对Spark目前拥有的MLlib和ML性能也进行了分析研究。整个研究对新旧两种平台上的批处理应用具有一定指导作用。

多线程技术对批量数据处理的优化

运用Win32下的多线程技术对批量数据的处理进行了优化，同时讨论了多线程的启动、优先级和同步等问题。

Visual C++编程实现成孔检测数据的批量处理

介绍了在Visual Studio集成开发环境上运用Visual C++语言,编写了一个MFC应用程序实现成孔检测数据测批量处理,能够提高工作效率,减少人工输入错误,大大提高了编写成孔质量检测报告的效率,在大批量数据处理方面具有重要的应用价值。

基于matlab批量数据处理软件开发

在进行结构抗震实验和有限元计算时,通常需要对一批具有共性的数据进行处理分析和绘图工作。本文在通用数据处理软件matlab基础上进行二次开发,软件的开发原则是:尽量以最少的输入参数得到最多的输出结果。实现对批量数据的内力计算分析和绘图,不仅节省时间、提高工作效率,而且减少出错的概率。

基于ASP.NET的商业银行数据批量处理业务流程管理系统设计

针对现有大型银行数据中心日常数据批量处理业务中的自动化程度低、数据交接错误和操作流程变更频繁等问题。论文分析并设计了一种基于ASP.NET的大型商业银行数据批量处理业务流程管理系统。该系统主要用于大型商业银行的操作和管理人员对于商业银行数据批量处理时数据交接,操作流程变更和操作流程管理。

基于Hibernate系统数据批量处理的性能优化问题研究

Hibernate是指对JDBC进行轻量级封装的对象关系映射框架,它使得J2EE开发人员可以使用面向对象的编程思维来操纵数据库。Hibernate可以替代JDBC应用场合,既包括Java的客户端程序,也包括Servlet/JSP的Web应用程序。针对天津市信息分类数据库使用SSH(Struts+Spring+Hibernate)框架整合方案构建系统,提出3种优化方案,以减少基于Hibernate系统数据批量处理执行的代价,提高系统数据批量处理效率。

计算机批量数据处理方法探讨

批量数据处理比较集中地反映了各类形式的计算机数据处理过程中可能遇到的多种问题。本文着重讨论其过程特征、程序系统、处理流程、操作标准化和质量控制等主要问题。

SAP系统环境下通过软件优化方式高速处理大批量数据的方法

目前采用SAP产品的通常为大型企业,这些企业的数据特点体现为数据表多、数据量大、数据关系复杂。有关技术人员在二次开发工作中,都无法避免超大数据量的运算,而硬件升级的办法(比如采用SAP HANA系统)则以投资大、周期长困扰着相关企业。本文将以某单位的异常订单监控程序为例,介绍直接通过软件优化,高速处理超大数据量信息的方法。

计算机批量数据处理方法讨论

在信息时代快速发展的当下,计算机技术广泛应用于各个不同的领域,各类形式的计算机数据处理也就相应的随之出现。在这么多形式的计算机数据处理过程中批量数据处理集中反映了在进行数据处理的时候可能遇到的多种问题。文章主要对计算机批量数据处理的过程特征、程序系统、处理流程以及操作标准化和质量控制等主要问题进行了分析探讨。

基于Python的数据表文件处理技术研究

本文主要研究了基于Python语言的数据表文件批量处理技术在自动化办公中的应用;分析了使用Python开发框架进行数据文件自动批量处理的工作原理、实现流程以及关键实现技术,以期望为自动化办公领域的大批量Excel数据表文件处理的业务需求提供技术参考。

基于Trident构建大规模实时流数据处理系统

大数据处理：批量数据处理和流数据处理 Hadoop家族在大数据处理方面的能力已经得到业界认可，但它更适用于对集群上的大数据进行批量处理，并不适用于实时处理大规模流数据。

中国尊结构偏差测量数据处理

以中国尊项目为例,介绍了在进行结构偏差定位复核时,在有测量点位理论坐标和无测量点位理论坐标两种情况下,如何利用ExcelVBA编程及测绘软件ArcGIS,快速准确地进行测量数据的批量化偏差计算。

基于VB的SCI期刊Excel数据检索及影响因子提取

为了方便科研工作者了解本领域SCI(Science Citation Index)期刊的影响因子,编程实现了针对每年公布的11000余种SCI期刊某一领域数据的筛选,以得到与本学科相关期刊的影响因子情况.SCI收录的期刊涉及近百个研究领域,而每个研究者只关心其中的一个或两个研究领域.目前,科研工作者多利用Excel工具,人工手动处理这些期刊数据,其工作量巨大且准确性不能得到保障.用VB 6.0(Visual Basic6.0)编程实现对SCI期刊数据库工作簿的批量数据处理,其过程快速、便捷、准确率高且适用范围广.

批量判定点位是否在区域内的原理及实现

介绍了基于VisualBasic语言编程在测绘工作中大批量判定点位归属哪个区域的原理及实现方法。通过批量处理数据,能够快速、准确地实现任务,可以减少人工错误,值得推广。

不动产登记存量数据整合技术与实现——以昆明市为例

不动产存量数据整合是梳理和统一历史的不动产登记数据的一种方法,其具有格式不同、介质不同、零散存放的特点,具体包括清理冗余数据、整合业务数据、关联权属数据和空间数据、绑定房地数据等,是完成不动产统一登记的基础和基本前提。文章以昆明市五华区不动产数据为例,分析存量数据特点,提出一整套不动产存量数据整合的技术路线与方法。目前,该技术在昆明市五华区不动产数据整合的实际工作中得到了充分应用,取得了良好效果。

基于ArcPy的自然资源资产清查工具集的设计与实现

全民所有自然资源资产清查工作过程中遇到数据需要重新整合、检查,由于数据量大,人工处理需要投入大量人力,且容易出错。针对此问题,本文结合本区域项目需要,利用ArcPy开发了全民自然资源资产清查工具集。该工具集实现了批量处理字段信息、统计表格信息、合并小斑、批量创建模板库等功能,具有批量处理数据能力,满足了高效处理数据需要,实现了数字化处理全民所有自然资源资产清查数据效果,可为其他自然资源调查监测提供参考。

上海浦东机场卫星厅双曲金属屋面系统BIM理念应用

上海浦东机场卫星厅双曲屋面所用的压型钢板,理论上每块板规格都不相同,数量达2 000余种,确定每块压型板的加工规格极其耗时费力。本工程应用BIM理念,采用犀牛三维建模,并协同CAD中的LISP程序,对屋面压型板加工尺寸进行快速和精确的设计,省时省力,在工程中具有巨大的应用优势。