人工神经网络BP算法密集型数据的预处理

针对误差反向传播算法密集型数据输入问题，提出一种数据预处理方法。模拟实验表明，采用这种预处理技术可以极大地改善密集型数据输入时网络的学习效率。

密集型数据最大频繁模式挖掘方法研究

采用目前方法挖掘最大频繁模式时,没有对密集型数据进行预处理,无法消除密集型数据中存在的噪声,导致方法存在去噪性能差、挖掘效率低和挖掘准确率低的问题。提出密集型数据最大频繁模式挖掘方法,采用曲波变换方法对密集型数据进行稀疏描述,依据压缩感知理论,通过OMP算法消除密集型数据中存在的噪声,实现数据的去噪处理。在此基础上,建立分布式窗口树,通过更新分布式增量、分布式剪枝处理和频繁模式输出三个部分完成密集型数据最大频繁模式的挖掘。仿真结果表明,所提方法的去噪性能好、挖掘效率高、挖掘准确率高。

基于密集型数据复写的复杂项目增长趋势检测

在密集型复写的复杂项目环境中,数据具有数量丰富、分布、异构、高速变化、结构或半结构的特点,传统的数据处理方式是把数据全部传输到相应的数据处理节点,无法解决数据密集型计算环境下数据可用性的问题,导致以数据为中心的计算中数据存储与处理、分析与挖掘、增长趋势检测等研究结果相应地发生改变。提出了一种CTDA检测算法,分别对CQAR算法和COPIT算法进行改进,将两算法合并,使其有效解决数据密集型计算环境下的数据分析挖掘及增长趋势检测。算法性能测试结果表明,CTDA检测算法,提高了算法的精准度,可对基于密集型数据复写的复杂项目增长趋势作出合理的检测。

基于云计算的密集型数据库资源快速检索方法研究

对密集型数据库中的资源数据快速检索,提高数据库的访问能力,提出一种基于云计算的密集型数据库资源快速检索方法.构建密集型数据库资源分布结构模型并进行密集型数据库资源的统计数据分析,结合模糊综合聚类方法进行密集型数据库资源的信息聚类处理,在聚类中心进行密集型数据库资源信息的关联特征挖掘,提取密集型数据库资源的平均互信息熵特征量,根据特征提取结果进行线性规划调度,采用云计算进行密集型数据库资源的自适应调度和模糊决策,根据调度结果实现密集型数据库资源的快速检索,提高密集型数据库资源信息的聚类性和特征融合性.仿真结果表明,采用该方法进行密集型数据库资源检索的聚类性较好,检索的查准率较高.

面向数据密集型科研的科学数据管理模式研究

数据密集型科研范式下,科学研究中产生越来越多的科学数据,科学数据管理变得尤为重要。在梳理国内外相关研究的基础上,剖析数据密集型科研环境下对科学数据管理的新要求,结合数据生命周期理论分析科学数据管理各个阶段任务,构建相应的科学数据管理模式,提出多方主体实践的对策建议,以推动大数据时代的科学数据管理与共享。

资源失配时低代价的数据与计算密集型服务重配

随着边缘计算的广泛应用,近年来在网络边缘侧激增了一些延迟敏感的用户请求,这些应用对边缘网络中物联网设备提供的资源提出了较高的服务质量(Quality of Service,QoS)需求,例如严格的地理空间约束、时延/能量及其他资源约束.物联网设备提供的功能通常被封装为运行在边缘节点上的服务,用户请求可以通过组合数据和/或计算密集型的物联网服务来实现.考虑到物联网设备的资源稀缺性以及用户请求的在线持续部署和潜在长期执行特征,边缘服务运行期间对物联网设备资源的占用和释放导致边缘网络中资源动态变化.由于物联网设备的资源通常难以得到有效补充,且消耗差异可能较大,有些设备可能会过载,导致在当前时间点适配的物联网服务,在随后时间点可能难以适配用户请求,并导致QoS降级.针对边缘网络高负载时新请求持续部署导致特定强约束难以满足的挑战,本文开展资源失配时低代价的服务重配研究,提出了一种资源高效的服务重配方法,旨在通过服务迁移技术重调度物联网设备所提供的服务,以满足更多具有一定QoS约束的用户请求.基于上海电信基站数据集进行了大量实验,实例验证本文方法的有效性.实验结果表明,本文所提方法在满足用户服务请求时延约束、降低物联网设备能量消耗、提高边缘网络资源利用效益等方面表现均优于对比技术.

共同富裕下数据密集型企业价值共创机制研究综述与展望

共同富裕是社会主义的本质要求和中国式现代化的重要特征,数字经济为推动共同富裕提供包容性发展的新引擎。不断突破的互联网与数字化技术,使数据成为财富创造的关键生产要素,如何发挥数据密集型企业数据要素的连接、融合及赋能效应,化解其经济、社会功能间的冲突,实现员工、客户及合作伙伴等利益相关者间的经济价值与社会价值协同共创,成为共同富裕使命任务下的重大社会需求。为此,针对共同富裕下数据密集型企业价值共创机制构建问题,通过梳理国内外相关文献,从社会经济学、价值理论等多学科领域,系统综述现有相关研究,提出以人本逻辑取代资本逻辑、驱动共同富裕使命任务导入及经济、社会价值协同创造等当前迫切需要探索的前沿学术问题。

数据密集型社会科学发展的经验及启示:一个国际案例的分析

面对未来发展的不确定性,以及技术发展在学科建设及其研究范式的高渗透性,高校尤其是以人文社会科学见长的高校更应该主动迎接并积极运用数据密集型科学发现的优势,充分考虑数据驱动下的知识发现对于传统社会科学学科建制及其研究范式的重大影响、冲击乃至颠覆作用。一方面,数据密集型科学的发现及其在社会科学领域的渗透与应用,会带来数据密集型科学与社会科学的交叉融合发展,推动社会科学的学科建设方向由传统走向现代、由经验转向科学;另一方面,借助数据密集型科学发现基于数据驱动的研究优势能够有效提升社会科学研究的速度、效率和效果,进一步推动社会科学研究范式的转型,且人文主义与科学主义相结合的混合研究将成为社会科学研究的主流范式。以耶鲁大学为研究个案,着重分析其发展数据密集型社会科学的愿景目标和实践举措。研究发现,耶鲁大学通过发展并应用数据密集型社会科学的方法,拟实现借助数据密集型科学的强大力量不断赋能并推动社会科学研究范式转型、通过建立社会科学研究社区促进跨学科研究与协作、有选择地改善基础服务并强化制度保障与治理支持3个维度的愿景目标。为了实现这些愿景目标,耶鲁大学通过创建数据密集型社会科学中心、了解其他大学和行业卓越机构的发展趋势、在大学层面建立委员会等实践举措,实现重塑组织结构、调整组织行为和促进跨学科研究的整合效应;通过加强基础数据密集型课程群建设、增强数据密集型社会科学发展的多样性和包容性,以及教师年度会议和委员会等制度保障和治理支持,不断优化数据密集型社会科学的人才培养目标,推动课程教学的创新发展和科学评估。由此,耶鲁大学不仅推动了数据密集型科学与社会科学的知识交叉融合发展,还加快了数据密集型科学在社会科学研究中的应用。我国高校在未来的数据密集型社会科学发展实践中,需要主动转变社会科学发展的传统理念,主动运用数据密集型科学发现赋能社会科学转型发展,加强社会科学与数据密集型科学之间的深度融合,建立与数据密集型社会科学发展相匹配的人才培养目标与跨学科课程体系,注重数据密集型社会科学发展的整体规划与适时动态调整。

数据密集型农业科研服务平台架构设计

针对数据密集型科研范式下农业领域数据密集型计算服务能力不足的问题,研究设计集泛在智能知识服务与专业领域计算服务于一体的数字科研知识服务模式。调研分析国内外数字科研基础设施与数字科研平台建设经验,剖析数据密集型农业科研的新特征和知识服务需求,从基础设施层、数据层、关键技术层、核心功能层和服务层5个层面阐述数据密集型农业科研服务平台的架构方案,并给出面向作物计算育种知识服务的数字科研平台设计实例。以期为数据密集型农业科研平台的研发和应用场景的落地提供参考,为支撑数据密集型农业科研创新提供可借鉴的知识服务路径。

数据密集型超算现状、挑战以及未来发展趋势

[目的]对数据密集型超算的发展历程、主流系统结构、典型应用和计算、存储子系统进行较全面的梳理,指出未来发展趋势,为后续数据密集型超算系统优化提供参考。[方法]本文首先梳理了数据密集型超算中的关键概念,分析阐述现有平台对数据密集型应用的支持程度。说明了科学界和工业界对数据密集型应用的实际需求情况。并对数据密集型超算的未来发展趋势和面临的潜在挑战进行展望,建立了超算系统评测模型。[结果]相关研究人员和从业者可从本文快速了解到超算技术的关键概念及发展状况,精准捕捉当下与未来数据密集型超算研究热点和亟待解决的关键问题。[结论]数据密集型超算存储系统面临的复杂数据类型优化、混合负载优化、多协议支持与互通等将会成为未来一段时间内研究和发展的热点问题。

密集型数据处理流程:一种新的哲学范式

大数据的"涌现"对哲学产生了巨大冲击,并引发了一些新的哲学问题和思考。密集型数据处理与哲学范式的关系是方法论中新的哲学问题之一。本文在生物基因信息处理流程和计算机密集数据处理流程的基础上,抽象出一种密集型数据(大数据)处理流程。作为一种科学研究的工作过程,它是不是一种哲学范式、一种新的哲学范式?对这一问题的回答需要哲学概括、抽象和意义阐述。作为一个命题,也需从逻辑上论证它是一种新的不能被代替的哲学范式。

基于数据密集型范式的制图综合难点解决模式

“范式”理论始终是引领各个领域科学研究的重要思想工具和实用工具,地理信息科学领域的研究手段和方法同样遵循4个范式的规律。数据密集型范式是范式理论发展的最新阶段,对各个领域的研究模式和方法产生了根本性的影响。制图综合是地图制作的关键环节,也是地理信息科学领域的世界性难题和热点问题。数据密集型范式将是解决该领域面临挑战的必然的理论、方法与技术。提出了数据密集型范式下居民地制图综合难点问题解决模式,分别设计了地图上居民地要素选取、合并和化简的模式和方法。

云环境下数据密集型工作流调度

相比于传统的计算密集型工作流,云环境下数据密集型工作流中数据传输量大,任务数量多,任务之间依赖关系复杂。为此,文章提出了一种基于最大数据传输路径的数据密集型工作流调度方法,首先对工作流进行分层,找出工作流中最大数据传输量路径,并开展对最大数据传输量路径的分配工作,然后对其余任务分配服务商,以此缩短工作流的完成时间,最后通过具体实验验证了该方法的可行性和有效性。

数据密集型科学与工程：需求和挑战

科学研究在经历了实验科学、理论科学、计算科学阶段后,进入了数据密集型科学阶段,与之相伴的是大数据时代的到来.大数据泛指规模达到几百TB,甚至PB级的数据①,其典型的特征是分布、异构、低质量等.尽管传统数据库管理技术(特别是商业关系型数据库)在过去40年间取得了巨大成功,但是这些技术和系统无法有效管理支持数据密集型科学与工程(Data-Intensive Science and Engineering,DISE)的大数据.文中探讨数据密集型科学与工程的具体需求和现实挑战.它涵盖的内容表现在4个层面,包括数据存储与组织、计算方法、数据分析以及用户接口技术等.同时,数据质量、数据安全、数据监护等内容也需要在各层面得到重视.文中尝试梳理了数据密集型科学与工程的整体架构,回顾了相关领域的新近发展,分析了面临的挑战,探讨了未来的研究方向.

数据密集型计算编程模型研究进展

作为一种新兴的计算模式,云计算受到了学术界和产业界的广泛关注.云计算以互联网服务和应用为中心,服务提供者需要存储和分析海量数据.为了能够低成本高效率地处理Web量级数据,主要的互联网公司都在由商品化服务器组成的大规模集群系统上研发了分布式编程系统.编程模型可以降低开发人员在大规模集群上编程的难度,并让程序充分利用集群资源,但设计这样的编程模型面临巨大挑战.首先说明了数据密集型计算的特点,并指出了编程模型要解决的基本问题;接着深入介绍了国际上代表性的编程模型,并对这些编程模型的特点进行了比较和分析;最后对当前所面临的问题和今后的发展趋势进行了总结和展望.

Hadoop在气象数据密集型处理领域中的应用

气象资料的统计分析计算属于数据密集型计算,目前的处理方式多为单机处理,对大量数据的处理比较慢,难以应对日益增长的数据,对气象资料的研究形成一定的制约。针对数据密集型气象数据的处理,尝试应用Hadoop的MapReduce思想提高计算效率;对Hadoop在处理大量小文件组成的气象数据时的低效率,提出对原始文件进行预处理,将多个小文件整合成能直接用于计算的大文件。试验证明,该方法解决了Hadoop处理大量小文件时的低效率问题,通过与Oracle入库检索的比较,应用Hadoop处理数据密集型气象资料具有实际意义。

数据密集型应用中的异构数据集成服务研究

从分布式异构数据集成和海量数据共享两方面对领域异构数据集成的关键技术进行研究,提出面向领域异构数据的语义集成方法,建立针对各种异构数据的嵌套对象模型,通过虚拟视图和Mashup服务架构对数据及数据之间的关系进行描述、组织和展示,利用语义映射实现数据交互并保持数据同步,从而提供动态的数据集成服务。实例分析结果表明,基于该数据集成方法开发的油气井生产优化决策与诊断平台能实现多种专业数据集成及跨专业应用,为油气井生产动态监控、优化设计、诊断决策等提供技术支持。

大规模数据密集型系统中的去重查询优化

针对shared-nothing结构下大规模数据密集型系统去重查询的挑战,提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化:即自适应的散列和直方图相结合的数据分布策略,以及异步式并行查询中间件.前者在数据写入时保证数据均衡,并在数据量发生倾斜时自动调整数据的分布;后者充分发掘了去重查询处理中的粗粒度流水级并行,并消除了多节点同步等待的开销,尽早地返回结果.在生产系统DBroker上的测试表明,数据分布策略极大地改善相关属性的去重查询性能,而异步式并行查询引擎能够充分发掘并行性,对不相关属性的去重查询具有显著的性能提升.

数据密集型科学研究的需求分析与保障

[目的/意义]随着科学进入数据密集型时代,科研环境发生变化,科研需求也随之改变,充分了解并保障数据密集型科研环境下的科研需求对于推动科研活动的顺利进行、加速科研成果产出具有重要意义。[方法/过程]在传统科研需求的基础上,结合数据密集型科研的特点,从对科研基础设施的需求、对科学数据管理的需求和对新型科学交流体系的需求3个方面探讨了数据密集型科学研究的需求变化。[结果/结论]分析了数据密集型科学研究活动的需求,提出了需求保障策略。

一个面向数据密集型网格的通信模型

在由多计算机集群构成的数据密集型网格环境下 ,为了解决通信峰值阶段的通信冲突问题 ,提出了一个多级分组通信模型MGCM(Multi levelGroupingCommunicationModel) ) .给出了由多机群组成的数据密集型网格数据节点DGDN(Data intensiveGridDataNode)和完全图通信等形式化定义 .利用主动队列、被动队列机制 ,研究了单个机群内的分组通信算法GCA(GroupingCommunicationAlgorithm)以及双机群内的计算机之间的完全图通信问题GCAD(GroupingCommunicationAlgorithminDou blecomputerclusters) .基于网络距离机制、GCA和GCAD ,设计了DGDN上的多级分组通信模型 .理论分析和实践表明 ,该模型有效地解决了数据密集型网格环境下通信峰值所造成的并行计算效率低下的问题 .该模型适合于基于网格的数据密集型并行计算 .