数据规模对合著关系预测的影响研究

[目的/意义]为了发现适合合著关系预测的最佳数据集规模,并公平比较合著关系预测的指标,需要比较和分析不同数据规模下合著关系预测的整体准确率和最优指标的变化情况。[方法/过程]选取12个共同邻居及其改进指标作为代表性的合著关系预测指标,在不同规模的合著网络数据集上运用链路预测的理论和方法计算不同指标的预测准确率,并发现不同数据规模下的最优指标,从而揭示数据规模对合著关系预测的影响以及造成这些影响的原因。[结果/结论]在图书情报领域,通过作者出现频次大小形成不同规模的合著网络数据集,实验结果表明,数据规模越大,合著关系预测的整体准确率越高,并在合著网络全数据集上实现了准确率的巨大提升,说明没有经过任何过滤的完整合著网络是合著关系预测的最佳数据集;同时,不同数据集中合著关系预测的最优指标发生了变化,验证了指标具有数据规模偏好,说明公平科学比较合著关系预测指标需要在多个不同规模的数据集下进行。造成该结果的原因在于随着数据规模变大,合著网络数据集越接近真实情况,改进指标的优势得到了充分发挥。该方法可以扩展应用到其他领域并对结论进行验证。

城市轨道交通综合监控系统数据规模和系统性能分析

以苏州轨道交通4号线为例,探讨了城市轨道交通综合监控系统数据规模和系统性能分析方法。

数据规模化利用的法律规制

以ChatGPT等为代表的生成式人工智能,已经实现以自然语言交互并输出非特定的内容,其依赖的底层技术架构对数据利用的方式、范围及其效益产生了深刻影响。数据特别是规模化利用的数据,呈现出了从资源化逐步向资产化、资本化转型的特征。对数据有效规模化利用的规制,将直接决定数据效益的转化成效与数字经济的发展路径。现有数据治理框架,无法高效匹配新科技时代数据利用的技术基础要求与权益再分配的价值需求。当前,我国学界有关数据利用规则体系的研究以数据权属为主要方向,但无法有效解决数据大规模使用与交易效率的实践要求,无法有效促进我国海量数据优势的基础效益转化。为有效解决现实问题与发展要求,需在规模化、标准化、类型化的数据利用模式下,充分激活数据要素市场,重构多层次的数据利用规则与权益分配机制,实现以规则优势引领发展优势,以高质量发展不断推进中国式现代化。

东方国信:大数据规模优势渐显

东方国信(300166):三季报营收利润大幅增加,大概率全年完成计划。公司三季度实现营业收入6.7亿元,归属于上市公司股东净利润1.2亿元,两项均同比增长42.27%。四季度是软件类和信息服务类企业业绩确认的传统旺季,目前账面预售账款已有7305万。全年业绩确认有望维持现有的较快速度。大数据1.0已经成为主流技术进入各行业。

数据规模、数据范围与平台企业绩效——基于数字平台并购视角

数据是数字平台的核心资产,并购是平台企业获取数据的重要途径。同业并购与跨界并购获得的数据类型及其在平台内或平台间的交互作用程度存在差异,它们如何影响企业绩效是数字平台并购策略选择需要关注的关键问题。本文以广告主导平台为研究对象,通过构建两阶段Hotelling博弈模型比较分析同业并购与跨界并购对数字平台市场绩效的影响,使用2009~2021年上市的广告主导数字平台相关数据进行实证检验,并对百度公司的并购行为进行案例分析。研究发现:“数据规模经济”主导的同业并购和“数据范围经济”主导的跨界并购均有利于提升平台企业绩效;由于同类数据更易融合并形成“数据规模网络效应”,同业并购对平台企业绩效的提升作用更为明显。本文从数据要素视角深入揭示了不同类型并购影响数字平台市场绩效的内在经济逻辑,可为数字平台如何基于数据规模、数据范围和数据网络效应选择并购策略提供参考依据。

超大规模数据处理中并行计算技术的应用研究

随着人工智能和大数据时代的到来,超大规模数据处理成了一个重要的研究领域。该文主要探讨并行计算技术在超大规模数据处理中的应用,首先详细阐述并行计算和超大规模数据处理的基本理论与概念,特别是并行计算的编程模型与工具,最后通过分析并行计算在搜索引擎、气象预报和金融分析等中的实际案例,阐述并行计算技术在超大规模数据处理中的实际应用。

MapReduce模型在大规模数据并行挖掘中的应用

MapReduce并行编程模型通过定义良好的接口和运行支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度。系统阐述MapReduce的基本工作原理及其工作流程,以TeraSort算法为例,针对其存在的问题,提出动态数据分区和数据压缩等优化建议。研究成果表明,优化后的TeraSort算法能够显著缩短数据处理时间,优化系统的吞吐量,并改善资源分配的均衡性。

基于三阶张量的大规模数据谱聚类集成算法

为了降低大规模数据谱聚类计算负担,进一步提高聚类的准确性和鲁棒性,提出了一种基于三阶张量的大规模数据谱聚类集成算法。首先,提出一种混合代表最近邻近似方法构造数据间的稀疏亲和子矩阵;然后将稀疏亲和子矩阵表示为二部图,通过图分割的方法得到初步聚类结果;最后,提出三阶张量集成方法,将多个聚类结果进行融合,得到最终的聚类结果。在大规模的真实数据集和合成数据集上验证,相较经典的谱聚类算法、聚类集成算法以及近年来对其改进的算法,该算法表现出更优异的性能。

大规模图数据处理系统的分布式算法设计与性能优化

随着图数据规模的不断增大,大规模图数据处理系统成为当前研究的热点之一。本文围绕分布式算法设计与性能优化展开研究,旨在解决图数据处理中的挑战与问题。通过深入探讨图数据的特点、分布式系统的应用以及分布式算法设计的原理,结合性能优化策略,旨在提高大规模图数据处理系统的效率与可扩展性。

云计算环境下大规模数据存储技术分析

在大规模数据存储中,云计算技术的应用受到广泛重视。分析了云计算环境下大规模数据存储技术的应用价值,并提出了蒙特卡洛(Monte Carlo, MC)算法、并行高级加密标准(advanced encryption standard, AES)算法、双链存储模型、关系数据库技术的数据存储和查询方法。经过研究结果显示,采用云计算大规模数据存储技术,提升数据存储的弹性扩展性能,具有高可用性和容错性、安全和隐私保护性、数据分析和挖掘等价值,能够明显改善数据存储和处理的效果。

基于云计算的大规模数据分析与处理

伴随着互联网及大数据技术的飞速发展,云计算已逐渐成为当今社会广泛关注的热点,云计算为海量数据的存储、处理及分析提供了全新的解决方案。本文着重探讨了基于云计算的大规模数据分析与处理技术,深入剖析了云计算在数据处理领域的优势与应用背景,并对面临的挑战与解决方案进行了详尽阐述。本文意在为大数据时代的发展提供有益的借鉴与启示,以助力云计算与大数据领域的创新与发展。

基于云计算的大规模数据处理算法优化分析

阐述提升数据算法运行速度的策略,介绍基于云计算技术的大规模数据处理算法,包括数据处理算法分类、大规模数据处理算法特点。针对云计算环境下数据处理挑战,提出算法优化方案。

基于量子计算的输变电系统大规模数据处理与智能决策研究

随着电力系统发展,输变电系统的数据处理与决策日益复杂,传统方法难以满足需求。因此,本研究引入量子计算,利用其强大的并行计算能力和高效优化算法,应对大规模数据处理挑战。针对输变电特点,提出基于量子计算的智能决策方法。该方法能高效处理海量数据,准确识别系统故,并提供优化决策方案。此外,文章还探讨了量子计算在电力系统负荷预测、电网规划等领域的应潜力。实验结果表明,量子计算在处理输变电大规模数据时优势明显,能提高数据处理的准确性和效率,为电力系统的稳定运行和智能化管理提供支持,为输变电大规模数据处理与智能决策提供新的解决方案,奠定了量子计算在电力系统中的应用基础。

数据挖掘算法在大规模数据集上的高性能计算实现与效果评估

本文以“数据挖掘算法在大规模数据集上的高性能计算实现与效果评估”为主题,针对当今大规模数据集背景下,数据挖掘算法在计算性能方面面临的挑战,提出了一种高效的计算实现方法,并对其在实际应用中的效果进行了评估。文章从算法层面入手,通过优化算法结构和设计,提升了算法在大规模数据集上的计算效率,同时基于高性能计算平台,对优化后的算法进行了实际部署,确保了其在大规模数据集上能够快速、稳定地运行。通过对多个真实场景的数据集进行实验验证,充分评估了所提方法在不同应用场景下的性能表现,验证了其在大规模数据集上具有显著的计算效果。

软件测试中大规模数据爬取和测试方法研究

大规模数据测试已成为现代软件开发领域不可或缺的一部分。研究强调了数据爬取技术的关键作用,以获取大规模数据用于测试。首先,选择合适的数据源,然后开发或配置数据爬取工具,以有效地收集数据,最后,进行数据清洗和预处理,包括:去噪、数据格式化和标准化,以确保测试数据的质量和一致性。测试数据生成是测试的关键组成部分,可通过随机选择样本或数据驱动方法生成测试用例。在性能测试方面,负载测试和性能分析辅助评估软件在大规模数据集下的性能。安全性测试涵盖恶意数据攻击模拟和漏洞扫描,以确保应用程序的安全性。综合而言,大规模数据测试策略必须综合考虑性能、正确性和安全性,以确保软件在应对大规模数据时的稳定性和可靠性。

云计算模型在铁路大规模数据处理中的应用

对铁路行业的计算资源、数据处理进行了特征分析.探讨了云计算模型中的虚拟化技术在铁路计算资源整合及MapReduce编程模型在大规模数据处理中的应用模式.采用Hadoop开源平台和Intel的虚拟化管理平台Tashi,提出和实现了基于云计算技术的铁路数据处理框架模型,并通过大规模的货票数据处理实例验证了框架模型的可扩展性和高效性.

针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.

减少MANET网络密钥管理自我恢复过程数据包规模方法研究

针对MANET网络动态拓扑和节点处理能力弱等情况,提出了适合MANET网络环境并具有自我恢复功能的密钥管理方法,该方法有效降低系统通信负荷,并可降低数据包的规模,这对通信信道非常有限的MANET网络非常有用;同时对该方法的系统安全性给出了分析和证明,说明了该方法对MANET网络密钥管理的适用性。

面向大规模数据的快速并行聚类划分算法研究

随着聚类分析中处理数据量的急剧增加,面对大规模数据,传统K-Means聚类算法面临着巨大挑战。为了提高传统K-Means聚类算法的效率,针对已有基于MPI的并行K-Means聚类算法和基于Hadoop的分布式K-Means云聚类算法,从聚心初始化和通信模式等入手,提出了改进思路和具体实现。实验结果表明,所提算法能大大减少通信量和计算量,具有较高的执行效率。研究结果可以为以后设计更好的大规模数据快速并行聚类划分算法提供研究依据。

激光聚变数值模拟中的大规模数据可视分析

数值模拟是激光聚变物理研究的重要手段.在千万亿次计算机上,实际模拟输出的数据具有规模大、数据结构复杂等特征;其网格单元数达到数十亿,单时间步数据量达数十GB,并涵盖多块变形结构网格、多层自适应网格等复杂网格类型.针对这些特征,围绕激光聚变物理分析需求,着眼于可视分析过程的各个方面,系统地研究了复杂数据分解、可扩展的并行可视分析流程、数值模拟与可视分析高效耦合模式、高表现力的可视化方法等4项关键技术;并通过4个大规模实际模拟结果的可视分析来验证研究成果的有效性.