图神经网络节点分类任务基准测试及分析

图神经网络(Graph Neural Network,GNN)模型由于采用端到端的模型架构,在训练过程中能够更好地将节点隐藏特征的学习和分类目标协同起来,相比图嵌入(Graph Embedding)的方法,其在节点分类等任务上得到了较大的性能提升。但是,已有图神经网络模型实验对比阶段普遍存在的数据集类型单一、样本量不足、数据集切分不规范、对比模型规模及范围有限、评价指标单一、缺乏模型训练耗时对比等问题。为此,文中选取了包括cora,citeseer,pubmed,deezer等在内的来自不同领域(引文网络、社交网络及协作网络等)的共计20种数据集,以准确率、精确率、召回率、F-score值及模型训练耗时为多维评价指标,在FastGCN,PPNP,ChebyNet,DAGNN等17种主流图神经网络模型上,进行了全面且公平的节点分类任务基准测评,进而为真实业务场景下的模型选择提供了决策参考。通过基准测试实验发现,一方面,影响模型训练速度的因素排名依次是节点属性维度、图节点规模及图边的规模;另一方面,并不存在赢者通吃的模型,即不存在在所有数据集下全都表现优异的模型,特别是在公平的基准测试配置环境下,结构简洁的模型反而比复杂的GNN模型有着更好的性能表现。

PeMeBench:中文儿科医疗问答基准测试方法

大语言模型在医疗领域显现出巨大的应用潜力,如何评估其在医疗领域中的性能成为挑战。现有医疗评测基准测试多为选择题形式,难以全面和精准地评估模型在儿科医疗场景中的性能。为此,提出首个中文儿科医疗问答基准测试方法——PeMeBench。该方法基于双视角评估维度,参考来自10个儿科疾病系统的诊疗规范类书籍,将儿科医疗问答任务细分为疾病知识、治疗方案、用药剂量、疾病预防和药理作用5个儿科医疗问答子任务,构建超1万个开放式的问答题目,引入一种融合实体召回和检测语句幻觉的多粒度自动化评估方案,旨在对大语言模型在儿科基础医疗领域中的性能进行全面、准确的评估,深入剖析其潜在局限性,为提升医疗服务的智能化水平奠定坚实的基础。

漏洞基准测试集构建技术综述

随着软件漏洞分析技术的发展,针对不同漏洞的发现技术和工具被广泛使用。但是如何评价不同技术、方法、工具的能力边界是当前该领域未解决的基础性难题。而构建用于能力评估的漏洞基准测试集(Vulnerability Benchmark)是解决该基础性难题的关键。文中梳理了近20年漏洞基准测试集构建的相关代表性成果。首先从自动化的角度阐述了基准测试集的发展历程;然后对基准测试集构建技术进行了分类,给出了基准测试集构建的通用流程模型,并阐述了不同测试集构建方法的思想、流程以及存在的不足;最后总结当前研究的局限性,并对下一步研究进行了展望。

基于国产软硬件数据库基准测试标准化研究

为推动数据库高质量、国际化发展,本文通过分析国内外数据库检测相关技术标准现状,在剖析国外公认基准模型原理的基础上,结合国内国产软硬件情况,阐述研制基于国产基础软硬件的数据库性能检测标准的思路,对建立国内统一的数据库评价机制与标准化探索方向提出建议。

一种基于用户需求的基准测试方法

科学数据管理在高性能计算中发挥着越来越重要的作用 ,作为构建科学数据管理的关键支撑部分 ,数据库应用的性能和对它的测试评估显得尤为重要。科学数据管理系统是一种新的数据库应用 ,目前尚没有一个针对科学数据管理应用提出的基准测试程序。文中对数据库性能测试技术和基准测试标准进行了研究 ,针对面向科学数据管理的数据库应用的特点 ,采用SetQueryBenchmark对支持平台的性能作了测试。最后基于此测试案例研究 ,提出了一个对SetQueryBenchmark改进的基于用户需求的基准测试方法———用户可定制的基准测试方法 (User definedBenchmark) ,对面向科学数据管理的数据库应用可以提供较好的性能度量。

云数据管理系统能耗基准测试与分析

云数据管理系统是一种新兴的数据管理系统.为了研究云数据管理系统的能耗优化,实现"绿色计算",首先要定义能耗的度量模型和基准测试方法,分析系统的能耗特点.目前云数据管理系统的基准测试主要集中在性能方面,对能耗方面的评估和优化工作很少;对测量仪器、测试手段、测试用例以及能耗基本规律的研究存在空白.文中提出了一种能耗的度量模型和数学表达;定义了一组数据装载、查询和分析用例来测试云数据管理系统的能耗;设计了系统能耗的测量方法;分析了若干云数据管理系统在执行数据装载、读取、查询、聚集和连接等操作时的能耗特征,提出了通过降低"等待能耗"而进行云数据管理系统的能耗优化.大量实验数据证明,尽管云计算被认为是一种绿色计算,但文中测试的云数据管理系统在能耗方面差异较大,需要对部分系统进行进一步的优化.

计算机网络性能基准测试研究

文章首先介绍了网络基准测试的研究情况，并从不同层次用户的需求出发，分析了基准测试的性能指标体系。在此基础上，以网络性能基准测试原型系统为例，说明了基准测试的原理和一般过程，以及基准测试研究中面临的一些主要问题。

基于集群服务器性能的TPC-W基准测试

讨论了TPC W基准测试系统的结构 ,并利用TPC W基准测试程序来测试服务器的性能 .

网络性能基准测试系统体系结构研究

基准测试系统是技术发展成熟的标志，网络基准测试系统发展的滞后已经成为阻碍网络发展的决定性因素；针对网络基准测试系统的功能和应用，分别对硬件平台和软件平台进行了分析，提出了实用的网络性能基准测试系统框架体系结构．

面向OpenCL的GPGPU微基准测试程序集的研究与实现

随着通用图形处理器(general-purpose graphics processing unit,GPGPU)的广泛应用,GPGPU成为当前实现计算并行化的主要硬件平台之一。开放计算语言(open computing language,OpenCL)是一个开放的、面向异构系统平台的并行计算标准,支持在包括图形处理器(graphics processing unit,GPU)在内的多种微处理器架构上开发和运行并行程序。针对OpenCL平台开发了一套较完整的GPGPU微基准测试程序集,全面测试了GPU的单精浮点运算能力、GPU体系结构中各类存储单元的读写带宽及最佳访问模式等。这些面向OpenCL的GPGPU微基准测试程序,对OpenCL及GPGPU软件架构的设计者及使用者,均具有重要的实用和参考价值。

浅析SPEC基准测试程序集及评价指标

基准测试程序用于测试计算机系统的性能,对不同结构的计算机性能提供量化比较结果,为用户选择更适合应用要求的机器提供决策。文章介绍了SPEC基准测试程序组件,给出了SPECCPU2006测试程序说明,分析了SPEC评价指标及使用。

防火墙性能基准测试研究

该文通过分析防火墙性能测试影响因素及两种测试模型 ,重点讨论了防火墙性能评价的指标、测试方法及报告内容 ,并结合测试原理给出了两种典型的测试系统设计实例。

基于攻击描述语言的IDS基准测试技术研究

从最早利用协议分析仪发送攻击特征,采用黑客工具,到网络攻击数据的录播重放,IDS测试方法和工具随着入侵检测技术和网络攻击的发展而不断发展。论文提出了一种新的基准测试技术,它基于全新设计的网络攻击描述语言,对各种网络攻击进行统一规范的描述形成测试脚本库,然后通过模拟攻击机和牺牲主机的一体化结构,产生各种网络攻击会话,从而达到测试的目的。

StirMark基准测试程序在数字水印方案评价中的应用

给出了StirMark基准测试程序的概念和特征,介绍了如何使用StirMark基准测试程序评价水印方案,包括StirMark基准测试程序的API接口标准,如何通过配置文件来指定测试图像和测试类型以及如何通过StirMark基准测试程序的日志文件获得水印方案的评价信息,并验证了StirMark基准测试程序的效能。

航天嵌入式软件数据访问冲突基准测试集研究

针对数据访问冲突问题的检测方法及工具的研究很多,但缺少对其进行评估的基准测试集。文章基于大量真实航天嵌入式软件中断数据访问冲突案例研究的结果,总结出影响数据访问冲突检测的6类要素,设计开发了嵌入式软件中断数据访问冲突基准测试集程序RaceBench,对SpaceDRC工具进行了指标评估。结果表明,RaceBench能够有效评估工具的适用性。

基于PageRank和基准测试的异构集群节点性能评价算法研究

为了提高集群效率,需要根据集群节点的性能来进行集群的数据部署和任务调度。在异构集群中,节点性能存在很大差异,如何评价节点的性能非常具有挑战性。可以使用基准测试来评价节点的性能,而不同的基准测试对节点评价的角度不尽相同。PageRank算法被谷歌用来对网站进行排名,现在它也被应用于评价书籍的影响力或用户行为等等。提出一种新颖的基于PageRank的节点性能评价算法,以充分利用不同基准测试的评价结果。首先对每个节点使用LINPACK、NPB、IOzone等主流基准测试进行评价;然后采用PageRank算法处理每个基准测试的执行结果,从而得到节点的性能。为了使用PageRank算法,建立了1个图模型,并计算了性能向量和概率转移矩阵。该算法具有计算复杂度低、综合评价效果好等优点。

面向并行Agent仿真的合成基准测试模型

为了评估并行仿真算法的性能,需要建立一个基准测试模型。针对并行Agent仿真研究领域中缺乏一种与应用无关的基准测试模型这一问题,在借鉴并行离散事件仿真中经典的合成测试模型PHOLD设计思想的基础上,根据基于Agent仿真的特点,提出面向并行Agent仿真的合成基准测试模型,利用该模型可以方便地合成符合不同应用特点的计算负载,去除与应用相关的因素对性能分析的影响,能够为不同的并行Agent仿真研究者提供一个公共的测试基准。最后,采用该模型从实验层次上分析了Agent计算粒度、所采用的处理器数目等因素对并行Agent仿真加速比的影响。

TPC-W基准测试中客户端设计的关键技术

Web服务器性能测试是对服务器的综合性能测试 .简要介绍了 TPC- W基准测试系统的整体结构 ,详细论述了 TPC-W基准测试系统在客户端设计中所采用的关键技术——线程内按比例访问技术 .测试结果分析表明 :利用线程内按比例访问技术 ,可以使客户端机器的资源得到充分利用 ,根据大量用户访问 Web服务器真实行为的统计特性 ,进行细粒度的模拟 ,从而更好的对 Web服务器的性能进行综合测试 .

基于基准测试的高性能计算云研究

随着云计算技术的发展,高性能计算云(HPC in the Cloud)已得到学术界和产业界的关注。由于虚拟化技术带来的性能开销,高性能计算云面临着一些挑战。针对"高性能计算+云"的计算模式,分析了高性能计算云的优势,深入介绍了国内外基于基准测试的高性能计算云的性能评测、性能优化、能耗和成本效益等关键问题,得出了针对基准测试的高性能计算云研究的基本思路,并对当前面临的问题和今后的发展趋势进行了总结和展望。

面向SQLite的TPC-E基准测试系统的设计与实现

TPC-E是TPC(transaction processing performance council,事务处理性能委员会)组织发布的新一代数据库性能评测标准,用于取代日渐老化的TPC-C标准。SQLite是目前被广泛使用的一种嵌入式数据库,研究在TPC-E标准下的SQLite具体性能表现对实际应用具有重要参考意义。然而,目前业界缺少面向SQLite的TPC-E实现。为了解决该问题,设计和实现了面向嵌入式轻量级数据库SQLite的TPC-E基准测试系统,它不仅可以为SQLite数据库提供准确高效的性能评测系统,而且对SQLite在市场上的扩展应用和开发具有重要的参考价值。该测试系统严格遵循TPC组织最新发布的OLTP性能评测基准TPC-E,不仅能对SQLite作为内存数据库与文件数据库时的数据库特性进行精确有效的性能评测,还能客观真实地获得SQLite数据库的性能评测数据。实验结果表明,在TPC-E负载下,与Oracle等重量级的关系型数据库相比,SQLite事务处理性能较低。但由于其简单易用和体积小等优势,SQLite在实时性高的行业小型智能设备方面的应用依然具有较大的优势。同时通过对实验结果的分析,指出了制约SQLite性能的主要原因。