面向大数据处理框架的JVM优化技术综述

当前,以Hadoop、Spark为代表的大数据处理框架,已经在学术界和工业界被广泛应用于大规模数据的处理和分析.这些大数据处理框架采用分布式架构,使用Java、Scala等面向对象语言编写,在集群节点上以Java虚拟机(JVM)为运行时环境执行计算任务,因此依赖JVM的自动内存管理机制来分配和回收数据对象.然而,当前的JVM并不是针对大数据处理框架的计算特征设计的,在实际运行大数据应用时经常出现垃圾回收(GC)时间长、数据对象序列化和反序列化开销大等问题.在一些大数据场景下,JVM的垃圾回收耗时甚至超过应用整体运行时间的50%,已经成为大数据处理框架的性能瓶颈和优化热点.对近年来相关领域的研究成果进行了系统性综述:(1)总结了大数据应用在JVM中运行时性能下降的原因;(2)总结了现有面向大数据处理框架的JVM优化技术,对相关优化技术进行了层次划分,并分析比较了各种方法的优化效果、适用范围、使用负担等优缺点;(3)探讨了JVM未来的优化方向,有助于进一步提升大数据处理框架的性能.

图形化PDDL语言编译系统的设计与应用

针对当前PDDL开发存在的编辑复杂和文本可读性差等问题,设计一个图形化PDDL在线编辑工具和相应的编译系统Graph Compiler。Graph Compiler结合领域专用编译技术和ChatGPT模型,实现从自然语言到图形化PDDL的自动化生成。系统支持编译不同版本的PDDL语言,提供相应版本的语法分析,将PDDL规划结果转换为ROS的话题消息,为机器人行动提供具体的动作指令。实验结果表明,Graph Compiler在多届IPC的多版本PDDL测试用例上,编译成功率达到100%;也可以应用在ROS项目中,通过具体的动作序列指导机器人行动。

数据驱动的开源软件供应链可维护性风险分析方法

软件供应链的使用始终穿插在软件系统研发过程当中,近年来关于软件供应链的安全事件频发,软件供应链安全已然成为了一个全球性问题.软件可维护性作为软件质量的重要属性之一,反映了软件维护活动的难易程度.软件供应链的开源趋势逐渐流行,但对开源软件供应链的可维护性研究还处于起步阶段.基于以上考虑,本文结合传统软件维护性风险研究方法,探究了开源软件维护性风险特有的分析视角,并提出了一个开源软件供应链维护性质量模型.该模型通过16种度量指标分别对团队健康、软件活跃度、依赖影响力、测试完整度、外部依赖度和可理解性等9种软件属性类进行度量以反映开源软件供应链的可维护性.同时基于GitHub托管平台和npm (Node.js标准的软件包管理器)子生态数据(包括软件信息、依赖关系、各个软件在开发过程中产生的行为数据等),对同一时间内不同软件的可维护性指标进行对比计算,验证了本文所提出方法的合理性.因此,使用本文所提出的可维护性质量模型可以有效地对开源软件供应链进行可维护性评估,帮助和指导软件的设计与重构,进而开发出更高质量的软件系统.

基于NFC功能的移动通信终端硬件电路设计研究

本文结合NFC工作原理,对基于NFC功能的移动通信终端硬件电路设计展开研究,提出设计构架及方案,在芯片选型基础上,重点设计对接电路、控制模块电路、射频前端电路以及天线电路,为移动通信终端和NFC技术融合奠定基础,并为终端硬件系统设计提供参考。

共用数据导向的分布式系统失效恢复缺陷检测

分布式系统的可靠性和可用性至关重要.然而,不正确的失效恢复机制及其实现会引发失效恢复缺陷,威胁分布式系统的可靠性和可用性.只有发生在特定时机的节点失效才会触发失效恢复缺陷,因此,检测分布式系统中的失效恢复缺陷具有挑战性.提出了一种新方法Deminer来自动检测分布式系统中的失效恢复缺陷.在大规模分布式系统中观察到,同一份数据(即共用数据)可能被一组I/O写操作存储到不同位置(如不同的存储路径或节点).而打断这样一组共用数据写操作执行的节点失效更容易触发失效恢复缺陷.因此,Deminer以共用数据的使用为指导,通过自动识别和注入这类容易引发故障的节点失效来检测失效恢复缺陷.首先,Deminer追踪目标系统的一次正确执行中关键数据的使用.然后,Deminer基于执行轨迹识别使用共用数据的I/O写操作对,并预测容易引发错误的节点失效注入点.最后,Deminer通过测试预测的节点失效注入点以及检查故障征兆来暴露和确认失效恢复缺陷.实现了Deminer原型工具,并在4个流行的开源分布式系统ZooKeeper、HBase、YARN和HDFS的最新版本上进行了验证.实验结果表明Deminer方法能够有效检测分布式系统中的失效恢复缺陷.Deminer已经检测到6个失效恢复缺陷.

面向深度学习训练的内存交换机制综述

随着深度学习技术的快速发展和深入应用,深度学习训练规模持续增大,内存不足已成为影响深度学习可用性的主要瓶颈之一.内存交换机制是应对深度学习训练内存问题的关键技术,该机制利用深度学习训练内存需求的“时变”特征,在专用计算加速设备内存与外部存储之间按需移动数据,通过瞬时内存需求替代累积内存需求,保障深度学习训练任务的运行.对面向深度学习训练的内存交换机制进行综述,以深度学习训练内存需求的时变特征为研究视角,分别针对基于算子运行特征的内存换出机制、基于数据依赖关系的内存换入机制以及效能驱动的联合换出与换入决策等重要研究工作进行了总结分析,并针对该技术领域的发展方向进行了展望.

基于QEMU RISC-V架构的OpenHarmony标准系统移植

RISC-V指令集架构的诞生促进了RISC-V硬件平台的快速发展,因此,在RISC-V架构硬件平台上运行高效且易于使用的操作系统需求日益增加.面向分布式、开源开放的智能终端操作系统OpenHarmony技术正在不断演进,其生态持续繁荣.然而,将OpenHarmony适配到RISC-V指令集架构平台上面临新的挑战,包括软件栈和芯片移植的问题.RISC-V指令集架构平台的软件栈和芯片移植存在新的挑战.本文提出了基于RISC-V QEMU平台的OpenHarmony标准系统移植的思路和方法,通过对关键软件栈进行适配和在QEMU RISC-V虚拟化硬件平台上移植图形显示驱动,成功实现了OpenHarmony标准系统在QEMU RISC-V虚拟化硬件平台上的正常启动,并进入系统桌面.该成果为开发者提供了在RISC-V平台上测试应用OpenHarmony标准系统的平台,并为新的RISC-V硬件平台上移植OpenHarmony标准系统提供了参考.

基于musl libc库的RVV优化

musl libc是一个轻量级的标准C库,其代码库小巧,提供了全面的POSIX接口支持,具有高度可移植性并支持多种架构和操作系统,被广泛用于嵌入式系统、网络服务器、容器等领域.RISC-V指令集作为一种开源的指令集,目前发布了相对稳定的SIMD指令集,RISC-V生态软件环境也迎来了新的优化热潮,但是对于musl libc库RVV扩展优化还是一片空白.本文立足于musl libc基础库和RISC-V RVV扩展指令集的协同研究点,提出了兼容基础指令集和向量扩展指令集的实现方案,利用向量扩展指令集优化了常见的C库函数strlen和memset,并在gem5模拟器上进行了对比分析,实验结果表明,相较于C语言实现,在性能方面,利用RVV优化的strlen函数平均提升83%–703%,memset函数平均提升85%–334%.

基于改进关联规则算法的中医治疗瘿病用药规律挖掘

为挖掘中医治疗瘿病用药规律并分析关联规则算法在中医药数据上的表现,鉴于传统Apriori算法具有候选项集多、效率低、算法复杂度高的特点,引入基于事务压缩技术和散列技术改进的Apiori算法,同时针对中医药数据事务数据库中事务重复项较多且单条事务较长的特点,提出一种改进的FP-growth算法,结合这几种改进的关联规则算法进行中医药数据挖掘分析,并绘制算法时间效率图,进行算法效率分析。研究结果表明,各算法关联规则挖掘结果一致,体现了中医治疗瘿病以理气化痰、消瘿散节的基本治则。算法效率方面,改进的FP-growth算法运行效率明显提高且随着最小支持度或最小置信度阈值的减小,算法运行时间差距越发明显。

国有企业如何防控贸易业务风险

风险管理是现代企业经营管理的重要组成部分,是保障企业稳定发展的基础因素。国有企业依托资金实力雄厚、融资成本低等优势,在开展供应链贸易业务方面具有先天优势。但是,在开展贸易的过程中也存在很多贸易风险,很容易让国有企业面临巨大的经济损失,直接影响到国有企业的健康发展。为实现国有企业贸易业务的稳定开展,需要结合当前存在的贸易业务风险,建立以风险管理为核心的内控体系,制定科学合理的风险管控策略,持续提升合规经营水平,推动国有企业高质量发展。

新型研发机构的成果转化模式及运行机制探析

基于早期清华大学深圳研究院的产业技术研究院运作模式,我国多个省、市在政策的支持下先后开展了多个新型研发机构建设,但由于新型研发机构成果转化“最后一公里”面临产业化成本高、产品定价高、创新技术缺乏实际验证等问题,导致许多新型研发机构成果转化能力较弱。本文基于国内新型研发机构的成果转化模式,简述新型研发机构成果转化的内涵,结合现有国内新型研发机构成果转化模式现状分析其存在的不足,并在此基础上探究较为高效的成果转化运行机制。