Fortran内存泄漏静态检测方法研究

内存泄漏在没有垃圾回收机制的语言中是常见的问题,虽然Fortran95引入ALLOCATABLE数组解决了部分泄漏问题,但是通过指针申请内存资源仍然会造成泄漏,现有研究对Fortran内存泄漏的检测流程适配度不高且面向Fortran内存状态分析的效率和精确度上仍存在优化空间.针对这一问题,本文提出了一种面向Fortran指针引发的内存泄漏静态检测方法.首先引入指针引用控制流图(PR-CFG,Pointer Reference-Control Flow Graph)来精简程序模型,并符号化程序节点的内存状态信息,依据数据流生成路径敏感的符号化函数摘要作用于过程间分析,最终通过PR-CFG节点上由抽象内存状态计算得到的内存状态集进行故障模式状态机的状态转化来实现内存泄漏的检测.实验表明,本方法提高了Fortran指针引发内存泄漏的检测精度和效率,降低了检测的误报率.

基于非易失性内存的知识图谱系统优化研究

分布式系统的高扩展性和高可用性使得在其上构建大规模知识图谱已经成为产业发展趋势。新兴的分布式图数据库更推崇采用NoSQL等数据模型,如键值存储作为其存储引擎,以进一步提高其可扩展性和实用性。在这种情况下,上层的图查询语言的语句会被翻译成一组混合的键值操作。为了加速查询翻译生成的键值操作,提出了基于非易失性内存查询性能加速(knowledge graph booster,KGB)的知识图谱系统。KGB主要包含面向邻域查询加速的NVM辅助索引,用于降低键值存储的读取成本;快速响应的改进Raft算法,用于实现高效的键值存取操作;以及面向键值存储引擎的调优机制,为知识图谱存储系统获得额外的性能提升。通过实验表明,KGB能有效降低知识图谱系统的平均延迟和尾延迟的影响,实现更高的性能提升。

MMOS:支持超卖的多租户数据库内存资源共享方法

多租户数据库为每个租户分配固定的资源配额,而这些资源配额通常未全部得到有效利用,这种静态分配策略导致资源利用率不高。若在不影响租户性能的前提下将未利用的空闲资源共享给其他租户使用,即实现资源超卖,则可以提高资源利用率、提升平台收益。为了支持资源超卖,需要准确预测租户的资源需求,动态地按需为租户分配资源。已有的针对多租户数据库的资源共享方法的研究对象主要是CPU资源,鲜有支持超卖的内存资源共享方法。鉴于此,在联机分析处理场景下,提出了一种支持超卖的多租户数据库内存资源共享方法MMOS(Multi-tenant database Memory resource Overselling and Sharing)。该方法通过准确预测每个租户的内存需求区间,按照区间上限为租户动态调整内存配额,在不影响租户性能的前提下,统一管理空闲内存资源以支持更多租户,实现内存超卖。实验结果表明,MMOS在租户负载动态变化的场景下具有较好效果。在不同资源量的资源池下,支持的租户数可以增加2~2.6倍,资源利用率峰值提升175%~238%。同时,每个租户的业务与性能未受影响。

结合模糊测试和动态分析的内存安全漏洞检测

C语言因其在运行速度及内存控制方面的优势而被广泛应用于系统软件和嵌入式软件的开发。指针的强大功能使得它可以直接对内存进行操作,然而C语言并未提供对内存安全性的检测,这就使得指针的使用会导致内存泄露、缓冲区溢出、多次释放等内存错误,有时这些错误还会造成系统崩溃或内部数据破坏等的致命伤害。当前已存在多种能够对C程序进行内存安全漏洞检测的技术。其中动态分析技术通过插桩源代码来实现对C程序的运行时内存安全检测,但是只有当程序执行到错误所在路径时才能发现错误,因此它依赖于程序的输入;而模糊测试是一种通过向程序提供输入并监视程序运行结果来发现软件漏洞的方法,但是无法检测出没有导致程序崩溃的内存安全性错误,也无法提供错误所在位置等详细信息。除此之外,由于C语言的语法比较复杂,在对一些大型复杂项目进行分析时,动态分析工具经常无法正确处理一些不常见的特定结构,导致插桩失败或者插桩后的程序无法被正确编译。针对上述问题,通过将动态分析技术与模糊测试技术结合,并对已有方法进行改进后,提出了一种能够对包含特定结构的C程序进行内存安全检测的方法。文中进行了可靠性和性能的实验,结果表明,在增加对C语言中特定结构的处理方法之后,能对包含C语言中特定结构的程序进行内存安全检测,并且结合模糊测试技术后具有更强的漏洞检测能力。

基于内存保护键值的细粒度访存监控

基于内存保护键值硬件扩展,提出了一种轻量化且细粒度的页保护机制。突破了传统页保护方法仅支持页粒度访存监控的技术局限,实现了能够拦截每个访存操作的细粒度页保护机制。充分利用内存保护键值提供的用户态线程局部页访问权限控制,性能开销相比传统页保护的降低了30%以上。通过融合细粒度页保护与编译插桩,弥补了传统编译插桩方法无法覆盖程序中不可重编译部分的局限性。

面向高密度闪存的内存页大小探索

近年来,固态硬盘SSD向高带宽、大容量的方向飞速发展。为了扩大SSD的容量,闪存页面从4 KB增长到了16 KB。然而,操作系统依然以4 KB内存页为粒度向SSD下发读写请求,导致应用难以充分利用SSD的高带宽。增加内存页面的大小,以使操作系统下发的I/O请求和SSD读写闪存的粒度统一是可能可行的解决方案。将首次深入探索内存页大小对系统I/O性能与SSD寿命的影响。具体来说,将内存页大小设置为16 KB,运行测试程序并将实验结果与4 KB内存页进行比较。得出以下结论:(1)16 KB内存页具有更好的读性能;(2)应用的写粒度决定了16 KB内存页的性能;(3)16 KB内存页放大了页内无效数据对SSD寿命的影响。

基于行内局部性的内存控制器端预取

本文提出一种基于行内局部性的内存控制器端预取。采用位图的数据结构记录行内每个数据块的状态;并且对每一行进行区域划分,量化每个区域的访问局部性;根据区域内的局部性高低决定预取的激进程度。对于局部性较低的区域,预取区域内未被访问过的数据块;对于局部性较高的区域,同时采用跨区域的预取。通过动态调整区域规模的大小来适应局部性程度的变化。上述预取方法在龙芯3A6000处理器上实现并评测,评测程序采用SPEC CPU2006访存密集型应用。评测结果显示本文的预取方法将每周期指令数(IPC)平均提升6.51%,将单线程IPC最高提升46.80%(bwaves),将双核四线程IPC最高提升26.22%(lbm)。

仿真建模工具内存分配优化

在一体化仿真建模工具的性能优化时,内存分配优化方面提出内存池式分配方式,该分配方式特采用全局内存池基础实现并加上并行线程内存管理的方法来较好地匹配仿真工具的系统多临时对象和多动态分配内存的应用特点,性能测试表明,该内存池具有良好的空间特性和效率,比传统的操作系统直接分配内存节省约50.7%的分配时间。

多线程C程序内存安全性动态分析方法

随着软件结构越来越复杂以及其要求更高级别的并发量,出现了越来越多的多线程程序,同时C语言程序缺乏检测其内存安全的能力,进而导致C语言实现的程序可能会存在较多的隐藏漏洞,因此对多线程C程序的内存安全检测尤为的重要。较为前沿且可靠的检测内存安全的技术主要为动态分析技术,且现在对于多线程C程序内存安全检测的工具不是特别完善,错误检测不完全,性能不是很高。因此提出了基于指针的动态分析技术,同时结合无锁技术、源代码插桩技术实现了工具Movec来对多线程C程序的内存安全性进行检测,并且选取专业测试集来进行实验,验证了本工具对于多线程C程序检测内存安全是有效的,检测的错误更多且性能较为优秀。

一种基于数据依赖关系的内存安全性检测方法

内存安全问题已成为影响C/C++程序正确性和可靠性的主要因素。一些现有的静态代码检测工具无法识别全局变量+跨函数内存管理的内存泄露和未定义越界访问这两种缺陷,且其他动态代码检测工具,因需要在运行时进行插桩等操作,会增加额外的开销导致检测效率慢。为解决这些问题,采用LLVM 15提出一种基于中间语言数据依赖关系的内存安全性检测方法,该方法通过获取并分析LLVM中间语言中指令之间的数据依赖,从而进行判断得出结果。在软件保障参考数据集SARD上的相关测试用例集验证了该方法的有效性,相比现有方法,该方法可以检测这两种内存安全性缺陷。

基于静态和动态混合分析的内存拷贝类函数识别

缓冲区溢出等内存错误漏洞的产生往往来自对内存拷贝类函数的不当使用.对二进制程序中的内存拷贝类函数进行识别有利于发现内存错误漏洞.目前针对二进制程序中内存拷贝类函数的识别方法主要借助静态分析来提取函数的特征、控制流、数据流等信息进行识别,具有较高的误报率和漏报率.为了提高对内存拷贝类函数识别的效果,提出一种基于静态和动态混合分析的技术CPSeeker.所提方法结合静态分析和动态分析各自的优势,分阶段对函数的全局静态信息和局部执行信息进行搜集,对提取到的信息进行融合分析,进而识别二进制程序中的内存拷贝类函数.实验结果表明,尽管CPSeeker在运行时间上有所增加,但在内存拷贝类函数识别的效果上,其F1值达到了0.96,远优于最新的工作BootStomp、SaTC、CPYFinder以及Gemini,并且不受编译环境(编译器版本、编译器种类、编译器优化等级)的影响.此外,CPSeeker在真实的固件测试中也有更好的表现.

榫卯:一种可组合的定制化内存分配框架

动态内存分配器是现代应用程序重要组成部分,它负责管理空闲内存并处理用户内存请求.现代通用动态内存分配器能够提供较为平衡的性能与内存利用率,但考虑到不同应用场景的内存使用情况和优化目标不同,使用通用内存分配器并非最优解.针对应用场景定制的专用内存分配器通常能够更好地满足系统需要,然而编写专用内存分配器较为费时,也容易出错.开发者通常使用内存分配框架搭建专用动态内存分配器.然而,现有的内存分配框架存在抽象能力较差,组合性与定制性不足的问题.为此,从函数式编程视角审视动态内存分配过程,基于函数可组合性提出了一种可组合的定制化动态内存分配器框架榫卯.榫卯框架将系统内存分配抽象为多个互不耦合的内存分配层级函数的组合,这些层级函数能够扩展出策略槽,以提供更高的定制性和组合性.榫卯框架基于标准C实现,依赖C预处理器的元编程特性实现层级函数组合的零性能开销.开发者能够通过组合与定制分配器的层级函数,快速构建出适合应用场景的内存分配器.为了证明榫卯框架的有效性,使用榫卯框架构建了3种不同的内存分配器实例:tlsfcc,hslab与wfslab,其中tlsfcc针对多核嵌入式应用场景,通过替换同步策略优化并发吞吐率;hslab是核心感知的slab式分配器,通过定制线程缓存优化在异构硬件的性能;wfslab是低延迟的无等待/无锁分配器.为了评估这3种内存分配器实例,通过运行基准测试对比现有内存分配器.实验分别在8核x86/64平台和8核异构aarch64嵌入式平台进行.实验表明tlsfcc与原始tlsf分配器相比,在上述两个平台上分别取得了平均1.76和1.59的加速比;对比hslab与类似架构的tcmalloc,它在两个平台的平均执行时间仅为tcmalloc的69.6%和85.0%;wfslab则取得了参与实验对比的内存分配器中最小的最差情况内存请求延迟,其中包括目前最先进的无锁内存分配器mimalloc和snmalloc.

应用于胶囊机器人的分块内存传输方法

控制器的存储空间在胶囊机器人的图像数据传输中起决定性作用。随机存取存储器(RAM)存储空间的大小与胶囊机器人系统中硬件体积有关,受限于胶囊机器人系统的体积尺寸,小内存RAM无法完成大容量图像数据的采集和发送。该研究提出了一种分块内存传输方法,首先采用光学镜头OV5640采集图像数据,并对RAM内存进行分块管理,将图像数据存储到分块内存块,最后通过无线通信模块循环发送内存块中的数据,实现边采集边存储边发送的功能,达到采用小内存完成大容量图片的采集和发送的目的。搭建胶囊机器人系统模拟平台,用于验证数据传输实验。实验结果表明,相距2 m距离时,上位机系统可以接收到由胶囊机器人系统模拟平台传输过来的图像。该研究提出的方法能够在有限的RAM内存中实现对大容量图片的采集和发送,提高了胶囊机器人系统的图片拍摄效率。

针对深度学习中不规则内存访问的高吞吐内存管理单元

人工智能应用的多样化与复杂化导致了算法模型的不规则内存访问,即集中突发的访问请求与稀疏的访问地址,从而给智能应用在内存资源严格受限的移动端设备的部署带来了挑战。这种不规则的内存访问导致了现有架构中内存管理单元(MMU)的地址转换面临低吞吐和长延迟的问题,使其成为系统访存通路的瓶颈。针对上述问题,本文提出了一种新的高吞吐MMU架构方案(HTMMU),通过多流并行,加强冗余请求的过滤,合理地分配有限的片上存储资源等手段,从而能高吞吐、低延迟地处理不规则访问的地址转换,提升系统访存效率。实验结果表明,在处理人工智能算法内突发的稀疏访存时,相较于当前主流MMU设计方案,HTMMU平均获得了2.43倍的性能提升,而平均访问延迟降低为原先的34.1%,同时将额外面积开销控制在3.0%以内。

基于内存增强自编码器的轻量级无人机网络异常检测模型

为了解决传统智能攻击检测方法在无人机网络中存在的高能耗以及高度依赖人工标注数据的问题,提出一种基于双层内存增强自编码器集成架构的轻量级无人机网络在线异常检测模型。采用基于操作系统的消息队列进行数据包缓存,实现对高速数据流的持久化处理,有效提升了模型的稳定性和可靠性。基于衰减窗口模型计算数据流复合统计特征,以增量更新方式降低了计算过程中的内存复杂度。利用层次聚类算法对复合统计特征进行划分,将分离的特征输入集成架构中的多个小型内存增强自编码器进行独立训练,降低了计算复杂度,同时解决了传统自编码器因重构效果过拟合而导致的漏报问题。在公开数据集和NS-3仿真数据集上的实验表明,所提模型在保证轻量级的同时,与基线方法相比,假阴性率分别平均降低了35.9%和48%。

基于STREAM的内存性能测试设计与分析

主要对STREAM内存性能测试工具进行了深入研究,同时对内存性能影响因素进行了分析,详细地阐述了CPU、内存、编译器等影响因素对内存性能可能存在的影响点,进一步选取不同架构CPU、不同内存速率、不同版本的GCC编译器设计相关案例进行内存性能测试。测试结果表明,CPU架构、内存速率与GCC编译器版本均对内存性能有一定影响,其中CPU架构影响最大,满线程测试结果最大相差4.17倍,内存速率影响最小,单线程测试结果几乎无影响。

内存高效的持久性分布式文件系统客户端缓存DFS-Cache

为了在数据密集型工作流下有效降低缓存碎片整理开销并提高缓存命中率,提出一种持久性分布式文件系统客户端缓存DFS-Cache(Distributed File System Cache)。DFS-Cache基于非易失性内存(NVM)设计实现,能够保证数据的持久性和崩溃一致性,并大幅减少冷启动时间。DFS-Cache包括基于虚拟内存重映射的缓存碎片整理机制和基于生存时间(TTL)的缓存空间管理策略。前者基于NVM可被内存控制器直接寻址的特性,动态修改虚拟地址和物理地址之间的映射关系,实现零拷贝的内存碎片整理;后者是一种冷热分离的分组管理策略,借助重映射的缓存碎片整理机制,提升缓存空间的管理效率。实验采用真实的Intel傲腾持久性内存设备,对比商用的分布式文件系统MooseFS和GlusterFS,采用Fio和Filebench等标准测试程序,DFS-Cache最高能提升5.73倍和1.89倍的系统吞吐量。

嵌入式软件内存管理方法研究

为提高嵌入式系统内存的利用率,有效解决内存碎片和内存泄露的问题,并实现内存的快速分配和释放,提出一种嵌入式软件内存管理方法。该方法采用静态分配的方式,首先设置内存区的分区个数及每个分区内各内存块的大小和数量,然后基于池式内存管理机制对用户内存区采用动态内存分配的方式,利用内存分配器来实现动态内存的申请和释放,最后对传统的内存申请、分配和回收算法进行了改进。

基于共享内存的AcoreOS653操作系统层与分区应用层的通信技术研究

为了满足AcoreOS653嵌入式实时操作系统中将操作系统层可获取到的目标数据提供给分区应用使用的需求,文章阐述了一种基于共享内存的操作系统层和分区应用层的通信方法,重点描述了共享数据区的通信配置和数据交换的操作方法,对开发人员的实际使用具有一定的借鉴意义。

面向非易失性内存的高性能计算并行优化研究

针对非易失性内存在高性能计算运行过程中存在的内存分配不均匀问题,研究非易失性内存的高性能计算并行优化方法。结合新型高速网络RDMA和非易失性存储设备,提出分布式非易失性内存新型存储结构,加入一致性模块和本地非易失性内存管理模块,同时加强本地非易失性内存的管理;通过SPL框架进行分布式并行计算,经过数据预加载后,使用分布式独立内存分配算法优化多任务多线程的并行计算过程。实验结果表明:该方法能够使非易失性内存的数据保持一致,增强读写性能,提升工作效率;对于并行多线程任务的内存分配具有更好的扩展性,增强系统并行运算能力,同时适用性广泛。