基于Jump-SBERT的二进制代码相似性检测技术研究

二进制代码相似性检测技术在不同的安全领域中有着重要的作用。针对现有的二进制代码相似性检测方法面临计算开销大且精度低、二进制函数语义信息识别不全面和评估数据集单一等问题,提出了一种基于Jump-SBERT的二进制代码相似性检测技术。Jump-SBERT有两个主要创新点,一是利用孪生网络构建SBERT网络结构,该网络结构能够在降低模型的计算开销的同时保持计算精度不变;二是引入了跳转识别机制,使Jump-SBERT可以学习到二进制函数的图结构信息,从而更加全面地捕获二进制函数的语义信息。实验结果表明,Jump-SBERT在小函数池(32个函数)中的识别准确率可达96.3%,在大函数池(10000个函数)中的识别准确率可达85.1%,比最先进(State-of-the-Art,SOTA)的方法高出36.13%,且Jump-SBERT在大规模二进制代码相似性检测中的表现更加稳定。消融实验表明,两个主要创新点对Jump-SBERT均有积极作用,其中,跳转识别机制的贡献最高可达9.11%。

基于预训练汇编指令表征的二进制代码相似性检测方法

二进制代码相似性检测技术近年来被广泛用于漏洞函数搜索、恶意代码检测与高级程序分析等领域,而由于程序代码与自然语言有一定程度的相似性,研究人员开始借助预训练等自然语言处理的相关技术来提高检测准确度。针对现有方法中未考虑程序指令概率特征导致的准确率提升瓶颈,提出了一种基于预训练汇编指令表征技术的二进制代码相似性检测方法。设计了面向多架构汇编指令的分词方法,并在控制流与数据流关系基础上,考虑指令间顺序出现的概率与各个指令单元使用的频率等特征设计预训练任务,以实现对指令更好的向量化表征;结合预训练汇编指令表征方法,对二进制代码相似性检测下游任务进行改进,使用表征向量替换统计特征作为指令与基本块的表征,以提高检测准确率。实验结果表明,与现有方法相比,所提方法在指令表征能力方面最高提升23.7%,在基本块搜索准确度上最高提升33.97%,在二进制代码相似性检测的检出数量上最高增加4倍。

融合注意力机制和Child-Sum Tree-LSTM的二进制代码相似性检测

抽象语法树是一种代码的树型表示,它保留了代码中定义良好的语句组件、语句的显式顺序和执行逻辑。包含丰富语义信息的抽象语法树可以在二进制分析时通过反编译生成,并且已经作为代码特征应用于二进制代码相似度检测。抽象语法树中不同类别的节点承载着不同的语义信息,对整棵树的语义具有不同的贡献程度。然而现有的二进制代码相似度检测方法所用神经网络无法对抽象语法树节点进行重要性区分,影响了模型的训练效果。针对该问题,提出了一种融合注意力机制和Child-Sum Tree-LSTM神经网络的跨指令集、跨代码混淆二进制代码相似性检测方法。首先使用二进制分析工具IDA Pro对二进制代码反编译提取架构无关的抽象语法树特征,并利用随机采样构造训练样本对。然后使用抽象语法树训练样本对训练融合注意力机制和Child-Sum Tree-LSTM的神经网络模型。在公开数据集BINKIT上的实验表明,所提方法的AUC和Accuracy指标分别为94.1%、66.2%,优于Child-Sum Tree-LSTM算法。

二进制代码相似性检测技术综述

代码相似性检测常用于代码预测、知识产权保护和漏洞搜索等领域,可分为源代码相似性检测和二进制代码相似性检测。软件的源代码通常难以获得,因此针对二进制代码的相似性检测技术能够适用的场景更加广泛,学术界也先后提出了多种检测技术,文中对近年来该领域的研究进行了综述。首先总结代码相似性检测的基本流程和需要解决的难题(如跨编译器、跨编译器优化配置、跨指令架构检测);然后根据关注的代码信息的不同,将当前的二进制代码相似性检测技术分为4类,即基于文本的、基于属性度量的、基于程序逻辑的和基于语义的检测技术,并列举了部分代表性方法和工具(如Karta,discovRE,Ge-nius,Gemini,SAFE等);最后根据发展脉络和最新研究成果,对该领域的发展方向进行了分析和论述。

基于数据依赖的跨架构二进制代码相似性分析

二进制代码相似性检测(Binary Code Similarity Detection,BCSD)技术在逆向工程、漏洞检测、恶意软件检测、软件抄袭以及补丁分析等学术应用领域发挥着重要作用。大多数研究已经集中在对二进制函数进行控制流嵌入和基于自然语言处理(Natural Language Processing,NLP)技术的底层代码嵌入技术的研究之中。然而,需要指出的是,函数在实际运行中不仅包含控制流信息,还包括数据流语义信息。因此,如何全面抽象函数的语义特征显得尤为关键。为此,该文提出了BS-DD模型,这是一个融合了控制流和数据依赖关系的二进制函数相似性判断框架。通过模拟执行二进制代码的方法来提取语义信息,并运用化简算法构建数据依赖关系图。最后,借助图神经网络进行相似性判别。对来自开源社区的7个广泛使用的软件进行了不同组合的编译,并在此基础上设计了3个不同的任务场景以及真实的漏洞检测实验,用以比较BS-DD方法与最新基于数据流的BCSD方法的性能。实验结果显示,该模型在召回率和MRR(Mean Reciprocal Rank)分数方面取得了显著的提高。在真实环境的漏洞检测中,该模型也始终优于其他方法。

代码相似性检测技术综述

代码复用为软件开发带来便利的同时也引入了安全风险,如加速漏洞传播、代码恶意抄袭等,代码相似性检测技术通过分析代码间词法、语法、语义等信息计算代码相似程度,是判断代码复用最有效的技术之一,也是近年发展较快的程序安全分析技术。首先,系统梳理代码相似性检测的近期技术进展,根据目标代码是否开源,将代码相似性检测技术分为源码相似性检测和二进制代码相似性检测,又根据编程语言、指令集的不同进行二次细分;其次,总结每一种技术的思路和研究成果,分析机器学习技术在代码相似性检测领域成功的案例,并讨论现有技术的优势与不足;最后,给出代码相似性检测技术的发展趋势,为相关研究人员提供参考。

基于词序嵌入的二进制基本块相似性检测

神经机器翻译技术能够自动翻译多种语言的语义信息,已被应用于跨指令集架构的二进制代码相似性检测,并取得了较好的效果.将汇编指令序列当作文本序列处理时,指令顺序关系很重要.进行二进制基本块级别相似性检测时,神经网络使用位置嵌入来对指令位置进行建模.然而,这种位置嵌入未能捕获指令位置之间的邻接、优先等关系.针对该问题,本文使用指令位置的连续函数来建模汇编指令的全局绝对位置和顺序关系,实现对词序嵌入的泛化.首先使用Transformer训练源指令集架构编码器;然后使用三元组损失训练目标指令集架构编码器,并微调源指令集架构编码器;最后使用嵌入向量之间欧氏距离的映射表示基本块之间的相似程度.在公开数据集MISA上的实验表明,P@1评价指标达到69.5%,比对比方法MIRROR提升了4.6%.

基于用户系统调用序列的二进制代码识别

针对编译优化、跨编译器、混淆等带来的二进制代码相似性识别准确率低的问题,提出并实现了一种基于用户系统调用序列的识别方案UstraceDiff。首先,基于Intel Pin框架设计了一个动态分析插桩工具,动态提取二进制代码的用户系统调用序列及参数;其次,通过序列对齐获得被分析的2个二进制代码的系统调用序列的公有序列,并设计了一个有效参数表用于筛选出有效系统调用参数;最后,为评估二进制代码的相似性,提出一种算法利用公有序列及有效参数,计算它们的同源度。使用Coreutils数据集在4种不同的编译条件下对UstraceDiff进行了评估。实验结果表明,相较于Bindiff和DeepBinDiff,UstraceDiff对于同源程序识别的平均准确率分别提高了35.1个百分点和55.4个百分点,对于非同源程序的区分效果也更好。

基于角度边界的二进制函数对比学习模型

现有代码相似性检测模型主要关注编码器的构建,对深度学习的损失函数研究较少。针对二进制函数嵌入向量评估被忽略的问题,提出了一种基于角度边界的二进制代码对比学习模型(angular marginbased binary code contrastive learning framework,AngCLF)。通过优化对比学习的目标函数,提高了模型的准确性并加快了收敛速度。分析了模型产生效果的原因,并引入多个评估二进制代码向量空间的指标。通过实验验证了AngCLF的准确性,发现其在准确性上超越了包括jTrans模型在内的6个模型,并且收敛速度更快,对齐度和均匀性等指标也有明显优势。

基于神经网络的二进制函数相似性检测技术

二进制代码相似性检测在程序的追踪溯源和安全审计中都有着广泛而重要的应用。近年来,神经网络技术被应用于二进制代码相似性检测,突破了传统检测技术在大规模检测任务中遇到的性能瓶颈,因此基于神经网络嵌入的代码相似性检测技术逐渐成为热门研究。文中提出了一种基于神经网络的二进制函数相似性检测技术,该技术首先利用统一的中间表示来消除不同汇编代码在指令架构上的差异;其次在程序基本块级别,利用自然语言处理的词嵌入模型来学习中间表示代码,以获得基本块语义嵌入;然后在函数级别,利用改进的图神经网络模型来学习函数的控制流信息,同时兼顾基本块的语义,获得最终的函数嵌入;最后通过计算两个函数嵌入向量间的余弦距离来度量函数间的相似性。文中实现了一个基于该技术的原型系统,实验表明该技术的程序代码表征学习过程能够避免人为偏见的引入,改进的图神经网络更适合学习函数的控制流信息,系统的可扩展性和检测的准确率较现有方案都得到了提升。

基于神经机器翻译的二进制函数相似性检测方法

二进制函数相似性检测是检测软件中已知安全漏洞的一种重要手段,随着物联网设备急剧增长,越来越多的软件被编译到不同指令集架构的平台上运行,因此基于二进制的跨平台相似性检测方法更具通用性。针对目前基于深度神经网络的跨平台相似性检测方法只能在基本块粒度进行相似性比对的不足,基于神经机器翻译的思想,提出一个通用的跨指令集架构的二进制函数相似性检测框架BFS,在函数粒度上通过无监督学习的方法自动捕获二进制函数的语义信息,生成二进制函数的嵌入向量。实验结果表明,BFS的P@10评价指标在88.0%以上,相较于现有方法提升了10.6百分点,并且能够有效检测出路由器固件中的已知真实漏洞。充分说明BFS检测框架在对二进制函数进行嵌入时,不仅能够保留较多原始语义信息,同时能够消除不同指令集架构以及编译优化选项的影响。

基于机器学习的二进制代码相似性分析技术综述

二进制代码相似性分析技术用于实现二进制代码的相似性评估,从而对二进制代码的同源性进行推断,广泛应用于知识产权保护、漏洞搜索、补丁分析、恶意软件检测等领域。基于机器学习的二进制代码相似性分析技术具有准确率高、算法复杂度低、伸缩性好等优点,成为该领域的研究热点。从特征与模型两个方面,对近年来提出的基于机器学习的二进制代码相似性分析方法进行了综述,理清了近年来基于机器学习的二进制代码相似性分析技术的发展脉络,并对该领域的发展方向进行了分析与论述。

程序代码相似性检测技术在教学中的应用

本文介绍的程序代码相似性检测技术可以帮助教师从学生作业集中快速找出彼此是否存在抄袭嫌疑,并能够对作业对的相似部分做出标记,给教师提供参考,以减轻教师人工判别的工作负担,从而提高工作效率。

代码相似性检测在程序设计教学中的应用

代码剽窃是程序设计课程中经常出现的一种作弊行为,检测剽窃的源代码、验证学生程序作业的原创性在教学中很重要。程序代码的相似度度量是剽窃检测的关键技术。本文首先对现有程序代码相似性检测技术进行研究,然后改进Halstead算法,提出了基于统计学方法程序代码相似性检测算法,最后对算法的有效性进行了实验分析。

基于代码相似性的测试用例重用及生成方法

为在测试用例自动化生成中有效利用现有用例信息,降低测试用例生成成本,提高生成效率,提出一种基于代码相似性的测试用例重用及生成方法。设计基于文本和度量的被测代码相似性检测方法,分别从语法和语义上检测并划分相似类型;针对不同相似类型,采用更名重用和补充重用生成测试用例。将代码相似性应用于测试用例生成,综合考虑代码的语法、语义等多维相似信息,提升代码相似性检测的准确性,能更有效运用重用技术提升测试用例生成效率。实验结果表明,所提方法具有更高的重用召回率和重用精度,在相同时间成本下生成的测试用例覆盖率更高。

二进制代码级函数指针攻击机理与检测研究

尽管有许多防御和保护机制已经被引入到现代操作系统中,但内存泄漏漏洞仍然对软件系统和网络安全造成巨大威胁.对于返回导向式编程ROP攻击(Return Oriented Programming)通常利用缓冲区溢出漏洞改写函数的返回地址,而函数指针在c/c++中普遍存在,比如struct结构体和虚函数中都含有大量的函数指针.本文通过实验表明了覆盖函数指针发起的ROP攻击是存在的并且提出fpDetect检测方法用来检测这种攻击.采取二进制代码插桩技术与动态检测相结合,大大提高了检测的准确性.通过实验证明了fpDetect检测方法可以应用在Linux和windows操作系统中.

面向代码相似性检测的相似哈希改进方法

代码相似性检测(code similarity detection)是软件工程领域的基本任务之一,其在剽窃检测、许可证违反检测、软件复用分析以及漏洞发现等方向均起着重要作用.随着软件开源化的普及以及开源代码量的高速增长,开源代码在各个领域的应用日益频繁,给传统的代码相似性检测方法带来了新的挑战.现有的一些基于词法、语法、语义的检测方法存在算法较为复杂、对解析工具有依赖性、消耗资源高、可移植性差、候选对比项数量较多等问题,在大规模代码库上有一定的局限性.基于相似哈希(simhash)指纹的代码相似性检测算法将代码降维至1个指纹,能够在数据集规模较大的情况下实现快速相似文件检索,并通过海明距离阈值控制匹配结果的相似度范围.通过实验对现有的基于代码行粒度的相似哈希算法进行验证,发现其在大规模数据集下存在行覆盖问题,即高频行特征对低频行特征的覆盖现象,导致结果精确度较低.受TF-IDF算法思想启发,针对上述问题创新性地提出了分语言行筛选优化方法,通过各种语言的行筛选器对代码文件行序列进行筛选,从而消除高频出现但语义信息包含较少的行对结果的影响.对改进前后方法进行一系列对比实验,结果表明,改进后的方法在海明距离阈值为0~8的情况下都能够实现高精确度的相似文件对检索,当阈值为8时在两个数据集下的精确度较改进前的方法分别提升了98.6%和52.2%.在所建立的130万个开源项目、386486112个项目文件的大规模代码库上进行了实验,结果表明所提方法能够快速检测出待测文件的相似文件结果,平均单个文件检测时间为0.43s,并取得了97%以上的检测精度.

二进制代码切片技术在恶意代码检测中的应用研究

恶意代码检测技术作为网络空间安全的重要研究问题之一,无论是传统的基于规则的恶意代码检测方法,还是基于机器学习的启发式恶意代码检测方法,首先都需要自动化或人工方式提取恶意代码的结构、功能和行为特征。随着网络攻防的博弈,恶意代码呈现出隐形化、多态化、多歧化特点,如何正确而有效的理解恶意代码并提取其中的关键恶意特征是恶意代码检测技术的主要目标。程序切片作为一种重要的程序理解方法,通过运用“分解”的思想对程序代码进行分析,进而提取分析人员感兴趣的代码片段。由于经典程序切片技术主要面向高级语言,而恶意代码通常不提供源代码,仅能够获取反汇编后的二进制代码,因此二进制代码切片技术在恶意代码检测技术中的应用面临如下挑战:(1)传统的面向高级语言的程序切片算法如何准确而有效的应用到二进制代码切片中;(2)针对恶意代码如何尽可能完整的提取能够表征关键恶意特征的程序切片。本文通过对经典程序切片算法的改进,有效改善了二进制代码过程间切片和切片粒度问题,并通过人工分析典型恶意代码,提取了42条有效表征恶意代码关键恶意特征的切片准则。实验表明,本文提出的方法可以提升恶意代码同源性检测的精度和效率。

基于神经网络与代码相似性的静态漏洞检测

静态漏洞检测通常只针对文本进行检测,执行效率高但是易产生误报。针对该问题,结合神经网络技术,提出一种基于代码相似性的漏洞检测方法。通过对程序源代码进行敏感函数定位、程序切片和变量替换等数据预处理操作,获取训练所用数据。构建基于Bi-LSTM的相似性判别模型,设定漏洞模板数据库,将待测代码与漏洞模板作比对以判别其是否存在漏洞。实验结果表明,该方法的准确率可达88.1%,误报率低至4.7%。

基于图标相似性分析的恶意代码检测方法

据统计,在大量的恶意代码中,有相当大的一部分属于诱骗型的恶意代码,它们通常使用与常用软件相似的图标来伪装自己,通过诱骗点击达到传播和攻击的目的。针对这类诱骗型的恶意代码,鉴于传统的基于代码和行为特征的恶意代码检测方法存在的效率低、代价高等问题,提出了一种新的恶意代码检测方法。首先,提取可移植的执行体(PE)文件图标资源信息并利用图像哈希算法进行图标相似性分析;然后,提取PE文件导入表信息并利用模糊哈希算法进行行为相似性分析;最后,采用聚类和局部敏感哈希的算法进行图标匹配,设计并实现了一个轻量级的恶意代码快速检测工具。实验结果表明,该工具对恶意代码具有很好的检测效果。