基于帧结构的语音对抗样本重点区域扰动分析

目前针对语音识别模型的对抗攻击主要是在整条语音上添加噪声,扰动范围大且引入了高频噪声.现有研究在一定程度上缩小了扰动范围,但由于语音对抗攻击需要在每帧添加扰动实现对转录结果的控制,限制了扰动范围的进一步降低.针对此问题,从帧结构的角度研究了语音识别系统中的特征提取流程,发现分帧和加窗处理决定了帧结构中重点区域的分布,即帧内各采样点上添加扰动的重要性受采样点所处位置的影响.首先,根据对输入特征的扰动分析结果进行区域划分;然后,为了量化这些采样点对求解对抗样本的重要性,提出了对抗样本空间度量方法和相应的评价指标,并设计了在帧内不同区间上添加扰动的交叉实验,进而确定了扰动添加的重点区域;最后,在多个模型上进行了广泛的实验,表明了在重点区域添加对抗扰动能够缩小扰动范围,为高质量语音对抗样本的生成提出新的角度.

融合反讽机制的攻击性言论检测

互联网上的攻击性言论严重扰乱了正常网络秩序,破坏了健康交流的网络环境。现有的检测技术更关注文本中的鲜明特征,难以发现更隐晦的攻击方式。针对上述问题,提出融合反讽机制的攻击性言论检测模型BSWD(Bidirectional Encoder Representation from Transformers-based Sarcasm and Word Detection)。首先,提出基于反讽机制的模型Sarcasm-BERT,以检测言论中的语义冲突;其次,提出细粒度词汇攻击性特征提取模型WordsDetect,检测言论中的攻击性词汇;最后,融合两种模型得到BSWD。实验结果表明,与BERT(Bidirectional Encoder Representation from Transformers)、HateBERT模型相比,所提模型的准确率、精确率、召回率和F1分数指标大部分能提升2%,显著提高了检测性能,更能发现隐含的攻击性言论;同时,与SKS(Sentiment Knowledge Sharing)、BiCHAT(Bidirectional long shortterm memory with deep Convolution neural network and Hierarchical ATtention)模型相比,具有更强的泛化能力和鲁棒性。以上结果验证了BSWD检测隐晦攻击性言论的有效性。

采用局部相位量化的合成语音检测方法

由于语音合成的便利性,合成伪装语音对说话人认证系统的安全构成了很大的威胁。为了进一步提升说话人认证系统的伪装语音检测能力,提出了一种利用语谱图频域信息的合成语音检测方法,它通过局部相位量化算法对语谱图频域信息进行描述。首先,将语谱图分为若干子块,然后对每个子块进行局部相位量化,经直方图统计分析后获得局部相位量化特征向量并将该特征向量作为随机森林分类器的输入特征,实现合成语音检测。实验结果表明,该方法进一步降低了合成语音检测系统的串联检测代价数值,并且具有更强的泛化能力。

基于BiLSTM-DNN的语音识别对抗样本防御研究

智能语音识别技术应用广泛,但研究表明智能语音识别系统易受到对抗攻击,攻击者在音频中添加人耳无法察觉的恶意噪声,导致语音识别系统对音频所述内容识别错误。因此,本研究提出基于BiLSTMDNN的语音识别对抗样本防御方法,消除对抗样本中攻击性,使语音识别系统正确识别。实验表明,本研究中所使用的方法词错率达到25.27%,优于其他防御模型。

说话人认证录音回放检测方法综述

基于生物特征的身份认证已得到学术界及企业的高度重视,指纹、人脸识别应用已非常普遍,但对于非现场身份认证,语音相对其他生物特征,具有用户接受程度高、拾音设备简单、随时随地可用、数据量小、计算复杂度低等优势,因此基于声纹的身份认证系统应用越来越广泛。另一方面,由于录音回放攻击简单易行,不需要任何专业知识,且随着廉价、高质量的录音/播放装置的日益增多,回放录音与原始音的相似度越来越高,已成为声纹认证系统最主要的攻击手段之一,因此如何识别录音回放等攻击成为说话人认证系统必须面对的问题。本文对录音回放检测方法进入了全面的介绍,通过对各种方法的分析,表明其研究尚处于起步阶段,但需求日益旺盛。

语音对抗攻击与防御方法综述

人工智能的不断发展,使得人与机器的交互变得至关重要。语音是人与智能通讯设备之间通信的重要手段,在近几年飞速发展,说话人识别、情感识别、语音识别得到广泛地普及与应用。特别的,随着深度学习的兴起,基于深度学习的语音技术使机器理解语音内容、识别说话人方面达到近似人的水平,无论是效率还是准确度都得到了前所未有的提升。例如手机语音助手、利用语音控制智能家电、银行业务,以及来远程验证用户防止诈骗等。但是正是因为语音的广泛普及,它的安全问题受到了公众的关注,研究表明,用于语音任务的深度神经网络(Deep neural network,DNN)容易受到对抗性攻击。即攻击者可以通过向原始语音中添加难以察觉的扰动,欺骗DNN模型,生成的对抗样本人耳听不出区别,但是会被模型预测错误,这种现象最初出现在视觉领域,目前引起了音频领域的研究兴趣。基于此,本文对近年来语音领域的对抗攻击、防御方法相关的研究和文献进行了详细地总结。首先我们按照应用场景对语音任务进行了划分,介绍了主流任务及其发展背景。其次我们解释了语音对抗攻击的定义,并根据其应用场景对数字攻击与物理攻击分别进行了介绍。然后我们又按照对抗防御,对抗检测的划分总结了语音对抗样本的防御方法。最后我们对于该领域的不足、前景、以及发展方向进行了探讨。

面向语音识别系统的黑盒对抗攻击方法

随着深度学习方法在语音识别系统中的广泛应用,尤其是在自动驾驶、身份认证等安全等级较高的应用,语音识别系统的安全问题至关重要.深度学习给语音识别系统带来更便捷的训练步骤、更高的识别准确率的同时,也给系统的安全性带来了潜在风险.最近的研究表明深度神经网络容易受到对输入数据添加细微扰动的对抗攻击,导致模型输出错误的预测结果.当基于深度学习的语音识别系统被外加的细微扰动所攻击,自动驾驶汽车将会被恶意语音攻击执行危险操作,给自动驾驶系统带来了严重的安全隐患.针对语音识别系统的安全性,本文提出了一种面向语音识别系统的黑盒对抗攻击方法,采用布谷鸟搜索算法自动生成对抗语音样本,实现目标攻击.最后,利用生成的对抗语音样本攻击语音识别系统,挖掘当前性能优异的语音识别系统存在的安全漏洞,将本文提出的黑盒攻击方法在公共语音数据集、谷歌语音命令数据集、GTZAN数据集和LibriSpeech数据集上展开实验,验证了黑盒攻击方法的有效性.更进一步,利用对抗样本对其他语音识别系统进行攻击,验证其具有较强攻击迁移性,并对生成的对抗样本进行了主观评价试验,探究其隐蔽性.

自动语音辨识对抗攻击和防御技术综述

语音辨识技术是人机交互的重要方式。随着深度学习的不断发展,基于深度学习的自动语音辨识系统也取得了重要进展。然而,经过精心设计的音频对抗样本可以使得基于神经网络的自动语音辨识系统产生错误,给基于语音辨识系统的应用带来安全风险。为了提升基于神经网络的自动语音辨识系统的安全性,需要对音频对抗样本的攻击和防御进行研究。基于此,分析总结对抗样本生成和防御技术的研究现状,介绍自动语音辨识系统对抗样本攻击和防御技术面临的挑战和解决思路。

人机交互安全攻防综述

随着物联网和人工智能等技术的发展,人机交互应用也在不断推陈出新。然而,人机交互技术的发展也伴生新的安全问题,人机交互安全攻击事件频发。综述分析了4种人机交互技术——HID-USB、指纹识别、语音识别和人脸识别的安全攻防现状及攻防效益,并探讨未来人机交互安全的研究方向,同时给出了一些建议。

一种面向对抗攻击的鲁棒性语音情感识别方法

目前,现有的语音情感识别研究主要考虑在实验环境下收集语音数据进行情感识别,并没有考虑现实世界中存在各种噪声的影响。为此,考虑到噪声的影响,提出一种面向对抗攻击的鲁棒性语音情感识别方法,用于实现带有噪声的情感语音的分类。首先采用快速梯度符号法生成对抗数据,然后将真实数据和对抗数据进行混合,再将混合数据输入防御模块中进行模型的对抗攻击训练。最后,在IEMOCAP数据集上的实验结果表明,该方法用于语音情感识别能有效提高深度学习模型的鲁棒性和识别准确率。

翻录对语音真实性检验的影响研究

目的深入研究在法庭语音证据的真实性检验中,翻录操作对常用声痕迹特征产生的影响。方法录制100段原始语音,其中20段语音经实验室、室外环境直接转录,80段语音进行篡改处理后利用不同采样设备转录,得到翻录后语音。然后使用声纹鉴定工作站及Adobe Audition软件对翻录前后的数字音频,分别在文件属性、听觉和图谱检验等方面进行比对和分析。结果翻录过程会留下操作本身产生的声痕迹特征,在声谱图上表现为语音的本底噪声增强、频响范围改变、动作声痕迹遗留;翻录时高采样率设备平滑篡改痕迹的效果优于低采样率设备。结论总结出翻录对文件属性、听觉分析,篡改点图谱等造成的影响及翻录后篡改痕迹的变化规律,实验结果对司法语音真实性检验具有重要借鉴价值。

语音对抗样本的攻击与防御综述

语音是人机交互的重要载体,语音中既包含语义信息,还包含性别、年龄、情感等附属信息。深度学习的发展使得各类语音处理任务的性能得到了显著提升,智能语音处理的产品已应用于移动终端、车载设备以及智能家居等场景。语音信息被准确地识别是人与设备实现可信交互的重要基础,语音传递过程中的安全问题也受到了广泛关注。对抗样本攻击是最近几年兴起的一个研究热点,攻击者通过对样本进行微小的改动使深度学习模型预测错误,从而带来潜在的安全风险。语音识别领域同样面临着来自对抗样本的安全威胁,在对抗样本的攻击和防御方法上也与图像识别等领域存在显著差异。因此,研究语音对抗样本的攻击和防御方法具有重要意义。本文在介绍对抗样本相关概念的基础上,选取语音识别中的文本内容识别、声纹身份识别两个典型任务,按照从白盒攻击到黑盒攻击、从数字攻击到物理攻击、从特定载体到通用载体的顺序,采取从易到难、逐步贴近实际场景的方式,系统地梳理了近年来比较典型的语音对抗样本的攻击方法。从分类边界构造的角度,对语音对抗样本的防御方法进行分类论述,揭示各类方法实现防御的机理。对现阶段语音对抗样本攻击与防御方法的技术难点进行了分析与总结,并对语音对抗样本攻防未来的发展方向进行了展望。

毒舌语言现象探析

毒舌语可根据其在话语中的实现手段和言语意图两方面来定义,而这两方面的特征也将它的使用条件限制在了口语中。从语言的意向性来看,毒舌语可分为攻击型毒舌语与非攻击型毒舌语:攻击型毒舌语以快速出击、截取话轮、通过主动抢话轮的方式来达到说话人的攻击目的;非攻击型毒舌语具有幽默功能、情感功能与调节功能。从功能语篇来看,毒舌语体现出语场的跳跃性、基调的斗争性及抢话轮等特点。毒舌语言现象主要缘于当前的社会文化和社会心理。

基于特征压缩和残差网络的语音重放检测

目前的语音重放攻击检测系统中,绝大部分性能良好的系统采用的特征和网络模型的数据量都很大,训练速度慢、对设备要求高。因此本文提出了一种基于CQT(Constant Q Transform)变换的时间帧压缩方法,以减小特征尺寸和网络模型参数量,从而加快训练速度、降低设备要求。首先,将语音信号的CQT谱在时间帧维度上压缩,得到一维特征,成百倍地减少特征数据量;其次,对应设计一维小型残差网络模型,以辅助进一步减少数据量;最后,在ASVspoof2019挑战赛的PA数据集上训练并测试网络模型性能。实验结果表明,本文的特征提取算法和网络模型,相比挑战赛的基线系统以及其他特征-模型的性能有明显提升,t-DCF为0.1051,EER为3.74%,并且训练速度快、设备要求低。

针对ASR系统的快速有目标自适应对抗攻击

对抗样本是一种恶意输入,通过在输入中添加人眼无法察觉的微小扰动来误导深度学习模型产生错误的输出。近年来,随着对抗样本研究的发展,除了大量图像领域的对抗样本工作,在自动语音识别领域也开始有一些新进展。目前,针对自动语音识别系统的最先进的对抗攻击来自Carlini&Wagner,其方法是通过获得使模型被错误分类的最小扰动来生成成功的对抗样本。因为这种方法需要同时优化两个损失函数项,通常需要进行数千次迭代,效率低下,因此提出了A-FTA方法。该方法通过最大化自动语音识别模型关于对抗样本的预测和目标短语之间的相似度来快速生成对抗样本,并且在攻击过程中根据是否攻击成功自适应地调整扰动大小,从而生成较小扰动的对抗样本。实验结果表明,这种方法相比于目前最先进的方法,用更少的迭代次数取得了更好的攻击结果,在高效的同时依然能保证很高的攻击成功率。

4-5岁幼儿攻击性行为的研究分析

对于幼儿的攻击性行为,目前国外的很多研究都使用外部攻击和关系攻击两大类来区分幼儿的攻击性行为。关系攻击是Crick和Grotpeter提出的概念,即利用人际关系,故意破坏或操纵他人的同伴关系从而伤害他人的行为。所谓外部攻击是Crick后来又区分了身体攻击和言语攻击两种类型,可统称为外部攻击。本文以黄岛区部分幼儿园为例,着重研究4-5岁幼儿的攻击性行为在幼儿园中的表现。

基于信道信息的回放攻击检测研究

生物识别具有广阔的研究前景,说话人识别作为生物识别的重要组成部分,涉及人们日常生活的许多方面。随着高保真录音及回放设备的普及,说话人识别系统的安全性面临回放攻击的严重挑战,由于回放攻击语音与真实语音具有相同的声纹,导致常规说话人识别很难有效鉴别声音的真实性,且生活中存在的噪声,会在一定程度上干扰系统的识别,这也对系统的鲁棒性提出了要求。因此,该文提出一种基于信道信息的录音回放攻击检测方法,提取Legendre系数及其统计特征为主要判别依据,同时使用语音基频特征与MFCC特征作为辅助特征,并使用一种基于支持向量机的决策融合算法进行判别,给予特征不同的权重。实验结果表明,多种特征相结合的方式,相较于现有其他方法,能在有效检测回放语音攻击的同时,提升系统的鲁棒性,在噪声环境下识别率平均提高了1.5%。

语音识别对抗攻击方法综述

用于语音识别(SR)的深度神经网络在提供强大的语言计算和分析能力的同时,极易受到对抗性攻击影响,在人为不可察觉的情况下,造成语音转录错误,甚至是执行特定非法控制命令.本研究聚焦语音识别对抗攻击,首先,从攻击模型的角度,以攻击演变的顺序对语音对抗攻击方法进行分类论述;然后,根据SR系统的输入方式、处理过程的特点,分析现有方法克服空中条件、优化攻击效果、添加不可察觉音频扰动的实现原理及相关的优势与劣势;最后,对语音识别所面临的技术挑战进行总结,并对未来研究发展方向进行展望.

抗翻录攻击的鲁棒语音水印算法

水印为数字音频的版权保护提供了一种技术手段。然而,随着录用设备的普及,翻录攻击成为一种去除水印信息的有效方法。为了提高水印算法的安全性,提出了一种鲁棒的抗翻录攻击的数字语音水印算法。定义了离散余弦系数对数均值(discrete cosine transform coefficients logarithm mean,DCT-CLM)的特征,分析了该特征对翻录攻击的鲁棒性,并给出了基于该特征的水印嵌入方法。帧号和水印一起作为嵌入在各语音帧的信息,通过量化DCT-CLM方法将帧号和水印一起嵌入在各语音帧中。帧号用来同步各语音帧的内容,从同步的含水印语音帧中提取水印信息,从而进行溯源追踪。和常见的语音水印算法相比,该算法除了对去同步攻击的鲁棒性之外,还能够抵抗对敏感语音内容的翻录攻击。

英语时态的人际意义——以奥巴马总统纪念“9·11事件”9周年演讲为例

英语中的时态不仅具有表征谓语动作发生时间及所处状态的功能,更蕴含了丰富的人际意义。本文以功能语法中人际意义的理论框架为基础并将此框架扩大,用美国总统奥巴马纪念"9·11事件"9周年演讲中的精彩片段作语料,探讨演讲中时态所具有的人际意义。希望帮助读者更好的理解时态的非时间用法,增加表达人际意义的手段。