保护Transformer模型知识产权的鲁棒水印

作为自然语言处理(NLP)领域最强大的深度学习模型,Transformer在机器翻译和自然语言生成等任务中表现出色。同时,这意味着Transformer模型的知识产权(IPR)侵权风险也越来越大,尤其那些训练成本很高的大型模型。尽管目前存在针对卷积神经网络(ConvolutionalNeuralNetworks)和生成对抗网络(GenerativeAdversarialNetworks)等模型的所有权验证方法,但针对Transformer的工作还很欠缺。因此,为了完善Transformer的知识产权保护,让版权所有者在黑盒环境和白盒环境下都能够有效验证Transformer模型所有权,本文首先提出了一种基于额外关注力的白盒水印方案,该方案将所有者签名嵌入模型中并能够抵抗各种攻击,包括通常水印无法抵御的模糊攻击(不破坏现有水印而是加入攻击者水印造成所有权混淆)。之后,本文提出了一个基于混合触发器(HybridTriggers)的后门添加方案,该方案在不访问模型源码的黑盒情况下实现了对模型所有权的验证,具有良好的隐蔽性和抗去除性。此外,本文研究了一种新形式的模糊攻击,实验结果表明,面对这种攻击,本文提出的水印方案优于现有的深度神经网络水印方案。本文为Transformer提供了一个更鲁棒的水印方案,解决了现有技术的局限性,加强了Transformer的知识产权保护。

基于传统引导机制的深度鲁棒水印算法

随着网络和多媒体技术的发展,多媒体数据逐渐成为人们获取信息的重要来源,数字媒体逐渐成为版权保护和防伪溯源主战场,版权保护新技术的重要性日益凸显,数字水印技术作为其中一种重要的版权保护手段得到重视。在信息传递过程中,含密数字媒体信息可能会受到噪声和外部干扰攻击,传统鲁棒数字水印技术正是围绕这些问题进行研究。然而,传统的鲁棒数字水印技术对不同类型攻击的综合抵抗能力有待提升。同时,由于其嵌入方式的局限性,传统的鲁棒数字水印算法对不同图像的泛化处理能力较弱。近年来,深度学习由于其强大的自学习能力被广泛应用于鲁棒数字水印技术研究。基于深度网络的鲁棒数字水印算法的初始化通常来源于随机的参数和特征,这会导致生成的模型质量不佳、训练时间过长,甚至无法收敛。结合两者的优点,采用传统的数字水印技术进行引导,兼顾深度网络的学习能力和传统鲁棒数字水印技术特征进行设计,提出一种基于传统引导机制的深度鲁棒数字水印算法。所提算法利用传统的鲁棒数字水印算法生成水印图像,设计的特征构造能够保证传统水印图像的鲁棒性。再利用U-Net结构将传统水印图像融合至深度网络,生成最终的含密图像。实验结果表明,所提算法能够提升含密图像抵抗各种攻击的鲁棒性,并且保证更好的视觉质量。

基于语音QR码的鲁棒水印算法研究

随着多媒体技术的快速发展,数字音乐等多媒体信息传递速度加快,由此导致音乐版权纠纷问题。通过在音乐中加入验证身份的信息,以达到音乐传递过程中保护音乐人版权权益的目的。以版权声明语音和版权声明文字相结合的方式,提取语音的多频带能量分布图,将图和文字结合生成QR码,最终通过QR码生成水印。对原始音乐进行提升小波变换获得变换系数,通过改变系数均值的方式实现水印的嵌入和提取。实验结果表明,所提出的算法具有较好的不可感知性和鲁棒性。

基于文本重要内容的鲁棒水印算法

提出一种基于文本重要内容的鲁棒水印算法,对文本的特征进行分析,确定文本的重要内容.根据水印序列和同义词替换评价模型,将水印不可感知地嵌入到文本的重要内容中,提高水印的鲁棒性.投票原则的使用又进一步提高水印的鲁棒性并降低了误检率.理论和实验分析表明,采用文中算法嵌入的水印具有较好的鲁棒性、安全性和不可见性.

基于SVD和小波包分解的自适应鲁棒水印算法

针对当前水印鲁棒性和透明性矛盾的问题,提出了一种基于奇异值变换(SVD)和小波包分解的自适应鲁棒水印算法,对二值水印图像进行Arnold置乱预处理,以增强水印信息的安全性。在水印嵌入过程中,将原始宿主图像分为8×8子图像块,并对每一子块进行小波包分解。根据人眼视觉特性和图像块自身的亮度以及纹理特征确定最佳量化步长,将水印信息通过量化调制的方法自适应地嵌入至相应高低频区域的奇异值中。实验结果表明,该算法在具有良好透明性的同时,对JPEG压缩、加噪、滤波、几何攻击等常见的攻击方式也有着较强的鲁棒性。

基于复合混沌系统的多小波鲁棒水印算法

提出了一种基于复合混沌系统与平衡多小波、块SVD相结合的鲁棒水印算法。对待嵌入水印信号进行复合混沌置乱加密;对载体图像作一次cardbal2多小波变换;对低频子带进行4×4分块并做SVD处理,根据均衡因子和嵌入系数进行嵌入。实验结果表明算法有很好的不可见性和鲁棒性。

一种基于遗传算法的DCT域鲁棒水印技术

提出了一种新的基于DCT域的鲁棒水印技术.算法充分考虑了数字图像局部像素之间的相关性及人类视觉系统(HSV)的特性,通过调制各DCT分块低频系数值并比较非零DCT系数个数,选择合适的DCT分块以完成水印嵌入.嵌入过程完成后,DCT系数在由频域向空域转换时会产生取整误差,这是由于浮点数向整数转换时总是会丢失部分信息.采用遗传算法可以修正这种误差.实验证明,该算法在保证了图像质量及水印不可见的同时,对于常见的图像处理操作具有良好的鲁棒性,并对JPEG压缩攻击具有一定的抵抗能力.

图像Hadamard变换域鲁棒水印算法

提出了一种基于分块Hadamard变换的鲁棒图像水印算法。水印图像先进行置乱和扩展得到水印序列。原始图像进行8×8分块的Hadamard变换,在中频系数里按不同强度嵌入水印。水印提取时,先计算与原始图像在对应的变换域系数的差值,再计算该差值与水印编码的相关性来确定每个水印像素。实验表明,该算法对原始图像的视觉影响小,具有良好的鲁棒性。

一种用于图像认证的鲁棒水印算法

提出了一种新型的可以进行图像认证的鲁棒水印算法。讨论了水印数据的调制,水印的嵌入及水印的提取,并对实验结果进行了分析。

小波域无失真扩频鲁棒水印设计

本文提出了一种无失真扩频鲁棒水印方案,该方案通过量化函数对受版权保护的图像的小波域进行量化,用所产生的二值序列直接作为水印,即特征水印。由于该方案是基于图像内容的,并没有向图像中嵌入任何信息,并不需要真正执行IDWT,水印图像没有任何失真,因而本文的扩频水印方案是无失真"水印嵌入"方案。水印的鲁棒性主要由量化参数决定,而不是像传统的水印方案那样一般由嵌入的水印信息量所决定。

一种并发控制的鲁棒水印实现方案

提出了一种利用动态图及其内部结构表示水印并实施防篡改,并利用并发控制的多线程实现水印冗余嵌入和可靠提取的鲁棒水印实现方案。该方案具有较强的鲁棒性。

基于量化函数的无失真扩频鲁棒水印设计

提出一种无失真扩频鲁棒水印方案,该方案通过量化函数对受版权保护的图像的小波域进行量化,产生的二值序列直接作为水印,即特征水印。由于该方案是基于图像内容的,并没有向图像中嵌入任何信息,不需要真正执行IDWT,水印图像没有任何失真,因而扩频水印方案是无失真"水印嵌入"方案。水印的鲁棒性主要由量化参数决定,而不是像传统的水印方案那样一般由嵌入的水印信息量所决定。

基于左右视点相关性的立体图像鲁棒水印方法

针对立体图像版权保护问题,提出了一种基于左右视点相关性的立体图像鲁棒水印方法。由于张量分解能够较好保存图像的主要能量,因此,首先利用彩色视点中RGB三通道之间的相关性,对左右视点分别进行张量分解。每一个视点分解出三个特征图,其中每个视点的第一特征图保留了每个视点中较强的三通道关系。其次,结合左右视点之间的相关性,联合左右视点的第一特征图进行张量分解,得到立体图像的主要能量特征图。最后,将主要能量特征图进行奇异值分解,并嵌入水印从而提高鲁棒性。实验结果表明,该方法具有较高的鲁棒性和不可见性,并且实现了水印的盲提取。

基于特征匹配校正的Contourlet域鲁棒水印算法

几何攻击破坏了水印系统中水印信息和图像之间的同步性,容易导致检测失败,因此抗几何攻击的数字图像水印算法成为研究的热点和难点。文章提出了一种基于特征匹配的Contourlet域鲁棒数字图像水印方法。该算法通过匹配特征点之间的几何关系,计算几何变换参数,校正攻击后的水印图像;通过量化将水印信息嵌入到图像Contourlet域中。实验结果表明,文章提出的算法具有良好的不可见性和抵抗多种攻击的鲁棒性。

基于Logistic混沌映射和IWT-SVD量化的盲鲁棒水印算法

为了提高数字水印的鲁棒性以及水印嵌入位置的保密性,提出了一种基于Logistic混沌映射和整数小流变换—奇异值分解(IWT-SVD)量化的盲鲁棒水印算法:对二值水印图像进行Arnold置乱,对原始载体图像进行8×8分块,利用生成的Logistic混沌序列选择嵌入水印的图像块,充分保证了水印嵌入位置的保密性;对选中的图像块进行二级IWT分解,对得到的二级低频子带系数进行SVD;将置乱后的水印信息嵌入。算法不需要原始载体图像,实现了水印的盲提取,更具实用性。仿真实验结果表明:算法对常规图像处理操作、压缩攻击和剪切攻击均具有较强的稳健性。

抗几何攻击的RGB图像鲁棒水印

为了提高RGB彩色图像水印抗几何攻击的性能,通过对RGB图像的3个通道进行优化处理,提出了一种基于RGB图像的鲁棒水印算法.首先,提取RGB图像中的G通道和B通道的像素值并分别将其扩大2倍和3倍,通过高斯低通滤波后利用图像的均值和直方图嵌入水印.与G通道和B通道像素值未经扩大的RGB图像水印进行对比,测试表明G通道和B通道的像素值经扩大后的鲁棒性较好.其次,分别在RGB图像的3个通道R、G、B中嵌入相同数量比特的水印信息,结果表明水印图像中的3个通道R、G、B均能抵抗几何攻击,但每个通道的鲁棒性并不相同.基于100幅RGB图像的实验结果表明了所提出算法在抗几何攻击上的有效性.

基于多尺度知识学习的深度鲁棒水印算法

针对现有基于深度学习框架的水印算法无法有效保护高维医学图像版权问题,提出一种基于多尺度知识学习的医学图像水印算法用于弥散加权图像的版权保护。首先,提出一个基于多尺度知识学习的水印嵌入网络来嵌入水印,并通过微调的预训练网络提取弥散加权图像的语义、纹理、边缘以及频域信息作为多尺度的知识特征;然后,结合多尺度的知识特征来重构弥散加权图像,并在该过程中冗余地嵌入水印,从而获得视觉上与原始图像高度相似的含水印的弥散加权图像;最后,提出一个基于金字塔特征学习的水印提取网络,并通过在含有水印的弥散加权图像的不同尺度的上下文中学习水印信号的分布相关性来提高算法的鲁棒性。实验结果表明,所提算法重构出的含水印图的平均峰值信噪比(PSNR)达到57.82 dB。由于弥散加权图像在转换为弥散张量图像时需满足一定的弥散性特征,所提算法仅8个像素点的主轴方向偏转角大于5°,且这8个像素点均不在图像的感兴趣区域。此外,该算法所得图像的各项异性(FA)以及平均弥散率(MD)都接近为0,完全满足临床诊断的要求;且面对裁剪强度小于0.7,旋转角度小于15°等常见的噪声攻击,该算法的水印正确率达到95%以上,能有效保护弥散加权图像的版权信息。

基于混沌序列的整数小波域鲁棒水印算法

首先对图像的蓝色通道进行整数小波分解,然后将二值化后的混沌序列经扩频处理作为水印信息,将此水印信息叠加在中频系数上,最后进行整数小波逆变换重构蓝色通道,合并三通道得到水印图像。由于混沌序列对初值具有极强的敏感性,攻击者很难从一段有限长的序列推断出混沌系统的相关参数,确保水印信息的安全性。整数小波变换的优良特性使图像在嵌入适量水印信息后拥有较低的细节损失率,实现了对彩色图像的高保真水印嵌入。实验结果表明,水印信息具有很好的透明性,对有损压缩、噪声干扰等常见的水印攻击具有较强的鲁棒性。

基于高斯混合模型的几何不变鲁棒水印算法

基于SIFT(scale-invariant feature transform)特征点和高斯混合模型(Gaussian mixture model)的几何不变鲁棒水印算法,对旋转、缩放、平移、仿射变换等几何攻击具有几何不变性。首先,用基于高斯混合模型的聚类算法对图像的所有SIFT特征点进行聚类。然后,逐比特地将水印信息嵌入到聚类后含有多个特征点的每个聚类中。因为水印信息的每个比特被嵌入到一个聚类的多个SIFT特征点中,因此水印的鲁棒性不再像传统的基于特征点的水印算法那样仅仅依靠单个特征点。使用两轮投票的策略从每个聚类中逐比特地提取出水印信息。实验结果表明,算法在抵抗多类几何变换攻击(如旋转、缩放、仿射变换、剪切等)和一般图像处理攻击(如JPEG压缩、图像滤波等)方面的鲁棒性要高于同类算法。

基于同步水印嵌入区域的抗仿射变换鲁棒水印算法

基于同步水印嵌入区域的方法,提出一种抗仿射变换的鲁棒水印算法。该算法在载体图像上进行特征点提取及筛选,根据点集散布规律提出构建嵌入水印区域的算法。同步水印嵌入区域可以为受到仿射变换后发生微小偏移的图像提供准确的水印嵌入区域定位,为水印嵌入和提取提供依据。水印方法是对嵌入区域进行DWT-DCT变换,修改DCT系数来进行水印的嵌入。对该方法进行了验证,证明了同步嵌入区域的可靠性及水印对仿射变换的鲁棒性。