一种基于安全多方计算的快速Transformer安全推理方案

Transformer模型在自然语言处理、计算机视觉等众多领域得到了广泛应用,并且有着突出的表现.在Transformer的推理应用中用户的数据会被泄露给模型提供方.随着数据隐私问题愈发得到公众的关注,上述数据泄露问题引发了学者们对Transformer安全推理的研究,使用安全多方计算(secure multi-party computation,MPC)实现Transformer模型的安全推理是当前的一个研究热点.由于Transformer模型中存在大量非线性函数,因此使用MPC技术实现Transformer安全推理会造成巨大的计算和通信开销.针对Transformer安全推理过程中开销较大的Softmax注意力机制,提出了2种MPC友好的注意力机制Softmax freeDiv Attention和2Quad freeDiv Attention.通过将Transformer模型中的Softmax注意力机制替换为新的MPC友好的注意力机制,同时结合激活函数GeLU的替换以及知识蒸馏技术,提出了一个MPC友好的Transformer转换框架,通过将Transformer模型转化为MPC友好的Transformer模型,提高Transformer安全推理的效率.在局域网环境下使用安全处理器(secure processing unit,SPU)提供的隐私计算协议,基于所提出的MPC友好的Transformer转换框架,在SST-2上使用Bert-Base进行安全推理.测试结果表明,在保持推理准确率与无近似模型一致的情况下,安全推理计算效率提高2.26倍.

基于区块链的身份信息共享认证方案

在互联网时代,各行业机构为便于用户管理服务,常常需要获取并认证用户的身份信息.目前,由于各行业机构相互独立且为了保证身份认证效率,他们要各自获取和保存用户的身份信息.一方面,用户需要执行冗余的注册操作;另一方面,一些行业机构可能会窃取其需求之外的用户身份信息.此外,一旦某机构安全防护措施不到位,将可能导致用户隐私泄露.针对上述问题,本文利用区块链的共识机制及其公开透明等特点,结合属性基加密作为数据访问控制策略,提出一种身份信息共享认证的方案.本方案基于区块链的智能合约技术实现身份信息共享及更新方案,减少了身份信息的冗余注册操作.本方案采用属性基加密技术,由可信注册机构规定各行业机构的身份信息访问权限,防止用户不必要的隐私暴露.本方案基于区块链的分布式存储特点,并要求身份信息注册标准化,提高了身份信息存储的安全性.实验测试的结果表明本方案具有可行性.