针对身份证文本识别的黑盒攻击算法研究

身份证认证场景多采用文本识别模型对身份证图片的字段进行提取、识别和身份认证,存在很大的隐私泄露隐患.并且,当前基于文本识别模型的对抗攻击算法大多只考虑简单背景的数据(如印刷体)和白盒条件,很难在物理世界达到理想的攻击效果,不适用于复杂背景、数据及黑盒条件.为缓解上述问题,本文提出针对身份证文本识别模型的黑盒攻击算法,考虑较为复杂的图像背景、更严苛的黑盒条件以及物理世界的攻击效果.本算法在基于迁移的黑盒攻击算法的基础上引入二值化掩码和空间变换,在保证攻击成功率的前提下提升了对抗样本的视觉效果和物理世界中的鲁棒性.通过探索不同范数限制下基于迁移的黑盒攻击算法的性能上限和关键超参数的影响,本算法在百度身份证识别模型上实现了100%的攻击成功率.身份证数据集后续将开源.

基于改进Mask Scoring R-CNN的铲齿磨损检测研究

为了实现在电铲工作过程中对铲齿磨损进行实时检测,防止因铲齿磨损而影响电铲开采效率,提出了一种基于改进Mask Scoring R-CNN(region convolutional neural network,区域卷积神经网络)的铲齿实例分割模型。首先,以ResNet-101(residual network,残差网络)和改进的FPN(feature pyramid networks,特征金字塔网络)作为主干网络,提取高、低特征层的语义信息和细节特征并融合,结合ROI Align层对局部特征层进行裁剪和归一化处理,以完成目标检测与实例分割;然后,基于获取的铲齿分割效果图以及二值化掩码图形信息,计算实例分割后图像中铲齿部分的像素面积,以判断其磨损情况。结果表明,以ResNet-101和改进FPN为主干网络的铲齿实例分割模型在测试集上的平均像素精度为90.76%,平均交并比为83.62%,相比于以ResNet-101和传统FPN为主干网络的实例分割模型分别提升了1.18%和1.21%。在电铲采掘工作现场进行8次铲齿磨损检测实验,检测到的每颗铲齿的磨损程度波动幅度均小于2%,均方差为0.7左右,说明所提出的实例分割模型对铲齿有较好的分割效果和稳定性,基本满足磨损检测要求。研究结果可为铲齿磨损状态的智能化检测提供新思路。