基于增强视觉Transformer的哈希食品图像检索

作为食品计算的一个主要任务,食品图像检索近年来受到了广泛的关注。然而,食品图像检索面临着两个主要的挑战。首先,食品图像具有细粒度的特点,这意味着不同食品类别之间的视觉差异可能很小,这些差异只能在图像的局部区域中观察到。其次,食品图像包含丰富的语义信息,如食材、烹饪方式等,这些信息的提取和利用对于提高检索性能至关重要。为解决这些问题,本实验基于预训练的视觉Transformer(Vision Transformer,ViT)模型提出了一种增强ViT的哈希网络(enhanced ViT hash network,EVHNet)。针对食品图像的细粒度特点,EVHNet中设计了一个基于卷积结构的局部特征增强模块,使网络能够学习到更具有代表性的特征。为更好地利用食品图像的语义信息,EVHNet中还设计了一个聚合语义特征模块,根据类令牌特征来聚合食品图像中的语义信息。本实验提出的EVHNet模型在贪婪哈希、中心相似量化和深度极化网络3种流行的哈希图像检索框架下进行评估,并与AlexNet,ResNet50、ViT-B_32和ViT-B_164种主流网络模型进行比较,在Food-101、Vireo Food-172、UEC Food-2563个食品数据集上的实验结果表明,EVHNet模型在检索精度上的综合性能优于其他模型。

基于时空特征自适应融合网络的流量分类方法

针对当前网络流量瞬时涌现导致网络安全事故骤增、网络管理负担加重等问题,基于深度学习技术提出了ResNet和一维VisionTransformer并行的网络结构对网络流量进行识别并分类。其中ResNet可以提取到流量数据在空间上深层次的特征,能够保证流量识别的准确率;一维VisionTransformer可以提取到更具代表性的时序特征。利用注意力机制将两种特征进行自适应融合得到更全面的特征表示,以提高网络识别流量的能力。在ISCX VPNnonVPN数据集上进行实验表明:所提方法在流量的应用程序分类实验中的准确率达到了99.5%,相较于单独的ResNet和一维VisionTransformer以及经典的一维CNN和CNN+长短时记忆网络分别提高了0.9%、3.6%、6.6%和3.3%。在USTC-TFC2016数据集上,所提方法在能够轻松识别流量是否为恶意流量的基础上,实现了对13种应用程序的分类,且平均分类准确率达到了98.92%,证明了其具有识别恶意流量并完成细粒度分类任务的能力。

基于多模态信息融合的深度伪造检测

深度伪造技术的快速发展和应用给国家和社会安全、个人信息数据、企业安全等造成了潜在威胁。从电网企业的实际业务场景出发,针对现有深度伪造检测方法的泛化能力不足问题,文章提出一种基于多模态信息融合的深度伪造检测方法,为保护电网企业合法权益提供支撑。提出的方法在基准人脸伪造数据集FaceForensics++(FF++)进行验证评估,结果表明该方法在人脸伪造检测方面性能优良、鲁棒性好,同时多模态信息融合使得模型泛化性得到了很好的提升。

基于对抗域适应网络的土壤水分智能识别算法

【目的】使用传统卷积神经网络测量土壤含水率的识别准确率低、泛化性能差。为了满足重大工程扰动下的含水率测量需要,需提出一种适用于不同土壤类型且不受深度制约的探测方法。【方法】笔者搭建了室内实验平台,采集了延安、兰州和蓝田三个地区间隔等级为2%的8类不同土壤水分下的图像,构造了用于神经网络训练和测试的数据集。然后,基于对抗域适应算法(CDAN),比较了ResNet、MobileNetV2、Xception和ViT四种网络,选取识别准确率最高的模型作为其特征提取器,构建基于对抗域适应的土壤含水率识别模型,对比分析含水率识别模型在不同迁移任务上的识别效果。【结果】域适应模型CDAN的测试准确率明显高于MobileNetV2、Xception和ViT等模型,对不同地区土壤含水率的测试准确率均达到68%以上,最高识别准确率为84.3%。【结论】使用域适应方法具有良好的泛化能力和识别精度,能够为开发土壤地质信息探测机器人的视觉系统提供算法支持。然而,目前的土壤含水率识别算法仅适用于实验室条件下所搭建的土壤含水率数据集,若想实现实际的工程应用,则需要进一步完善土壤含水率图像数据集,使室内搭建的算法实现室外的原状土壤含水率识别。

人群计数研究综述

人群计数广泛应用在公共安防、视频监控和智慧城市建设等领域,对控制特定场所人数、指挥公共交通、防止疫情蔓延、保障社会稳定具有重要积极意义。传统的计数方法精度不高、场景受限,随着深度学习的发展,传统方法逐渐被卷积神经网络(convolutional neural network,CNN)方法代替。介绍了人群计数的研究背景、现状和发展趋势,叙述了两种传统方法;从计数精度、网络结构、评价指标和数据集等方面重点分析了CNN方法,发现CNN技术可以有效解决多尺度和跨场景等问题;阐述了基于Vision Transformer(ViT)序列的弱监督计数方法并且对比各类方法。对未来人群计数的研究前景做出展望。