类脑智能研究的回顾与展望

人工智能学科诞生以来,实现人类水平的智能系统便是本学科探索的长期目标.然而经历了近60年的发展,目前还没有任何一个通用智能系统能够接近人类水平:具有协同多种不同的认知能力;对复杂环境具备极强的自适应能力;对新事物、新环境具备自主学习的能力等.随着脑与神经科学、认知科学的发展,在不同尺度观测各种认知任务下脑神经网络的部分活动并获取相关数据已成为可能.因此,受脑工作机制启发,发展类脑智能成为近年来人工智能与计算科学领域研究的热点.类脑智能是以计算建模为手段,受脑神经机制和认知行为机制启发并通过软硬件协同实现的机器智能.类脑智能系统在信息处理机制上类脑,认知行为和智能水平上类人,目标是使机器实现各种人类具有的多种认知能力及其协同机制,最终达到或超越人类智能水平.文中将从脑科学、认知科学、人工智能研究交叉的视角回顾与类脑智能研究有关的历史、现状与研究焦点,并展望该研究领域的发展方向、可能的应用领域及其潜在的深远影响.

视觉语言导航研究进展

视觉语言导航,即在一个未知环境中,智能体从一个起始位置出发,结合指令和周围视觉环境进行分析,并动态响应生成一系列动作,最终导航到目标位置.视觉语言导航有着广泛的应用前景,该任务近年来在多模态研究领域受到了广泛关注.不同于视觉问答和图像描述生成等传统多模态任务,视觉语言导航在多模态融合和推理方面,更具有挑战性.然而由于传统模仿学习的缺陷和数据稀缺的现象,模型面临着泛化能力不足的问题.系统地回顾了视觉语言导航的研究进展,首先对于视觉语言导航的数据集和基础模型进行简要介绍;然后全面地介绍视觉语言导航任务中的代表性模型方法,包括数据增强、搜索策略、训练方法和动作空间四个方面;最后根据不同数据集下的实验,分析比较模型的优势和不足,并对未来可能的研究方向进行了展望.

知识驱动的多模态语义理解研究综述

基于深度学习模型的多模态学习方法已在静态、可控等简单场景下取得较优的语义理解性能,但在动态、开放等复杂场景下的泛化性仍然较低.近期已有不少研究工作尝试将类人知识引入多模态语义理解方法中,并取得不错效果.为了更深入了解当前知识驱动的多模态语义理解研究进展,文中在对相关方法进行系统调研与分析的基础上,归纳总结关系型和对齐型这两类主要的多模态知识表示框架.然后选择多个代表性应用进行具体介绍,包括图文匹配、目标检测、语义分割、视觉-语言导航等.此外,文中总结当前相关方法的优缺点并展望未来可能的发展趋势.

图像对抗样本的安全性研究概述

计算机性能的提高和深度学习的出现,使得人工智能技术得到普遍应用,深度学习模型的安全性问题受到了广泛的关注.对抗样本的存在是深度学习应用场景的主要威胁之一,限制了诸如人脸识别、自动驾驶等隐私安全性要求较高的应用场景.深度学习模型除了需要神经网络有良好的性能外,还需要它有足够的鲁棒性.令人担心的是,深度神经网络是否可以稳定可靠有效地应用在现实世界中,如果对深度神经网络的认知仅仅停留在一个黑盒模型,对于输入有良好的输出效果,那很难放心地将其应用在现实中.介绍了对抗样本存在的原因,分类归纳了对抗攻击和对抗防御的算法.同时使用MNIST,CIFAR-10,ImageNet数据集对相关代表性的方法进行了实验验证,最后对这一领域的发展趋势进行了展望.

数据增强对深度伪造检测模型的影响研究

针对高压缩率图片检测的准确度不高的问题,解决此类问题的一种有效方法是使用数据增强策略,进而提高对高压缩率图片检测的准确度。围绕数据增强对深度伪造检测模型的影响展开研究,检测网络使用XceptionNet,选取14种基于遮挡类和光学变化的数据增强方法进行分析,之后使用Grad-CAM进行了可视化分析,增强模型的可解释性。实验结果表明,这4种遮挡式方法均有一定效果的提升,而基于光学变换的数据增强方法中,对比度和亮度变换可以提升模型的检测性能。相比于增加网络模型结构等操作,数据增强方法简单有效,可以有效地提升模型在经后处理操作图像上的检测准确度,但数据增强操作并不能有效地增强检测模型的泛化性,因此,针对泛化性的研究仍任重而道远。

人脸亲子关系验证研究综述

人脸亲子关系验证即通过给定的不同人的两幅人脸图像判断其是否具有亲子关系,是计算机视觉和机器学习领域中一个重要的研究问题,在丢失儿童寻找、社会媒体分析、图像自动标注等领域具有广泛的应用价值.随着人脸亲子关系验证问题受到越来越多的关注,其在多个方面都得到了相应的发展,本文对人脸亲子关系验证方法做了综述整理.首先,简要介绍了人脸亲子关系验证在近十年的研究现状,随后对问题进行了定义并讨论其面临的挑战.接下来,汇总了常用的亲子数据库,对数据库属性做了详细的总结和对比.然后,对人脸亲子关系验证方法进行了分类总结、对比,以及不同方法的性能表现.最后,展望了人脸亲子关系验证今后可能的研究方向.

基于可变尺度先验框的声呐图像目标检测

利用深度学习对声呐图像进行目标检测是近年来的研究热点,然而声呐图像存在目标尺度分布集中、数据获取难等问题,导致检测效果难以满足需求。针对该问题,提出了一种基于可变尺度先验框的目标检测方法。首先,考虑到声呐图像中目标的尺度分布具有其特殊性,基于先验统计生成可变尺度先验框。其次,为了解决声呐图像稀缺的难题,采用数据增强的方法对训练集进行扩充。最后,探索了模型的轻量化,通过删减模型的大目标检测层,在不降低模型精度的同时简化模型结构。为了评估算法的有效性,以前视声呐图像为例进行了综合试验,平均精度(mean average precision,mAP)@0.75和mAP@0.5:0.95分别达0.585和0.559,较原Yolov5网络分别提升了5.8%和3.1%,同时每秒10亿次浮点运算次数下降到14.9。结果表明,所提算法具有更高的精度和更轻量化的模型结构。

2019年人工智能新态势与新进展

【目的】人工智能已经成为社会各界最为关注的热点技术方向,本文旨在让政府部门、科技人员、产业人员和社会大众了解人工智能领域的最新动态。【方法】本文重点梳理了2019年人工智能新闻事件和科技文献,对人工智能领域总体发展态势进行概括和总结,对人工智能重点技术进展进行综述和展望。【结果】2019年人工智能发展更加理性务实,一方面呈现出“瓜熟蒂落、水到渠成”的繁荣景象,在万物互联、大数据、超级计算、深度学习时代实现了技术应用和产业落地,另一方面我们也可以看到基于深度神经网络的技术创新开始进入平稳期,科研人员开始探索增强学习、自动化机器学习、脑机接口、类脑智能、可解释人工智能等新方向,在人工智能创新触发期“芽苞初放,生机勃勃”。【局限】本文以介绍人工智能技术进展为主,没有对技术未来方向进行全面预测。【结论】2019年人工智能在神经形态芯片、脑机融合、人机博弈、智能机器人、计算机视觉、自然语言理解等领域都取得重要技术进展,但是我们看到迈向通用人工智能仍然任重道远,人工智能领域亟待革命性的技术创新和突破。

基于不确定性估计的推荐系统多任务学习去偏方法

推荐系统在互联网应用中扮演重要的角色,它的核心任务是将最相关的物品推荐给用户,然而,由于推荐系统通常在大规模、稀疏和高维的数据集上运行,因此存在严重的偏差问题.近年来,多任务学习成为解决推荐系统偏差的有效方法,它可以同时学习多个相关任务,充分利用数据集的内在结构和相关性,研究人员最近还提出全空间反事实的转化率预测,利用逆倾向得分和双重鲁棒方法对推荐算法的效果进行估计.然而,通过理论分析发现,倾向性分数估计不准确和插值误差往往会导致预估偏差,这在实践中经常发生,影响了推荐的准确性和可靠性.由此,引入不确定性估计,结合多任务学习,通过计算每个用户反馈数据的概率分布来衡量数据的可靠程度,减轻模型在数据稀疏或数据噪声较大时的过拟合问题,有效地提高系统的泛化能力并减少偏差.实验结果表明,加入不确定性估计的多任务学习可以更好地适应不确定性的环境,在推荐系统中有广阔的应用前景.

基于生成对抗网络的人脸年龄编辑方法综述

【目的】对基于生成对抗网络的人脸年龄编辑方法进行系统梳理和全面总结。【文献范围】本文从该领域发表在国内外一流会议期刊上的文章出发,按照引用关系对具有代表性的方法进行了检索,并对最终得到的众多研究工作进行了综述。【方法】本文从生成对抗网络内在机制的角度出发,按照隐向量求取和操控方式的不同,对现有方法进行了分类,并对各个模型之间的共性和差异进行了分析和比较。【结果】随着生成对抗网络的快速发展,人脸年龄编辑方法的各方面性能稳步提升,但是仍然面临着诸多问题和挑战。【局限】由于尚不存在一套通用的评价标准,因此本文暂时无法将所有涉及到的方法用一组统一的定量指标进行衡量和比较。【结论】虽然已经取得了显著的成果,但是现有方法在编辑过程的灵活性、极端情况的适应性以及输出结果的多样性方面还有亟待解决的问题。

面向人脸深度伪造检测模型的校准性评测

深度学习模型在深度伪造检测任务中的预测准确度已经取得了很大的提升,但其预测置信度仍不可靠,即模型的校准性有待提升。针对此问题,以公开的弱监督数据增强网络(WS-DAN)为例,验证分析该模型在同分布及不同分布测试数据情况下的校准性,并将蒙特卡洛Dropout和Deep Ensembles两种校准性提升方法在人脸深度伪造检测任务中应用,以验证这2种方法的有效性。首先训练了用于检测深度伪造人脸图像的弱监督数据增强网络,分析了弱监督数据增强对模型检测效果的影响。然后对比了不同校准性提升方法对模型预测准确性与校准性的影响。最后在DFDC、Celeb-DF和FF++3个数据集上进行了实验,使用AP指标评测模型预测准确度,并使用Log Loss与ECE指标评测模型预测的校准度,进行了大量实验对比与分析。实验表明,弱监督数据增强能够使得模型关注到输入图像的细节信息,从而给检测结果的准确性和校准性带来显著提升。Deep Ensembles方法能够使模型的表现随着所集成网络的数量增加而加强,更能够减少模型预测中错误但非常确定的情况发生,使得模型的校准性得到有效提升。

融合人体全身表观特征的行人头部跟踪模型

现有的行人多目标跟踪模型在密集场景下存在行人无法检出以及帧间关联混淆的问题。为了提高密集场景下行人跟踪的精确率,提出一种融合全身表观特征的行人头部跟踪模型HT-FF(Head Tracking with Full-body Features)。首先,使用行人头部检测器替代全身检测器,提高密集场景下行人的检出率;其次,利用人体姿态估计的信息为引导,获得去噪声的全身表观特征作为跟踪线索,大幅减少多帧之间关联时发生的混淆。HT-FF模型在密集场景下行人跟踪的基准数据集Head Tracking 21(HT21)上的MOTA(Multiple Object Tracking Accuracy)和IDF1(ID F1 Score)等多个指标上取得了最优的结果。HT-FF模型能有效缓解密集场景下行人跟踪丢失和混淆的问题,所提出的融合多线索的跟踪模型是行人跟踪任务的新范式。

视觉对抗样本生成技术概述

深度学习的发明,使得人工智能技术迎来了新的机遇,再次进入了蓬勃发展期。其涉及到的隐私、安全、伦理等问题也日益受到了人们的广泛关注。以对抗样本生成为代表的新技术,直接将人工智能、特别是深度学习模型的脆弱性展示到了人们面前,使得人工智能技术在应用落地时,必须要重视此类问题。本文通过对抗样本生成技术的回顾,从信号层、内容层以及语义层三个层面,白盒攻击与黑盒攻击两个角度,简要介绍了对抗样本生成技术,目的是希望读者能够更好地发现对抗样本的本质,对机器学习模型的健壮性、安全性和可解释性研究有所启发。

情境大数据建模及其在用户行为预测中的应用

随着大数据时代的到来,信息系统收集了海量情境信息,如舆情信息、环境信息、经济信息等。这些情景大数据提供丰富的细节信息,更细致地刻画行为背景以辅助用户行为建模。阐述了两种使用表达学习策略建模一般化情境信息的框架,并针对情境大数据中最常见的时序情境建模问题,使用循环神经网络建模时序情境中的序列依赖关系。

基于空洞卷积和注意力机制的深度伪造检测

人脸深度伪造图像的生成过程是对目标人脸进行替换,由于不同图片的肤色和光照等差异,在人脸周围会产生比较分散的伪影边界,且对人脸进行裁剪之后会包含部分背景信息的干扰。针对深度伪造图像的生成特点,区别于常规的CNN分类识别网络,设计了一种符合伪造痕迹特点的检测网络。首先,利用Resnet34卷积神经网络对待检测的图像提取初步的伪造特征;其次,经过空洞卷积提高网络模型的感受野来更好地捕获比较分散的伪造痕迹;再由空间注意力模块进行权重的重加权,减少其他背景信息的干扰;最后使用多层全连接神经网络对特征进行分类,达到对深度伪造图片进行准确分类的目的。在Faceforensics++、Celeb-DF、DFDC三个主流数据集上进行实验,并取得比当前其他方法更好的效果。实验结果表明,所提方法结合了空洞卷积和注意力机制,应对不同人脸截取比例的伪造图像拥有更好的适应性。

基于CutMix算法和改进Xception网络的深度伪造检测研究

随着深度伪造技术的发展,生成的图片视频质量越来越逼真,给社会带来了巨大的安全风险。针对现有的检测方法参数量大、网络较深、模型结构复杂等情况,首先对取证领域的经典检测模型XceptionNet进行优化,提出一种轻量化的取证模型Xcep_Block8,在减少模型参数量的同时,仍保持较高的检测精度。其次,针对类别不均衡问题,通过提高较少类别样本的采样概率,较好地解决了正负样本不均的情况。最后使用混合式数据增强方法CutMix增强样本之间的线性表达。实验结果表明,所提模型的测试结果较基线结果提升约1.01个百分点,同时在参数量方面较其他方法也有一定优势。

基于篡改伪影的深度伪造检测方法

随着深度伪造(Deepfake)技术的不断发展,犯罪分子可以利用造假图片伪造不在场证明,从而误导侦查方向以逃避法律责任。现有多数检测方法依赖于数据驱动,在跨压缩率、跨分辨率方面鲁棒性不强。研究Deepfake视频在脸部区域所遗留的伪影,建立一种基于Xception的双流网络检测模型,以实现对Deepfake图片的自动检测。利用Xception网络提取图片的全局空域特征,对脸部区域进行有效遮挡,凸显出脸部伪影并提取伪影特征。在此基础上,将空域特征与伪造特征2个支流的预测结果进行融合判别。在Deepfakes数据集上的实验结果表明,该模型的测试精度高达0.9864。

基于可变性分析的紧致图像表达

图像表达是图像分类中最基本也是最重要的一个环节,当前的图像表达方法为了获得较高的分类性能,通常采用维度极高的特征向量.这给分类器的训练和特征的存储带来了极大的负担.同时,这些方法没有考虑图像的变化给图像表达所带来的影响.为此,针对以上的问题提出了一种对图像的可变性进行建模的方法.该方法首先使用高斯混合模型对底层视觉特征进行建模;再构造图像的充分统计量;最后采用可变性分析对充分统计量进行分解,并结合偏最小二乘回归方法获得紧致的图像表达.在公开的主流图像分类数据库上,该方法在获得更高的分类性能的同时极大地降低了分类器的训练和特征存储的开销.

基于强化学习的ATM现金管理方法

ATM的现金管理直接影响到银行业务的正常运营和利润,ATM存放过多的现钞对银行来说是增加运营成本,但若存放过少的现钞又容易出现空钞现象。为了兼顾服务质量、控制运营成本,提出一种基于深度强化学习的现金管理方法,综合考虑加钞成本及缺钞成本,实现了端到端的加钞控制决策。与定时定量的粗放式加钞相比,该方法的加钞次数较少、空钞次数接近定时定量加钞的最好水平,可为优化加钞方案、降低银行运营成本提供重要依据。

《虹膜识别》课程案例与反思

随着中小学教育机器人课程、兴趣选修课程的开设,更多的科学技术知识逐渐向中小学生普及。生物特征识别作为人工智能的一部分,也在逐渐融入人们的生活,应用范围也越来越广。本文通过对《面向人工智能技术探索的创客培育》系列科普课程中的《虹膜获取课程》案例进行分析,并对此次教学过程进行总结分析,以期不断增长经验,不断改进教学。