面向图像分类的深度模型可解释性研究综述

深度学习目前在计算机视觉、自然语言处理、语音识别等领域得到了深入发展,与传统的机器学习算法相比,深度模型在许多任务上具有较高的准确率.然而,作为端到端的具有高度非线性的复杂模型,深度模型的可解释性没有传统机器学习算法好,这为深度学习在现实生活中的应用带来了一定的阻碍.深度模型的可解释性研究具有重大意义而且是非常必要的,近年来许多学者围绕这一问题提出了不同的算法.针对图像分类任务,将可解释性算法分为全局可解释性和局部可解释性算法.在解释的粒度上,进一步将全局解释性算法分为模型级和神经元级的可解释性算法,将局部可解释性算法划分为像素级特征、概念级特征以及图像级特征可解释性算法.基于上述分类框架,总结了常见的深度模型可解释性算法以及相关的评价指标,同时讨论了可解释性研究面临的挑战和未来的研究方向.认为深度模型的可解释性研究和理论基础研究是打开深度模型黑箱的必要途径,同时可解释性算法存在巨大潜力可以为解决深度模型的公平性、泛化性等其他问题提供帮助.

基于知识的零样本视觉识别综述

零样本学习旨在通过运用已学到的已知类知识去认知未知类.近年来,"数据+知识驱动"已经成为当下的新潮流,而在计算机视觉领域内的零样本任务中,"知识"本身却缺乏统一明确的定义.针对这种情况,尝试从知识的角度出发,梳理了本领域内"知识"这一概念所覆盖的范畴,共划分为初级知识、抽象知识以及外部知识.基于前面对知识的定义和划分,梳理了当前的零样本学习(主要是图像分类任务的模型)工作,分为基于初级知识的零样本模型、基于抽象知识的零样本模型以及引入外部知识的零样本模型.还对领域内存在的域偏移和枢纽点问题进行了阐述,并基于问题对现有工作进行了总结归纳.最后总结了目前常用的图像分类任务的数据集和知识库、图像分类实验评估标准以及代表性的模型实验结果,并对未来的工作进行了展望.

融合多层语义的跨模态检索

如何挖掘出不同模态数据之间的潜在语义关联是跨模态检索算法的核心问题。已有研究表明,将表示学习和关联学习融合的模式比较适用于跨模态检索的任务,但目前基于这一模式的模型的不同模态数据的抽象层次之间只包含着1-1的对应关联关系。由于异构多模态数据的抽象粒度并不完全相同,对此它们之间的关联关系很可能不只存在于指定的抽象层上。因此,提出了一种融合多层语义的跨模态检索模型,它利用深度玻尔兹曼机的双向结构特点,实现了将文本模态数据的不同抽象层次同时关联到图像模态数据的多个抽象层上,从而更充分地挖掘不同模态数据抽象层之间N-M的内在关联。基于3个公开数据集的实验结果表明,该模型优于之前类似的跨模态检索模型,具有更高的检索精确度。

地域环境与文化:晋东南传统民居的类型分布及形成机制

晋东南地区包括长治市和晋城市,传统民居遗存非常丰富。以晋东南地区的传统民居作为研究对象,选取了299个村落,将每个村落60%以上的传统民居形态作为该村落传统民居类型的划分标准,运用聚类分析法做分类,得出窑洞、房窑混合、二层楼屋、一层土石木房屋4个类型区。并用GIS做核密度分析,得到各类型传统民居的主要分布区。在此基础上,从自然环境、人文环境两个层面运用定量分析与定性分析方法探讨了晋东南传统民居类型的形成机制,认为自然环境是基础因素,地形地貌及建筑资源的分布影响着传统民居的修建材料、建筑环境及类型分布。人文环境包括明清商业手工业的发展、传统文化和明清社会动乱,对传统民居的立面形态、细部装饰、院落布局的样式等有一定作用,是晋东南传统民居类型形成的重要因素。