多媒体数据的知识关联与理解专题前言

近年来,不同来源的多媒体数据产生量剧增,成为用户信息获取、信息交换与信息消费的主要对象,多媒体数据具有广泛的应用需求和重大的应用价值.相对于其他数据类型,图像、视频等多媒体数据具有关系繁杂、冗余性强、信息隐藏深、全面理解困难等特点,因此,全面和准确地分析和理解多媒体内容是一个非常重要和具有挑战性的问题.最近,基于知识关联与理解的多媒体计算正逐渐得到研究者的关注,呈现出新的发展动态,这项研究可以使得多媒体内容的分析与理解更加深入,建立从多媒体内容感知到全面认知理解的桥梁.

多媒体内容的多维度相似性计算与搜索专题前言

图像、视音频等多媒体数据包含的信息量非常丰富.近年来,随着研究的不断深入,根据不同应用需求,多媒体搜索可以从不同维度展开,包括从底层特征到高层语义的表示维度、从实例到类别的物体维度、从单个概念到多个概念直至语言的描述维度、从全局内容到局部区域的尺度维度等,并且这些维度之间也相互关联与交叉.多维度的多媒体相似性计算与搜索研究可以深入挖掘多媒体内容的相似性,建立更加全面的多媒体内容搜索方案.

基于像素⁃目标级共生关系学习的多标签航拍图像分类方法

不同类别物体之间的共生关系对多标签航拍图像分类任务有非常重要的作用.提出一种基于像素⁃目标级共生关系学习网络的多标签航拍图像分类方法,主要包括像素级共生关系学习模块和目标级共生关系学习模块.像素级共生关系学习模块利用不同空间位置像素点之间的特征相似性来间接度量共生关系,但由于单个像素点不能完全表征整个物体,所以这种像素级的共生关系可能无法有效地帮助目标像素点判断其所属类别.目标级共生关系学习模块则从整体的角度考虑物体之间的关系,因而可以弥补像素级共生关系学习的不足.实验结果表明,提出的方法在UCM和DFC15两个公共评测数据集上均取得了较好的分类性能.

联合姿态先验的人体精确解析双分支网络模型

人体解析旨在将人体图像分割成多个具有细粒度语义的部件区域,进行形成对人体图像的语义理解.然而,由于人体姿态的复杂性,现有的人体解析算法容易对人体四肢部件形成误判,且对于小目标区域的分割不够精确.针对上述问题,联合人体姿态估计信息,提出了一种人体精确解析的双分支网络模型.该模型首先使用基干网络表征人体图像,将人体姿态估计模型预测到的姿态先验作为基干网络的注意力信息,进而形成人体结构先验驱动的多尺度特征表达,并将提取的特征分别输入至全卷积网络解析分支与检测解析分支.全卷积网络解析分支获得全局分割结果,检测解析分支更关注小尺度目标的检测与分割,融合两个分支的预测信息可以获得更为精确的分割结果.实验结果验证了该算法的有效性,在当前主流的人体解析数据集LIP和ATR上,所提方法的m Io U评测指标分别为52.19%和68.29%,有效提升了解析精度,在人体四肢部件以及小目标部件区域获得了更为准确的分割结果.

基于病理穿刺切片组织形态学分析的乳腺癌新辅助化疗疗效预测

目的利用深度学习的方法对乳腺癌患者接受新辅助化疗(NAC)前的穿刺切片进行肿瘤区域和细胞核的自动分割,提取肿瘤区域细胞群特征,从而对乳腺癌NAC病理缓解程度进行预测。方法收集在江苏省人民医院接受NAC治疗前的68位乳腺癌患者的术前穿刺HE染色切片,两位病理医生对其中12张穿刺切片进行了肿瘤区域的标记,其中8张作为训练集,4张作为测试集,剩余的56张由训练好的肿瘤区分割模型进行肿瘤分割。运用UNet++建立分割模型,分别对乳腺癌病理穿刺切片肿瘤区域和细胞核进行自动分割;然后,根据自动分割的肿瘤区域内细胞核,构建肿瘤内细胞层次的特征;最后运用特征选择方法选择有效的特征,通过五折交叉验证训练分类器模型预测NAC的病理缓解程度的高低。结果基于68位患者的病理穿刺切片进行预测,最大相关最小冗余(m RMR)的特征选择方法筛选出的10个维度特征和随机森林(RF)分类器结合训练的模型预测结果的准确率最高,准确率达到82.35%,曲线下面积(AUC)值达到0.9082。结论本模型能够在切片病理图像上自动分割肿瘤区域和细胞核,构建的肿瘤区域细胞核群的特征能够预测患者对NAC的病理缓解程度,方法可靠且可重复性较高,同时发现肿瘤区域细胞核纹理特征在预测中效果较好,进一步证实了肿瘤区域细胞核群对疗效预测具有重要意义。