跨媒体智能关联分析与语义理解理论与技术研究进展

深入分析了跨媒体智能关联分析与语义理解理论技术的最新研究进展,包括多模态数据的统一表达、知识引导的数据融合、跨媒体关联分析、基于知识图谱的跨媒体表征技术以及面向多模态的智能应用.其中,多模态数据的统一表达是对跨媒体信息进行分析推理的先决条件,利用多模态信息间的语义一致性剔除冗余信息,通过跨模态相互转化来实现跨媒体信息统一表达,学习更全面的特征表示;跨媒体关联分析立足于图像语言、视频语言以及音视频语言的跨模态关联分析与理解技术,旨在弥合视觉、听觉以及语言之间的语义鸿沟,充分建立不同模态间的语义关联;基于知识图谱的跨媒体表征技术通过引入跨媒体的知识图谱,从跨媒体知识图谱构建、跨媒体知识图谱嵌入以及跨媒体知识推理3个方面展开研究,增强跨媒体数据表征的可靠性,并提升后续推理任务的分析效率和准确性;随着跨模态分析技术的快速发展,面向多模态的智能应用得到了更多的技术支撑,依据智能应用所需要的领域知识,选取了多模态视觉问答,多模式视频摘要、多模式视觉模式挖掘、多模式推荐、跨模态智能推理和跨模态医学图像预测等跨模态应用实例,梳理了其在多模态数据融合以及跨媒体分析推理方面的研究进展.

跨媒体智能视角下的知识服务探析

多源异构的跨媒体数据的快速涌现,改变了信息处理和分析的模式。文章研究分析了跨媒体智能对知识服务带来的全新理念。首先介绍了跨媒体智能产生的原因,梳理了该领域研究的四大视角:知识表达、知识关联、知识推理和智能应用;随后,分析了跨媒体智能技术对图书情报机构在资源组织、知识挖掘、知识发现、知识呈现能力方面带来的挑战;最后,探析了四个应对方案:知识即服务的理念、知识挖掘应用的社会化、跨媒体知识图谱的探索以及知识服务的“小数据”化。

面向资源的图书馆跨媒体知识服务——特征、路径和创新服务

现代图书馆资源呈现出跨源和跨模态的跨媒体特征。面向资源的图书馆跨媒体知识服务具有知识模态的大跨度、知识内容的大视角、激发创新的大服务三个重要特征。文章探讨了跨媒体知识服务创新模式,包括集成性跨媒体知识检索、全景式跨媒体知识导航、情境化跨媒体知识推荐、深度嵌入式跨媒体知识咨询、个性化跨媒体知识推送、自动化跨媒体知识问答,提出以跨媒体知识图谱构建和管理为核心、跨媒体知识发现和创新为关键的跨媒体知识服务实现路径,以期为跨媒体知识服务的深入研究提供参考。