针对视频语义描述模型的稀疏对抗样本攻击

在多模态深度学习领域,尽管有很多研究表明图像语义描述模型容易受到对抗样本的攻击,但是视频语义描述模型的鲁棒性并没有得到很多的关注。主要原因有两点:一是与图像语义描述模型相比,视频语义描述模型的输入是一个图像流,而不是单一的图像,如果对视频的每一帧进行扰动,那么整体的计算量将会很大;二是与视频识别模型相比,视频语义描述模型的输出不是一个单词,而是更复杂的语义描述。为了解决上述问题以及研究视频描述模型的鲁棒性,提出了一种针对视频语义描述模型的稀疏对抗样本攻击方法。首先,基于图像识别领域的显著性分析的原理,提出了一种评估视频中不同帧对模型输出贡献度的方法。在此基础上,选择关键帧施加扰动。其次,针对视频语义描述模型,设计了基于L2范数的优化目标函数。在数据集MSR-VTT上的实验结果表明,所提方法在定向攻击上的成功率为96.4%,相比随机选择视频帧,查询次数减少了45%以上。上述结果验证了所提方法的有效性并揭示了视频语义描述模型的脆弱性。

基于知识元语义描述模型的红色文化数字资源知识抽取研究

[目的/意义]目前,对红色文化资源的组织以文本、图像、视频等方式展示,缺少知识要素之间的关联,造成资源的分散化和碎片化等问题,大大限制了红色文化领域知识的完整性与可传播性,亟需从语义层面上将海量零散的知识进行抽取,为红色文化数字资源提供系统性组织与保护。[方法/过程]文章在原有红色文化资源数字化建设的基础上进行知识抽取探讨,并引入知识元语义描述模型,从而对红色文化提供更深层次的系统保护。首先,明确红色文化知识元的概念;接着,在构建红色文化知识元语义描述模型的基础上,设计知识抽取方法,并利用深度学习模型进行实体识别和关系抽取;最后,以南京市红色文化数字资源为例进行实证分析。[结果/结论]结果表明,该方法能够实现红色文化数字资源规范化、知识化、共享化,促进红色文化领域向知识组织发展,推动红色文化的保护与传承。

近代报纸资源细粒度语义描述模型设计及应用——以《盛京时报》为例

[目的/意义]设计科学、规范的近代报纸资源细粒度语义描述模型,深入揭示近代报纸资源特征及关联关系,为近代报纸资源的有效管理、组织及知识发现、知识服务提供参考。[方法/过程]通过分析近代报纸资源逻辑结构、物理布局、内容信息等,从领域本体和元数据描述两方面着手,复用CIDOC-CRM本体概念模型和EAD、DC、《古籍元数据规范》,以《盛京时报》为例设计近代报纸资源细粒度语义描述模型,并采用Oxygen XML工具将语义描述模型用RDF/XML语言进行描述,实现元素互操作和模型应用。[结果/结论]为近代报纸资源组织提供一个可操作的细粒度语义描述模型,为近代报纸资源库构建、报纸规范化管理及应用系统开发等提供基础保障,促进近代报纸资源的开发、利用与共享。

基于知识元语义描述模型的领域知识抽取与表示研究——以信息检索领域为例

【目的】基于知识元视角探索从异构数据中抽取和集成领域知识,丰富知识表示的语义信息。【方法】优化现有的知识元语义描述模型,提出基于知识元语义描述模型的知识抽取与表示方法,并以信息检索领域为例开展应用。【结果】从维基百科以及两本经典教材中抽取信息检索领域4200条知识元和3020个实体,支持知识元及其实体之间关系的查询。【局限】知识元间语义关系的挖掘不够充分,知识抽取过程未能实现全自动。【结论】在一定程度上突破现有研究中知识表示语义不丰富的局限,为领域知识服务提供新视角。

互联网全息位置地图迭加协议与建模制图技术

通过该年度的研究,对全息位置地图的内涵、技术体系有了更清晰准确的认识,并在若干技术层面取得了进展。研究了全息位置地图的理论框架,对全息位置地图的概念、特征进行了分析,对全息位置地图的制图模型开展了研究。构建了全息位置地图的情境模型和统一数据模型,提出了活动模型、行为模型、情境信息模型组成的三层全息位置地图情境模型,建立了由活动规则、行为规则、情境信息规则组成的逐层推理机制。通过对上海试验区的数据分析,在该年度内重点研究了多种语义位置描述模型,以及信息存储数据模型,特别对室内空间数据模型进行了详细讨论。对多尺度转换、基于地图空间密度分布的网络拓扑地图变比例尺可视化、基于语义的室外场景三维重建等全息位置地图制图关键技术进行了研究,完成了室外街景全景位置数据采集总体集成、互联网位置服务信息挖掘系统的研发,设计了全息位置地图快速制图系统的总体框架与核心模块,设计并初步构建了基于移动平台的室内数据采集系统。