联合多意图识别与语义槽填充的双向交互模型

意图识别与语义槽填充是口语理解的两个主要任务,两者具有高度相关性,通常进行联合训练。随着口语理解任务的深入,研究发现用户在现实场景中的话语往往含有多个意图。但部分联合模型只能识别用户话语中的单个意图,未能充分建模多个意图和语义槽之间的关联性。考虑到话语中多个意图的信息可以引导语义槽填充,语义槽信息也可以帮助意图更好的识别,模型采用图注意力网络建立意图和语义槽之间的双向交互。具体的,将两个任务双向关联以便模型能够挖掘多个意图与语义槽之间的关系,同时引入两个任务的标签信息使模型能够学习到话语上下文和标签的关系,从而提高意图识别与语义槽填充的准确率,优化口语理解的整体性能。实验表明,模型在MixATIS和MixSNIPS两个多意图数据集上对比其他模型性能得到了显著提升。

基于口述历史资源的名人历史事件语义模型构建及实证研究

[目的/意义]口述历史资源具有重要的史料价值和精神价值,具有跨图书馆、档案馆、博物馆、科技馆等多领域的异构资源特征,由口述历史资源析出的名人历史事件,其“自下而上”研究历史的新途径,受到了历史、档案、图情领域的普遍重视。事件的知识组织与应用一直是知识处理的重点和难点问题,而在数字人文视角下,名人历史事件的知识化是对名人特藏资源进行知识重组、价值挖掘和叙事展演的重要基础。[方法/过程]在前人研究的基础上,本文对名人历史事件的内涵、特征和应用需求进行了总结与分析,构建了名人历史事件语义模型,并以科学家李政道和其创办CUSPEA事件为例进行语义模型的实例化构建。[结果/结论]在名人历史事件语义模型基础上所建设的图数据库,能够形成更具灵活性、细粒度、可扩展、相关联的实体关系和知识,实现不同类型的用户对名人特色资源进行语义级查询、主题性聚合、叙事化展示和可视化呈现的知识表示。

语义增强图像-文本预训练模型的零样本三维模型分类

目前,基于对比学习的图像-文本预训练模型(CLIP)在零样本3维模型分类任务上表现出了巨大潜力,然而3维模型和文本之间存在巨大的模态鸿沟,影响了分类准确率的进一步提高。针对以上问题,该文提出一种语义增强CLIP的零样本3维模型分类方法。该方法首先将3维模型表示成多视图;然后为了增强零样本学习对未知类别的识别能力,通过视觉语言生成模型获得每张视图及其类别的语义描述性文本,并将其作为视图和类别提示文本之间的语义桥梁,语义描述性文本采用图像字幕和视觉问答两种方式获取;最后微调语义编码器将语义描述性文本具化为类别的语义描述,其拥有丰富的语义信息和较好的可解释性,有效减小了视图和类别提示文本的语义鸿沟。实验表明,该文方法在ModelNet10和ModelNet40数据集上的分类性能优于现有的零样本分类方法。

基于多元语义特征和图卷积神经网络的短文本分类模型

在互联网和社交媒体迅猛发展的背景下,网络中出现了大量的短文本数据,这些数据在舆情监控、情感分析和新闻分类等自然语言处理领域展现出了非常高的经济和学术价值.但短文本数据固有的特征给短文本分类带来了不小的挑战,如文本稀疏和缺乏丰富的上下文语义等.针对这些问题,提出了一种结合多元语义特征和图卷积神经网络(GCN)的短文本分类模型,该模型通过哈尔滨工业大学的语言技术平台获取短文本的多种语义特征,并将这些语义特征同短文本一起构建一个多元异构图,然后将其作为GCN的输入,利用GCN学习短文本更深层特征,最后通过Softmax函数获取每个类别的概率分布,进而实现短文本分类.试验结果表明,本模型在短文本分类的F1评分上比传统单一模型提高了4%.

基于MDR2023的元数据值域语义约束注册标准化模型研究

元数据注册(MetadataRegistry,MDR)是数据治理中元数据精确表达语义的必要前提。通过全面系统地分析国内外的MDR系统,发现国内外MDR更多关注基本数据元素,数据语义约束注册方面的研究缺乏。因此,首先基于ISO/IEC11179:2023(MDR2023)系列标准提出元数据语义约束外延分类模型,明确元数据语义约束范围,并选取其中的值域语义约束详细研究;其次,基于MDR2023标准提出元数据值域语义约束注册元模型,为元数据语义约束注册提供标准化且完整的注册算法流程,从而为元数据值域语义约束注册提供解决方案;最后,以石油领域著名的POSC标准为需求背景,对其中的值域语义约束进行注册,据此实现石油领域元数据值域语义约束的标准化,验证提出的元数据值域语义约束注册元模型的合理性和可行性。提出的元模型对于其他领域数据治理具有普适性。

面向地图匹配的室内位置-语义模型设计

传统的室内空间信息模型或者过于复杂导致操作性较差,或者没有充分表达地图匹配所需的空间要素信息,阻碍地图匹配方法的高效实施。该研究将以构建能够有效支撑地图匹配的室内空间信息模型作为研究目标,此模型应明确室内空间要素的表达内容,并应确定具体的表达方法。模型的构建应以地图匹配方法的机理为基础,以室内地图匹配的实际需要为导向,以表达支撑室内地图匹配的空间信息为目的,分别对室内空间要素的位置及属性,室内空间要素之间的拓扑关系进行表达。该研究构建面向地图匹配的室内位置-语义模型。实验表明此模型较为简洁且信息完备,可在保证地图匹配实际需要的同时提高运行效率。

语义任务与形式任务对二语词汇形义匹配的影响——对加工资源分配模型的验证

本研究采用拉丁方设计,考察任务类型对二语词汇即时学习的影响,并从词汇形义匹配的角度对加工资源分配模型(即TOPRA模型)的适用性进行验证。51名非英语专业一年级大学生分别在语义任务、形式任务和无任务3种条件下学习24个英语单词,之后接受单词自由回忆和单词提示回忆的即时测试。结果发现:在一语自由回忆测试中,任务类型显著影响词汇意义的学习,语义任务对词汇意义的学习有促进作用,而形式任务对词汇意义的学习有抑制作用;在二语自由回忆测试中,任务类型对词汇形式的学习没有影响;在一语和二语提示回忆测试中,任务类型显著影响二语词汇的即时学习效果,语义任务和形式任务都对词汇形义匹配知识的学习有抑制作用。本研究部分验证了TOPRA模型的适用性,希望可以为二语词汇教学提供一定的借鉴和参考。

外部注意力增强语义交互的阅读理解模型

针对传统抽取式阅读理解模型未充分考虑问答样本之间潜在相关性的问题,通过RoBERTa对问题与段落进行编码,利用外部注意力Exatt增强语义交互层特征获取能力,提出外部注意力增强语义交互的阅读理解模型,捕获问题与段落中蕴涵的语义特征和不同问答样本之间的潜在相关性。实验结果表明,在CMRC2018和构建的电力安规问答数据集上,在评价指标EM和F1两方面,该方法较基线模型分别最高提高了0.737%和2.556%。

“X怎么着”类回声构式的句法特征、语义模型及语用表现

汉语口语表达中的常用格式“X怎么着”分为两类:一类表示询问,一类表示反诘。后者表达的是说话人对前一说话人(受话人)话语X的否定态度,其整体意义的解读不能从组成成分的意义简单相加获得,可以界定为回声构式。从句法上看,回声构式中的X一般为名词性成分、谓词性成分,以及少量单句,主要有完全回声、截取回声和转换回声三种形式。从语义上看,名词性成分表现为主体,含有言外之意,谓词性成分以及单句表现为事件,对言说几方存在利害关系,形成了四种语义模型。从语用上看,说话人使用该类构式表达强烈的反诘否定,主要表现为强冲突型情感和弱冲突型情感两种情感倾向,以及居于话轮之首,容易激发前一说话人(受话人)采取对抗策略的语篇特征。

基于本体和语义网的中医专家问诊信息模型构建与呼吸科应用示范研究

目的通过梳理中医专家问诊思维导图,采用本体和语义网技术探索构建中医专家问诊信息模型的方法。方法中医专家问诊信息模型是由中医专家问诊数据采集信息模型和中医专家问诊知识库本体两部分组成,基于对中医专家问诊思维导图的梳理,结合已发表的论文和专著中所载各类中医病-证-症量表、已发布的各专病标准数据集、中医和中西医指南/专家共识、高校教材、中医问诊相关国家标准和行业标准等,对研究素材中的中医专家问诊数据采集相关信息框架提炼,完成中医专家问诊数据采集信息模型的构建;参考复用中医药语言系统(Traditional Chinese Medicine language systems,TCMLS)、中医临床术语系统(Traditional Chinese Medicine clinical terminological systems,TCMCTS)、国标、行标中的术语进行筛选、合并、分类,确立领域概念,结合中医临床问诊实际情况和呼吸科专病中医问诊思维导图,采用人工知识抽取方法,构建中医专家问诊知识库相关语义关系,采用七步法及protégé本体工具构建中医专家问诊知识库本体,实现中医专家问诊信息的知识推理表示。结果成功绘制了中医专家问诊思维导图,初步完成了中医专家问诊信息模型的构建,实现了中医专家问诊知识库的结构化表达。结论整合了中医专家问诊相关知识,构建了中医专家问诊信息模型,规范了中医专家问诊知识库信息化表达,为中医临床专科问诊信息化研究的创新发展提供了借鉴和参考。

语义网赋能建筑信息交付及模型数据模式分析

针对以建筑信息模型(BIM)进行交付的信息共享模式所依赖的工业基础类(IFC)标准行业适用性不足且难以拓展的问题,探讨在IFC基础上引入语义网实现异源数据集成共享,并于语义层面实现信息交付。首先,通过算法解析和模型转化介绍语义化建模方法,并以二层钢框架厂房结构为例对该方法进行说明;然后,通过对转化案例进行数据模式分析,以验证建筑信息交付的准确性和建筑语义的可传递性。案例实践论证基于IfcOWL本体的语义化建模方法的可实施性;通过分析该语义化模型单元实例的数据模式,探究制约该语义化建模方法赋能建筑信息交付的关键因素;针对语义化建模方法所面临的问题,提出冗余信息规避、领域本体开发和轻量化语义建模的初步解决思路。SPARQL查询实例表明,所解析的数据模式对规避冗余信息有效。因此,该方法在共享和集成建筑多源异构信息方面具有优势,能有效提升建筑信息管理的智能化水平。

基于大语言模型的语义通信:现状,挑战与展望

语义通信有望成为下一代无线网络关键技术之一。但现有语义通信方案仍面临几个问题,如语义难以数学建模与优化、系统语义理解能力有限。大语言模型的出现为解决这些问题提供了可能性。首先回顾了基于深度学习的语义通信,接着分析了将大语言模型应用于语义通信的优势,包括在语义理解和生成等方面的突出表现。随后详细介绍了基于大语言模型的语义通信的最新进展,展示了该技术在提升系统的语义解析能力、提高信息传输效率方面的显著成果。然而,这种方法仍面临一些开放性问题,包括计算和资源需求、适应性和泛化性、大模型幻觉、以及数据隐私和安全性等挑战。最后,讨论了基于大语言模型的语义通信可能的应用场景,如数据爆发式传输、人机通信以及在恶劣环境下的通信,展示了其在多个领域中的潜在价值和广泛应用前景。

基于Transformer语义分割模型的露天矿场识别

露天矿场是生产建设项目水土保持信息化监管的重要对象,对其范围的高效精准识别对于监测非法违规开采行为,加强开采过程中的水土流失预防与治理具有重要意义。基于Transformer深度学习模型提出了露天矿场的遥感影像智能识别方法,并在四川省宜宾市的露天矿场影像数据集上与常用的基于卷积神经网络的深度学习识别方法进行了实验对比。结果表明:该方法对露天矿场范围识别的精确率、召回率、F1-score和IoU指标分别达到91.25%,90.66%,90.95%和83.41%,能够满足水土保持遥感监管的精确度要求;在识别精确度和识别效果上优于对比方法,在运行效率上与对比方法保持在同一数量级,表现出较强的应用价值。该方法在大区域露天矿场范围快速准确识别方面有推广应用潜力。

基于预训练模型的单帧航拍图像无监督语义分割

针对航拍图像语义分割成本高、通用性差和精度低等问题,提出了一种两阶段无监督语义分割网络(two-stage unsupervised semantic segmentation net, TUSSNet),针对单帧航拍图像训练进而生成最终的语义分割结果。算法分为2个阶段。首先,使用对比语言-图像预训练(contrastive language-image pretraining, CLIP)模型生成航拍图像的粗粒度语义标签,然后进行网络的预热训练。其次,在第一阶段的基础上,采用分割一切模型(segment anything model, SAM)对航拍图像进行细粒度类别预测,生成精细化类别掩码伪标签;然后迭代优化网络,得到最终语义分割结果。实验结果显示,相较于现有无监督语义分割方法,算法显著提高了航拍图像的分割精度,同时提供了准确的语义信息。

基于知识图谱的中性几何模型装配特征语义重建方法

现有企业的产品模型主要以中性几何模型文件格式储存。由于中性几何模型是以点、线、面等几何语义形式来储存信息,在实际装配过程中,中性几何模型不具有装配特征语义,不能够为装配环节提供指导作用。针对这一问题,首先提出了基于知识图谱的中性几何语义模型KG-NGSM,规范化地表示中性几何模型中的几何语义;提出一种面向中性几何模型的几何语义抽取方法,抽取几何语义元素并映射为数据层中的实体;基于知识图谱与图匹配网络进行相似度计算,从而实现中性几何模型装配特征语义的重建;最后,以某企业风力发电机产品为例,研发了装配特征语义构建系统并进行验证,结果表明,所提方法对于风机产品的实际装配操作环节具有一定指导作用。

改进的语义分割模型及其应用

训练语义分割网络模型需要较为繁琐的人工标注作为训练标签,同时语义分割模型在构建和运行过程中也存在超参数较难确定以及模型过于庞大等问题。为解决这类问题,提出了一种基于标注框生成热点图的标签生成方法,简化了语义分割训练标签的人工标注过程。以及在可微分神经网络结构搜索方法的基础上提出了一种对硬件要求更低的神经网络结构搜索方法,并基于此种方法改进了特征金字塔结构,构建了一个改进的语义分割模型,并在安全帽与口罩检测数据集上进行了试验。与U-Net、FPN等模型比较,新的模型在参数量、计算速度以及精确度上都更有优势。

基于视觉语义与提示学习的多模态情感分析模型

随着深度学习技术的发展,多模态情感分析已成为研究热点之一。然而,大多数多模态情感分析模型或从不同模态中提取特征向量并简单地进行加权求和,导致数据无法准确地映射到统一的多模态向量空间中,或依赖图像描述模型将图像转化为文本,导致提取到过多不包含情感信息的视觉语义,造成信息冗余,最终影响模型的性能。为了解决这些问题,提出了一种基于视觉语义与提示学习的多模态情感分析模型VSPL。该模型将图像转化为精确简短、蕴含情感信息的视觉语义词汇,从而缓解信息冗余的问题;并基于提示学习的方法,将得到的视觉语义词汇与针对情感分类任务而提前设计好的提示模板组合成新文本,实现模态融合,这样做既避免了由加权求和导致的特征空间映射不准确的问题,又能借助提示学习的方法激发预训练语言模型的潜在性能。对多模态情感分析任务进行了对比实验,结果表明所提模型VSPL在3个公开数据集上的性能超越了先进的基准模型。此外,还进行了消融实验、特征可视化和样例分析,验证了VSPL的有效性。

融合全局语义的CLIP-GPT图像描述模型

图像描述是指为图像自动生成与其内容相符的语言描述。桥接计算机视觉和自然语言处理两个领域的预训练模型构建图像描述模型时,跨模态语义一致性是共享子空间嵌入的核心问题。本文将图像拆分成若干片作为视觉语义单元与语言特征进行自由的跨模态关联,突破了有限视觉特征分类的限制;联合运用掩码学习和图文特征匹配两个损失函数,挑选高难度负样本训练跨模态跳接网络提取一致性全局语义,提高了子空间邻域内高相似度图文特征点匹配的准确度。在MS COCO和Flickr30k两个数据集上的实验结果表明,与同样采用CLIP+GPT生成图像描述的模型及其他主流模型相比,性能均有提升,证明了所提出模型的有效性。

基于任务模型的装备体系动态构建的语义实现机制和方法

针对异构装备协同完成任务时需要统一规范的装备体系描述,基于装备体系的应用目的提出面向任务完成的装备体系及其动态重构的语义实现架构和方法。从装备体系“面向使命任务”的本质要求出发,提出任务模型作为装备体系语义描述范式及其框架与构成;提出一种任务模型描述框架的原型实现方法,包括任务模型原型本体实现与动态控制机制,规范化描述装备体系及其动态重构过程。兵棋推演实例验证结果表明,该任务模型具备描述框架的可行性。

城市竣工测绘典型要素语义分割PointNet++深度学习模型适用性分析

处理三维激光扫描仪获取的城市竣工测绘点云场景数据的传统方法存在较多局限性,无法适应信息化社会对产品高效处理的需求。基于此,本文分析了城市竣工测绘点云场景分类需求,研究了利用深度学习网络模型对点云场景进行自动化处理的方法。首先,对输入的城市竣工测绘数据进行预处理,以实现点云降采样、去噪、地面点与非地面点分割;然后,人工标注5个区域场景数据毫米级标签,进行数据增强;最后,测试PointNet++网络在城市竣工测绘点云场景下的语义分割性能和效果。测试结果表明,在少量样本下,PointNet++网络可以较好地实现城市竣工测绘点云场景的激光点云语义分割,总体mIoU达73.06%,能够满足城市竣工测绘点云语义自动化分割需求,为城市竣工测绘点云数据处理提供了新思路。