Enhancing Cross-Lingual Image Description: A Multimodal Approach for Semantic Relevance and Stylistic Alignment

Cross-lingual image description,the task of generating image captions in a target language from images and descriptions in a source language,is addressed in this study through a novel approach that combines neural network models and semantic matching techniques.Experiments conducted on the Flickr8k and AraImg2k benchmark datasets,featuring images and descriptions in English and Arabic,showcase remarkable performance improvements over state-of-the-art methods.Our model,equipped with the Image&Cross-Language Semantic Matching module and the Target Language Domain Evaluation module,significantly enhances the semantic relevance of generated image descriptions.For English-to-Arabic and Arabic-to-English cross-language image descriptions,our approach achieves a CIDEr score for English and Arabic of 87.9%and 81.7%,respectively,emphasizing the substantial contributions of our methodology.Comparative analyses with previous works further affirm the superior performance of our approach,and visual results underscore that our model generates image captions that are both semantically accurate and stylistically consistent with the target language.In summary,this study advances the field of cross-lingual image description,offering an effective solution for generating image captions across languages,with the potential to impact multilingual communication and accessibility.Future research directions include expanding to more languages and incorporating diverse visual and textual data sources.

Web services composition based on global semantics and QoS-aware aspect

A global semantics matching and QoS-awareness service selection are proposed when aimed at a web services composition process.Both QoS-aware matching and global semantic matching are considered during the global matching.When there are demands for global semantic matching and QoS of service composition,a concrete service set which meets the demands is selected for the whole service composition process and an optimal solution is also achieved.A QoS model is built and the corresponding evaluation method is given for the matching of the service composition process.Based on them,a genetic algorithm is proposed to achieve the maximal global semantic matching degree and fulfill the QoS requirements for the whole service composition process.Experimental results and analysis show that the algorithm is feasible and effective for semantics and QoS-aware service matching.

震害评估任务驱动的遥感信息服务链构建方法

地震是全球影响最大的自然灾害之一。利用遥感数据对灾区进行动态震害评估,有助于支持应急救援和恢复重建工作,并在一定程度上降低灾害损失。然而,随着Web服务和在线计算技术的快速发展,如何根据不同震害评估任务需求,选择合适的遥感数据和处理服务进行智能组合,构成遥感信息服务链,已成为亟待解决的难题。因此,本文提出了一种任务驱动的遥感信息服务链构建方法,通过分析震害评估任务与遥感服务的特点,基于本体构建统一描述语义的震害评估任务描述模型与遥感信息服务描述模型,研究逐级精化的服务多级语义匹配方法,并从服务类型、服务功能、服务质量三个方面进行服务匹配。结果表明,本方法可构建出12条可用服务链,用时均在70 min内,且最优归一化服务质量指标达到0.607。研究成果能够支持遥感信息服务链构建,可为震害服务管理提供技术支持。

面向地图匹配的室内位置-语义模型设计

传统的室内空间信息模型或者过于复杂导致操作性较差,或者没有充分表达地图匹配所需的空间要素信息,阻碍地图匹配方法的高效实施。该研究将以构建能够有效支撑地图匹配的室内空间信息模型作为研究目标,此模型应明确室内空间要素的表达内容,并应确定具体的表达方法。模型的构建应以地图匹配方法的机理为基础,以室内地图匹配的实际需要为导向,以表达支撑室内地图匹配的空间信息为目的,分别对室内空间要素的位置及属性,室内空间要素之间的拓扑关系进行表达。该研究构建面向地图匹配的室内位置-语义模型。实验表明此模型较为简洁且信息完备,可在保证地图匹配实际需要的同时提高运行效率。

基于深度学习语义匹配的通用智能问答系统的设计与实现

FAQ问答系统有着广泛的实际应用场景,但传统问答系统的搭建通常需要将相关领域的知识转化为一系列的规则和知识图谱,且构建过程重度依赖人力,换个场景或用户都需要大量的重复劳动。针对上述问题并结合Bert模型和向量搜索引擎Faiss,本文设计了一种基于深度学习语义匹配的FAQ问答系统的解决方案,介绍了系统的工作原理和设计流程,可以方便快速地搭建面向特定领域的问答系统,有效地减少了文本预处理的过程,实现了秒级的查询响应。系统测试发现,可以很好地对用户的查询进行语义匹配,并返回正确的答案,为构建各种问答系统提供了一种通用的解决思路。

基于图卷积与规则匹配的单兵动作识别

针对基于骨架数据的动作识别方法存在语义理解方面不足,以及骨架数据获取不全导致识别准确率较低的问题,本文提出了一种基于融合语义分析的图卷积与规则匹配的单兵动作识别方法。首先,使用OpenPose姿态估计模型对士兵作战视频进行骨骼关键点提取;然后,根据有效骨骼关键点提取情况,动态选择基于目标检测模型(You Only Look Once,YOLO)的单兵动作识别方法或基于图卷积的动作识别方法;最后,针对图卷积网络置信度不高的判别结果引入规则匹配算法进一步完成单兵动作识别判定。实验结果表明,与时空图卷积网络(Spatial Temporal Graph Convolutional Networks,ST-GCN)算法和双流自适应图卷积网络(Two-Stream Adaptive Graph Convolutional Networks,2s-AGCN)算法相比,该方法在单兵动作识别任务中准确率分别提高了约38%与11%。

利用BERT和覆盖率机制改进的HiNT文本检索模型

为有效提升文本语义检索的准确度,本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题,提出一种基于改进的分层神经匹配模型(hierarchical neural matching model,HiNT)。该模型先对文档的各个段提取关键主题词,然后用基于变换器的双向编码器(bidirectional encoder representations from transformers,BERT)模型将其编码为多个稠密的语义向量,再利用引入覆盖率机制的局部匹配层进行处理,使模型可以根据文档的局部段级别粒度和全局文档级别粒度进行相关性计算,提高检索的准确率。本文提出的模型在MS MARCO和webtext2019zh数据集上与多个检索模型进行对比,取得了最优结果,验证了本文提出模型的有效性。

基于词汇搭配的蒙古语兼类词语法和语义信息标注研究

通过对《蒙古文学语料库》中的兼类词文本进行语法和语义信息标注得出了以下结论:蒙古语兼类现象主要集中在形容词、名词、动词和副词之间;兼类词的语义分类信息最多为名词义类,其次为形容词义类、动词义类;兼类词的语义格信息最多为受格,其次是性状格、情态格。本实验对基于语义分类和语义格信息的蒙古语兼类词搭配的语义关系描述提供知识依据。

基于特征增强和语义相关性匹配的图像文本检索方法

为实现图像文本检索中图像与文本的精确语义连接,提出一种基于特征增强和语义相关性匹配(FESCM)的图像文本检索方法。首先,通过特征增强表示模块,引入多头自注意力机制增强图像区域特征和文本单词特征,以减少冗余信息对图像区域和文本单词对齐的干扰;其次,通过语义相关性匹配模块,不仅利用局部匹配捕获局部显著对象之间的对应相关性,还把图像背景信息融入图像全局特征,利用全局匹配实现精确的全局语义相关性;最后,通过局部匹配分数和全局匹配分数获取图像和文本的最终匹配分数。实验结果表明,基于FESCM的图像文本检索方法在Flickr8k和Flickr30k基准数据集上的召回率总值比扩展的视觉语义嵌入方法分别提升了5.7和7.5个百分点,在MS-COCO数据集比双流层次相似度推理方法提升了3.7个百分点。因此该方法可以有效提高图像文本检索的准确度,实现图像与文本的语义连接。

基于知识增强的文本语义匹配模型研究

文本语义匹配模型在信息检索、文本挖掘等领域已经获得了广泛应用。为解决现有模型主要从文本自身角度判断文本之间的语义关系而忽略对外部知识有效利用的问题,本文提出一种新的基于知识增强的文本语义匹配模型,以知识图谱实体作为外部知识,有效建模文本的外部知识信息,并自适应地过滤外部知识中存在的噪声。针对自然语言推理和释义识别两个文本语义匹配任务,与基线方法相比,本文模型在大多数指标上取得了最优效果。研究结果表明,本文模型有助于揭示知识图谱在文本语义匹配任务中的作用,为将知识图谱应用到智能信息服务领域提供了参考。

基于BIM的自动合规性审查研究综述

随着BIM技术在建筑领域的深度应用,越来越多的建筑设计开始以BIM模型方式进行交付,基于BIM的建筑工程设计自动合规性审查因其客观性、高效性受到理论和实践领域越来越多的关注。文章以基于BIM的自动合规性审查为主题进行综述,在Web of Science核心数据库对建筑领域自动合规性审查相关的研究文献进行全面检索及分析,从基本框架、规范条文信息抽取、BIM模型信息抽取及语义丰富、规范-模型信息匹配、合规性推理等方面对现有基于BIM的自动合规性审查研究进行系统解构,并对未来的研究方向进行讨论。最后,文章指出基于BIM的自动合规性审查在复杂文本信息抽取的性能与深度、模型语义丰富、信息匹配的自动化程度与通用性,以及计算机代码的透明度与灵活性等方面仍面临巨大挑战。

融合量子干涉信息的双重特征文本表示模型

在信息检索领域,量子干涉理论已应用于文档相关性、次序效应等核心问题的研究中,旨在建模用户认知引起的类量子干涉现象.文中从语言理解的需求出发,利用量子理论的数学工具分析语义组合过程中存在的语义演化现象,提出融合量子干涉信息的双重特征文本表示模型(Quantum Interference Based Duet-Feature Text Representation Model,QDTM).模型以约化密度矩阵为语言表示的核心组件,有效建模维度级别的语义干涉信息.在此基础上,构建捕获全局特征信息与局部特征信息的模型结构,满足语言理解过程中不同粒度的语义特征需求.在文本分类数据集和问答数据集上的实验表明,QDTM的性能优于量子启发的语言模型和神经网络文本匹配模型.

面向中文科学数据集的句子级语义匹配模型

针对现有以词为粒度的语义匹配模型难以理解句子级科学数据集元数据的问题,提出了一个面向中文科学数据集的句子级语义匹配(CSDSM)模型。该模型使用CSL数据集对SimCSE和CoSENT进行训练生成CoSENT预训练模型。基于CoSENT模型,引入多头自注意力机制进行特征提取,通过余弦相似度与KNN分类结果加权求和得到最终输出。以国家地球系统科学数据中心开放的语义元数据信息作为自建科学数据集进行实验,实验结果表明:与中文BERT模型相比,所提模型在公共数据集AFQMC、LCQMC、Chinese-STS-B和PAWS-X上的Spearman指标ρ分别提升了0.0448,0.0290,0.1777和0.0509;在自建科学数据集上的F 1和Acc分别提升了0.0788和0.0634,所提模型能够有效地解决科学数据集句子级语义匹配问题。

融合高斯过程的自支持小样本语义分割

针对小样本语义分割中同类别支持图像与查询图像存在外观差异较大的问题,提出融合高斯过程的自支持匹配小样本语义分割模型。提出的模型在自支持匹配小样本语义分割模型的基础上,首先融入高斯过程,对分布在深层特征空间上的复杂外观进行建模,捕获更多空间细节信息来表示数据分布;随后设计特征增强模块,在空间层对支持特征与查询特征进行信息交互,在通道层进行注意力加权,进一步增强相同类之间的全局相似性,捕获更多目标类别信息;最后利用Gram矩阵量化支持图像和查询图像之间外观差异的大小,从而融合原型匹配的结果,产生更准确的分割图像。实验结果表明:与现有方法相比,所提模型在更强的主干网络下具有较好的分割结果和更少的参数量,在5-shot的设定下,所提模型在PASCAL−5i数据集上平均交并比(mean Intersection over Union,mIoU)达到最优值,提升了0.4%;在COCO−20i数据集上的子集mIoU取得最优值,分别提升了2.2%和1.0%,表明该模型的有效性和先进性。

FNPS:基于伪孪生网络的虚假新闻检测方法

社交媒体的普及和信息传播的便捷化使得虚假新闻的传播和影响力不断增加,给社会带来了严重的负面影响。为了应对虚假新闻的干扰,提出了一种基于伪孪生网络的虚假新闻检测方法(Fake news detection method based on Pseudo-Siamese network,FNPS)。受计算机视觉领域任务的启发,将虚假新闻的检测视为多模态语义匹配问题,采用双向长短时记忆(Bi-directional long short-term memory,BiLSTM)网络和50层残差网络(50-layer residual nets,ResNet50)分别提取新闻数据的文本特征和图像特征,并将它们从原始空间映射至新的目标空间来衡量文本与图像的语义匹配程度。通过测试微博数据集,FNPS模型可以有效检测跨领域虚假新闻,并优于其他的多模态虚假新闻检测模型。

基于文本摘要的无监督关键词抽取方法

为克服基于嵌入的关键词抽取方法在长文档上性能下降的问题,提出一种基于文本摘要的方法(summarization-based document embedding rank,SDERank)。将句向量的加权和作为文档嵌入,根据每个句子与文档主题的语义相关度赋予权重。以往基于嵌入的方法选择关键词时忽略候选词之间的关联,针对该问题,在SDERank的改进版SDERank+中,PageRank算法被用于提取候选词之间的共现权重作为相似度分数的修正。实验结果表明,在4个广泛使用的数据集上SDERank和SDERank+比之前最好的模型MDERank的F1分数平均高出2.2%和3.29%。

郝懿行《尔雅义疏》形容词性联绵词丛考

联绵词在汉语复音化过程中处于一种特殊的位置,同时由于多种因素影响其联绵化过程中多有异形产生,其异形之产生和使用当有其理据性所循。郝懿行在其《尔雅》注本《尔雅义疏》中所收联绵词甚繁,并对所录之联绵词通过系联各种不同语音形式、探求音义关系的方式对其进行翔实的考证,反映出其独特的联绵词观。文章依郝懿行《尔雅义疏》,选取形容词性联绵词中具备三个及三个以上语音形式的有代表性的叠音形式和非叠音形式的联绵词进行音义关系的考释和系联,试探究联绵词在联绵化过程中语音、语义的发展演变趋势,并对郝懿行的联绵词观进行一些新的揭示。

基于语义量化匹配的汽车外观显著性意象挖掘

目的 为解决传统感性设计研究中意象实验耗时大以及小样本偶然性等问题,依托现有网络评价文本信息提取了用户意象认知。方法 首先,爬取大规模汽车外观评论文本,构建语义分析词汇库,构建word2vec词向量模型;然后,基于模型获取词库内部的语义联系,计算高频关键形容词之间的语义离散性,以构建代表性意象词空间;最后,通过语义量化匹配将评论映射到意象词空间,得到大规模用户对各车型的显著性意象表征,明确了指定意象词汇下的汽车外观匹配结果。结果 运用该方法挖掘汽车外观显著性意象与基于人工评价的实验结果无显著性差异且具有高度相关性,证明了该方法的有效性。结论 以该方法挖掘用户意象认知,运用了现有的大批量用户反馈知识,提高了意象分析效率,有助于决策者快速理解消费者对汽车外观的感性知识,在设计迭代中可使产品更符合市场期望;对比相关研究,基于语义量化匹配的方式无需对超高维向量进行降维和聚类,避免了以往研究因特征降维而可能导致的词向量语义联系的损失,以得到更为准确的意象挖掘结果。

基于BERT字句向量与差异注意力的短文本语义匹配策略

短文本语义匹配是自然语言处理领域中的一个核心问题,可广泛应用于自动问答、搜索引擎等领域。过去的工作大多只考虑文本之间的相似部分,忽略了文本之间的差异部分,从而使模型无法充分利用到决定文本之间是否匹配的关键信息。针对上述问题,提出一种基于BERT字句向量与差异注意力的短文本语义匹配策略,利用BERT对句子对进行向量化表示,使用BiLSTM并引入多头差异注意力机制获取当前字向量与文本全局语义信息之间表征意图差异的注意力权重,结合一维卷积神经网络对句子对的语义特征向量进行降维,最后拼接字句向量并送入全连接层计算出2个句子之间的语义匹配度。通过在LCQMC和BQ Corpus数据集上的实验表明,该策略可以有效提取文本语义差异信息,从而使模型表现出更好的效果。

“X得厉害”的述语及语义特征研究

“X得厉害”是我们生活中常用的程度表达,也是国际中文教学中的一个难点。本文以语义语法为指导,以CCL语料库的调查结果为基准,从句法特征出发探讨述语“X”的语义特征、类型及整个结构的语义特征。研究发现:“X得厉害”中的述语“X”受量段、异态、感性的语义制约,其语义类型有身体的[+不适义],情绪、心理、行为的[+不安义]和事体、物体、环境的[+变损义]。进一步提取出“X得厉害”的超量义,以及多维指向的语义特征。