融合语义增强和位置编码的图文匹配方法

图文匹配是跨模态基础任务之一,其核心是如何准确评估图像语义与文本语义之间的相似度。现有方法是通过引入相关阈值,最大限度地区分相关和无关分布,以获得更好的语义对齐。然而,对于特征本身,其语义之间缺乏相互关联,且对于缺乏空间位置信息的图像区域与文本单词很难准确对齐,从而不可避免地限制了相关阈值的学习导致语义无法准确对齐。针对此问题,本文提出一种融合语义增强和位置编码的自适应相关性可学习注意力的图文匹配方法。首先,在初步提取特征的基础上构造图像(文本)无向全连通图,使用图注意力去聚合邻居的信息,获得语义增强的特征。然后,对图像区域的绝对位置信息编码,在具备了空间语义的图像区域与文本单词相似性的基础上获得最大程度区分的相关和无关分布,更好地学习两个分布之间的最优相关边界。最后,通过公开数据集Flickr 30 k和MSCOCO,利用Recall@K指标对比实验,验证本文方法的有效性。

图书情报领域中外学者研究方法使用差异分析——跨语言文本分类的视角

[目的/意义]对学科研究方法的自省式分析对于理解学科发展和建立学科自主知识体系至关重要。通过研究国内外学者在研究方法上的使用差异,可以更全面地了解不同地区和文化背景下的研究者在应对不同研究问题所采用的策略和方法,从而促进学术交流和跨国合作,并进一步推动学科的发展与学科知识体系的完善。[方法/过程]以图书情报领域5种高影响力中英文期刊中1990-2021年共30余年的学术论文为研究对象,采用跨语言文本分类方法对这些论文中的研究方法进行自动分类。然后从研究方法的使用频率与演化差异以及适用主题多样性差异两个角度,进行中外比较研究。[结果/结论]国外学者越来越倾向于使用定性方法,而对定量方法的使用正在减少。同时,国内外大多数研究方法的适用主题多样性都在增加。这项研究对于理解图书情报学科的发展、促进学术交流与合作以及提高国内学者的国际影响力具有重要意义。

美欧数据跨境流动治理政策共性内容要素分析与中国启示研究

[目的/意义]通过对美欧数据跨境流动治理政策进行深入调研和内容分析,旨在为我国数据跨境流动治理政策制定和管理实践提供启示与借鉴。[方法/过程]采用文献调研、网络调查和质性文本分析法,基于数据生命周期理论,梳理并分析美欧数据跨境流动治理政策内容,通过构建政策文本分析类目体系,提炼政策共性内容要素。[结果/结论]研究发现,美欧已将数据生命周期思想融入数据跨境流动治理政策,且二者存在诸多共性,体现出数据跨境流动政策制定的总体遵循。基于此,文章结合美欧政策内容共性要素,立足我国国情,围绕数据跨境流动中的“三难选择”问题,分别从保障个人数据权利、平衡数据跨境流动与数据安全、维护数据主权等方面提出对策建议,为我国数据跨境流动治理政策的制定与完善提供思路。

跨文化视阈下陕西旅游文本外宣翻译

陕西历史文化与旅游资源丰富,是国内外游客钟情的旅游目的地。陕西旅游文本的外宣翻译主要存在重语义轻信息、文化缺省、语言表达误差等问题。对此,译者应充分考虑跨文化交际的要求,立足源文众与译文受众之间的文化差异,选择合适的翻译策略和技巧、恰当地处理文化信息、充分尊重目的语受众需求与习惯。

技术交叉主题特征识别研究进展

技术交叉主题识别研究对于技术创新研究意义重大。本文首先分析了技术交叉的内涵,随后对技术交叉主题识别主要方法进行了系统调研、归纳与分析,最后总结现有研究特点及优劣。研究发现,当前技术交叉主题识别主要方法有信息计量、引文分析、网络分析、文本挖掘、知识图谱、机器学习,涉及弱信号、突破性、颠覆性识别。主要特点包括:1)由形态特征层面的计量测度转向内容特征层面的文本主题挖掘;2)基于技术交叉特性的关联分析、文本挖掘方法等成为主流;3)多种方法与技术结合运用。技术交叉主题识别的未来研究方向包括:深入微观层面主题特征识别;多种方法的综合性创新运用;多元数据融汇;多领域异构大数据融合与应用关键技术。

新媒体非遗跨文化传播效果分析——以YouTube平台为例

文章以代表性中华文化非遗为研究对象,运用关键词分析、情感分析与共现网络分析等文本挖掘方法分析YouTube平台中非遗短视频用户文本数据,应用“认知-情感-行为”框架模型研究非遗在该平台的传播效果。研究发现:非遗的认知形象多为正面形象,传统技艺、民间文学和传统体育、游艺与杂技类非遗认知度较高;情感感知以中性和积极情绪为主,对象涉及中华美食、家庭生活文化与原生态自然环境等;行为效果具体呈现为分享意向、购买意向、学习意向与旅游意向。文章立足于该平台非遗的传播效果,从传播语境、传播手段与传播主体等方面阐释实践启示。

基于文本挖掘的俄罗斯羽绒服消费需求

为推动中国与俄罗斯的外贸服装产业发展,并有效指导国内企业进入反向定制生产模式,以俄罗斯电商平台Wildberries为数据来源,应用文本挖掘技术对平台上商品的在线评论内容进行情感分析,通过消费者评价维度权重、情感积极率和待改进度3项指标获得服装消费者的反馈信息。结果表明:一级维度中对消费者整体情感倾向影响最大的是产品质量,其次是产品外观和服务质量。在产品质量中,保暖性虽然是羽绒服最重要的服装特性,但在影响消费者整体情感倾向程度的排名中仅第三;排名第一的为合身度,也是最需要改进的。在其他二级维度中,对消费者整体情感倾向影响最大的分别是颜色、客户服务,两者均需进一步改进。未来中国的外贸服装企业在设计生产过程中不仅要增加相应的尺码,还要考虑到消费者对颜色的偏好和保暖性需求,销售方在服务提供过程中要注重提升客户服务质量,以提升消费者满意度,最终促进国内企业进入反向定制生产模式,推进双方贸易发展。

基于评分与文本融合的多注意力跨域推荐算法

为解决在目标领域推荐过程中用户与物品交互数据的稀疏性问题,提出一种新的跨域推荐模型。将辅助领域中的知识迁移到目标域中,基于前馈神经网络分别获得评分信息与评论文本信息的域独有特征;通过采用基于神经网络的特征提取器与基于向量嵌入的域鉴别器融合后的对抗模型,获得评分信息与评论文本信息的域共享特征;再基于多层注意力机制将域独有特征与域共享特征进行融合,从而获得用户对物品的兴趣度。研究结果表明:对于两种经典的推荐评价性能指标,所提出的模型在Amazon数据集上可以获得更好的推荐性能。

语言引导的多粒度特征融合目标分割方法

语言引导的目标分割旨在将文本描述的目标与其所指代的实体进行匹配,从而实现对文本、实体之间关系的理解与指代目标的定位。该任务在信息抽取、文本分类、机器翻译等应用场景中具有重要的应用价值。基于Refvos模型提出一种语言引导的多粒度特征融合目标分割方法,能够对特定目标精准定位。利用Swin Transformer和Bert网络,分别提取多粒度的视觉特征和文本特征,提高对整体与细节的表征能力;将文本特征分别与不同粒度视觉特征进行融合,通过语言引导增强特定目标表达;通过卷积长短期记忆网络对多粒度融合特征进行优化,在不同粒度特征间进行信息交流,得到更精细化的分割结果。在UNC、UNC+、G-Ref、ReferIt数据集上进行训练并测试所提方法。实验结果表明:相比Refvos,所提方法在UNC数据集的val、testB子集中IoU结果分别提升0.92%、4.1%,在UNC+数据集的val、testA、testB子集中IoU结果分别提升1.83%、0.63%、1.75%。所提方法在G-Ref、ReferIt数据集的IoU结果分别为40.16%和64.37%,达到前沿水平,证明所提方法的有效性与先进性。

基于多级语义对齐的图像-文本匹配算法

图像中的区域特征更关注于图像中的前景信息,背景信息往往被忽略,如何有效的联合局部特征和全局特征还没有得到充分地研究。为解决上述问题,加强全局概念和局部概念之间的关联得到更准确的视觉特征,提出一种基于多级语义对齐的图像-文本匹配算法。提取局部图像特征,得到图像中的细粒度信息;提取全局图像特征,将环境信息引入到网络的学习中,从而得到不同的视觉关系层次,为联合的视觉特征提供更多的信息;将全局-局部图像特征进行联合,将联合后的视觉特征和文本特征进行全局-局部对齐得到更加精准的相似度表示。通过大量的实验和分析表明:所提算法在2个公共数据集上具有有效性。

实值无标签图文跨模态检索研究综述

为研究面向无标签数据集基于实值特征的图像文本跨模态检索(以下简称跨模态检索)方法的发展现状和亟待解决的关键问题,对目前该领域的文献进行了分析与总结。跨模态检索是根据给定的一种模态查询,从另一种模态中检索出与查询相关的样本。首先,引入基于时间复杂度分类法,将现有跨模态检索方法分为基于特征方法和基于分数方法;其次,分别对以上两类方法的研究现状进行叙述,并针对两类方法现阶段存在的主要问题进行分析和讨论;然后,引入跨模态检索的两个主流数据集和常用评价指标,分别对两类方法在公开数据集上的性能进行比较与分析;最后,总结了跨模态检索领域亟待解决的关键问题。研究表明,现有跨模态检索方法尽管已经取得了显著进展,但仍有一些关键问题亟待解决,这些关键问题是未来跨模态检索领域的重要发展方向。

用于小样本跨语言文本分类的元对比学习框架

众多的安全风控问题均为文本分类问题,国际场景下的舆情分析等风控问题涉及多种语言,是一大难点。先前的研究表明,通过跨语言语义知识迁移可以显著提高小样本文本分类任务的性能。然而,跨语言文本分类的发展仍面临着一系列挑战。获得语义无关的文本表征是一项困难的任务。不同语言之间的语法结构和句法规则引起文本表征的差异,因此提取通用的语义信息较为困难。此外,跨语言文本分类的标签数据十分稀缺。在很多现实场景中,只能获得少量的标记数据,这严重降低了许多方法的性能。因此需要有效的方式能够在小样本情况下准确地迁移知识,提高分类模型的泛化能力。为应对这些挑战,提出了集成对比学习和元学习的框架,该框架集成了对比学习和元学习的优势,利用对比学习来提取与语言无关的通用语义信息,同时利用元学习快速泛化的优势来改善小样本场景中的知识迁移。此外,提出了基于任务的数据增强方法,以进一步提高所提框架在小样本跨语言文本分类中的性能。通过在两个广泛使用的多语言文本分类数据集上进行大量实验,证实了所提方法能够有效提升文本分类的准确性,可有效应用于风控安全领域。

基于CLIP模型和文本重建的人脸图像生成方法研究

针对文本生成人脸方法中生成图像与文本描述不一致、图像分辨率较低等问题,提出一种跨模态文本生成人脸图像网络框架。首先,采用CLIP预训练模型对文本进行特征提取,通过条件增强模块增强文本语义特征并生成隐藏向量;然后,将隐藏向量通过映射网络投影到预训练模型StyleGAN的隐式空间中获得解纠缠隐藏向量,将该向量输入到StyleGAN生成器中生成高分辨率人脸图像;最后,采用文本重建模块将人脸图像重新生成文本,计算重建文本和输入文本之间的语义对齐损失,并将其作为语义监督指导网络训练。在Multi-Modal CelebA-HQ和CelebAText-HQ两个数据集上进行训练与测试,实验结果表明,相比其他方法,该方法能生成更加符合文本描述的高分辨率人脸图像。

融合领域知识图谱的跨境民族文本聚类方法

跨境民族文本聚类任务旨在建立跨境民族不同文本间的关联关系,为跨境民族文本检索、事件关联分析提供支撑。但是跨境民族间文化文本表达差异大,加上文化表达背景缺失,导致跨境民族文本聚类困难。基于此,该文提出了融合领域知识图谱的跨境民族文本聚类方法,首先融入跨境民族领域知识图谱,实现对跨境民族文本数据的文化背景知识补充及实体语义关联,从而获得文本的增强局部语义;同时考虑到跨境民族文本数据中全局语义信息的重要性,采用异构图注意力网络提取文本、主题、领域关键词之间的全局特征信息;最后利用变分自编码网络进行局部信息和全局信息的融合,并利用学习到的潜在特征表示进行聚类。实验表明,提出方法较基线方法Acc提升11.4%,NMI提升1%,ARI提升9.4%。

双级交互式自适应融合的多模态神经机器翻译

多模态神经机器翻译的目标是通过引入其他模态信息来提升纯文本神经机器翻译的质量。图像中包含了实体对象的关系、属性以及空间位置关系等多种语义信息。然而,目前存在的大多数融合方法仅考虑图像的部分视觉信息,忽略了对视觉模态内部关系的探索,导致视觉信息的利用率较低,无法充分利用图像所包含的全部语义信息。因此,提出了一种双级交互式自适应融合的多模态神经机器翻译方法,该方法考虑了图像不同方面的属性特征,以充分利用图像的视觉信息。实验结果显示,该方法能够有效地利用图像所具有的视觉信息,并且在Multi30K数据集的英语→德语(EN→DE)和英语→法语(EN→FR)2种翻译任务的测试上的效果显著优于当前大多数的效果最优(SOTA)多模态神经机器翻译方法的结果,十分具有竞争力。

跨界颠覆性创新的早期识别方法及实证检验

[研究目的]数字经济时代,越来越多的企业利用互联网技术开展跨界颠覆性创新。探讨跨界颠覆性创新的早期判断和识别方法,对于打破国外核心技术封锁,抢占科技制高点具有重大意义。[研究方法]根据跨界颠覆性创新的演进特点,从技术和市场两个方面提出识别跨界颠覆性创新的理论框架:首先,基于专利文本,利用LDA主题模型提取跨界技术主题;其次,从成长性、融合性、影响力和引用行业外新知识等四个特征考察技术主题跨界颠覆的技术潜力;最后,基于专利、用户和专家评论数据,借助LDA主题模型与情感分析方法,从易扩散性、需求贴合度与市场吸引力趋势等特征考察技术主题跨界颠覆的市场潜力。[研究结论]以手机定位与导航技术为例,通过考察其跨界颠覆的技术潜力特征和市场潜力特征,验证了跨界颠覆性技术早期识别方法的可用性与有效性,为企业跨界颠覆性创新实践提供借鉴。

基于多模态融合提升的文本分类方法

尽管基于多模态的文本分类技术在应用到具体场景中具有潜力,但仍存在局限性。现有多模态融合模型要求输入数据模态对齐,因此大量不完整的多模态数据被直接浪费,从而限制了推理时可用数据的规模和灵活性。为了解决这个问题,提出了一种基于多模态融合提升的文本分类模型和不充分多模态资源训练方法。与传统方法相比,提出的模型在标准数据集上的性能平均提高了约4.25%。此外,在除文本输入模态外的其他模态缺失率为50%的情况下,不充分多模态资源训练方法的性能比传统多路由策略提高了约4%。这表明所提出的模型和训练方法具有明显的优势和有效性。

基于阅读理解的汉越跨语言新闻事件要素抽取方法

新闻事件要素抽取旨在抽取新闻文本中描述主题事件的事件要素,如时间、地点、人物和组织机构名等。传统的事件要素抽取方法在资源稀缺型语言上性能欠佳,且对长文本语义建模困难。对此,该文提出了基于阅读理解的汉越跨语言新闻事件要素抽取方法。该方法首先利用新闻长文本关键句检索模块过滤含噪声的句子。然后利用跨语言阅读理解模型将富资源语言知识迁移到越南语,提高越南语新闻事件要素抽取的性能。在自建的汉越双语新闻事件要素抽取数据集上的实验验证了该文方法的有效性。

融合图像信息的越汉跨语言新闻文本摘要方法

[目的]为了有效剔除冗余文本信息,提高摘要简洁性同时充分利用图像信息提高摘要准确性,对融合图像信息的越汉跨语言新闻文本摘要方法进行研究.[方法]首先利用文本编码器和图像编码器对越南语新闻文本和图像进行表征,其次利用图文对比损失增强图像和文本表征的一致性,迫使越南语的表征空间趋近于与语言无关的图像表征空间,然后利用图文融合器进行图像和文本的有效融合,增强新闻文本的关键信息提取能力,最后利用摘要解码器生成中文摘要.[结果]在本文构建的越汉多模态跨语言摘要数据集上,相较于对比方法,本方法生成的摘要具备更高的ROUGE分数、信息量、简洁度和流畅度.[结论]引入图像信息有利于生成高质量的跨语言摘要;采用单任务直接学习两种语言的互动信息可以降低将跨语言摘要分解为多任务带来的误差累积.

“一带一路”背景下跨境电商人才技能需求研究

“一带一路”倡议为共建国家的贸易往来和经济合作提供了良好机遇,对于促进跨境电商的发展具有重要意义。跨境电商的快速发展,离不开跨境电商人才的支撑。文章通过Python程序,以“前程无忧”招聘网站跨境电商企业招聘信息数据作为样本,利用文本挖掘、词频分析、可视化呈现等方式,对跨境电商人才的岗位基本要求、专业技能需求等进行研究,并以促进跨境电商逐步向更加规范和有序的方向发展为目标,提出了相应的人才培养建议。