支持多语言的自然语言倒序分词最大成词算法

提出一种支持多语言的分词算法,该算法可以按照以下层次来理解:首先,对不同编码的源词库文件编码转换,生成Unicode编码的源词库文件;然后,用Unicode编码的词库文件生成Unicode词库索引;最后,将待分词的自然语句转换成Unicode编码的语句并按照索引倒序分词。该算法已经用C++语言实现,基于此算法实现的分析系统能够自动探测词库的更新并确定是否需要更新索引,能够支持多种编码方式,其编码转换和分词代码与平台无关,分词效率在9MB/s以上,正确率在90%以上。

多语言的无监督神经机器翻译

依赖于大规模的平行语料库,神经机器翻译在某些语言对上已经取得了巨大的成功.然而高质量平行语料的获取却是机器翻译研究的主要难点之一.为了解决这一问题,一种可行的方案是采用无监督神经机器翻译(unsupervised neural machine translation,UNMT),该方法仅仅使用两门不相关的单语语料就可以进行训练,并获得一个不错的翻译结果.受多任务学习在有监督神经机器翻译上取得的良好效果的启发,本文主要探究UNMT在多语言、多任务学习上的应用.实验使用3门互不相关的单语语料,两两建立双向的翻译任务.实验结果表明,与单任务UNMT相比,该方法在部分语言对上最高取得了2~3个百分点的双语互译评估(BLEU)值提升.

面向多语言的机器翻译支撑环境设计与实现

在日汉机器翻译系统由DOS移植到Windows环境后 ,针对进一步扩充资源和调试开发过程中遇到的词典管理不便、工具使用麻烦、翻译及编辑界面不友好、日志维护不完善等问题 ,我们开发了面向多语言的机器翻译支撑环境子系统。该子系统实现了词典资源管理、翻译界面、开发工具集成、系统日志维护等功能 ,在编码上兼容Unicode ,在调用原系统翻译功能和开发工具时使用动态链接库技术 ,以期成为一个面向多语言的、可为不同机器翻译系统所用的开发调试支撑环境。

资源匮乏多语言的语种辨识技术研究

针对现有的语种识别方法对资源丰富、同语系语言的研究较为密集,而对资源匮乏、跨语系语言的研究较少等问题,通过对MFCC、FBank、语谱图等多个特征以及CNN、GRU等多个模型的研究对比,提出了一种基于语谱图特征的CNN-BiGRU的语种识别模型。模型提取语音数据的语谱图,采用卷积网络获取语谱图的视觉特征;通过双向门控循环网络获取时序信息特征;使用全连接网络输出语言种类,实现了资源匮乏、同语系语言以及跨语系多语言的语种识别。在东方语种数据集上进行实验,获得了良好的结果并验证了该方法的有效性。

基于多语言的实用简易加解密算法的研究与实践

在实际项目开发中,常需要对一些关键信息进行简单的加解密,以保证关键信息的保密性。基于实际工作项目和需求,重点探索基于多语言的实用简易加解密算法的构建和可行性分析,并以实践案例辅以佐证。

一种提高跨语言理解的NLP迁移学习

随着互联网信息的发展,如何有效地表示不同语言所含的信息已成为自然语言处理(Natural Language Processing,NLP)领域的一项重要任务.然而,很多传统的机器学习模型依赖在高资源语言中进行训练,无法迁移到低资源语言中使用.为了解决这一问题,结合迁移学习和深度学习模型,提出一种多语言双向编码器表征量(Multi-lingual Bidirectional Encoder Representations from Transformers,M-BERT)的迁移学习方法.该方法利用M-BERT作为特征提取器,在源语言领域和目标语言领域之间进行特征转换,减小不同语言领域之间的差异,从而提高目标任务在不同领域之间的泛化能力.首先,在构建BERT模型的基础上,通过数据收集处理、训练设置、参数估计和模型训练等预训练操作完成M-BERT模型的构建,并在目标任务上进行微调.然后,利用迁移学习实现M-BERT模型在跨语言文本分析方面的应用.最后,在从英语到法语和德语的跨语言迁移实验中,证明了本文模型具有较高的性能质量和较小的计算量,并在联合训练方案中达到了96.2%的准确率.研究结果表明,该文模型实现了跨语言数据迁移,且验证了其在跨语言NLP领域的有效性和创新性.

CINOSUM:面向多民族低资源语言的抽取式摘要模型

针对现有的模型无法处理多民族低资源语言自动摘要生成的问题,基于CINO提出了一种面向多民族低资源语言的抽取式摘要模型CINOSUM。为扩大文本摘要的语言范围,首先构建了多种民族语言的摘要数据集MESUM。为解决以往模型在低资源语言上效果不佳的问题,构建了一个框架,采用统一的句子抽取器,以进行不同民族语言的抽取式摘要生成。此外,提出采用多语言数据集的联合训练方法,旨在弥补知识获取上的不足,进而扩展在低资源语言上的应用,显著增强模型的适应性与灵活性。最终,在MESUM数据集上开展了广泛的实验研究,实验结果表明CINOSUM模型在包括藏语和维吾尔语在内的多民族低资源语言环境中表现卓越,并且在ROUGE评价体系下取得了显著的性能提升。

Lacmia:抗混淆的多民族语言生成式摘要模型

该文提出了一种针对中国多民族低资源语言生成式摘要模型Lacmia(Language-Anti-confusioned Chinese Minority Abstractive Summarization Model)。为了克服以往模型只能处理单一语言的限制,Lacmia采用了一种统一的生成式架构来执行不同民族语言的摘要生成任务。此外,为了解决以往模型在多民族低资源语言处理上的性能不足问题,该模型在框架中加入了语言信息嵌入模块。该文通过在损失函数中引入目标语言偏好性正则化项,有效减轻了多语言摘要中出现的语言混淆现象,从而提升摘要生成准确性和流畅度。广泛的实验表明,Lacmia在包括藏语和维吾尔语在内的多民族低资源语言摘要任务中,取得了卓越成绩。除了在ROUGE评价标准上实现了显著性能提升外,Lacmia在该文新提出的CINOScore和NLCR两项指标上均达到了最佳效果,验证了模型的有效性和先进性。

跨文化传播视角下多语言用户信息分享行为过程模型构建研究

[目的/意义]全球化使得个体与不同文化的接触日益频繁,掌握多种语言的个体能够借助多元文化融合的机遇,利用数字平台为中华优秀文化的交流和传播提供新的路径和方向。[方法/过程]社交媒体时代多语言用户成为中国文化跨文化传播的核心推动者。故此,文章以多语言用户,即掌握两种及以上语言的用户作为研究对象探究其如何借助信息分享行为传播中华文化相关内容。通过众包方式收集来自全球355个多语言用户跨文化信息分享数据,采用主题分析法构建了多语言用户信息分享行为过程模型,旨在揭示具体的形成机制和行为规律。[结果/结论]构建了包含动机驱动阶段、信息交互阶段和体验感知阶段的多语言用户信息分享行为过程模型。立足中国文化语境,有助于凸显跨文化研究情境,对于促进新时代跨文化传播具有重要意义。

基于跨层级多视角特征的多语言事件探测

多语言事件探测任务的目标是将多种语言的新闻文档集合组织成不同的关键事件,其中每个事件可以包含不同语言的新闻文档。该任务有助于各种下游任务应用,如多语言知识图谱构建、事件推理、信息检索等。目前,多语言事件探测主要分为先翻译再事件探测与先单语言检测再跨多种语言对齐两种方法,前者依赖翻译的效果,后者需要为每种语言单独训练模型。为此,提出了一种名为基于跨层级多视角特征融合的多语言事件探测方法,端到端地进行多语言事件探测任务。该方法从不同层级利用文档的多视角特征,获得了高可靠性的多语言事件探测结果并提升了低资源语言事件探测的泛化性能。在9种语言混合的新闻数据集上进行的实验表明,所提方法的BCubed F1值提升了4.63%。

基于增强对比学习的多语言事件发现方法

多语言事件发现是把描述同一事件的多种语言文本聚类到同一个簇,是多语言事件分析的基础.目前基于深度学习的聚类方法主要通过优化文本表示之间的距离实现聚类,其性能严重依赖模型表示能力,多语环境下文本表示对齐效果不理想,多语言事件聚类难度大.文章提出一种基于增强对比学习的多语言事件发现方法,通过优化事件文本到簇心和多语言正负样本之间的距离,使同一事件的多语言文本在表示空间更加接近,提高模型对多语言文本的表示能力.针对事件聚类任务引入事件要素的表征作为事件聚类中心,进一步提升多语言事件聚类效果.在路透社数据集上的实验结果表明,提出的方法在多个预训练模型基础上性能均有提升,准确率和标准化互信息最优效果分别达到了76.14%和91.09%.

跨文化传播视角下多语言用户信息分享行为影响因素组态研究

探究跨文化传播视角下多语言用户信息分享行为影响因素组态,有助于提升其跨文化信息分享意愿,促进跨文化信息资源流动。文章以多语言用户为对象,围绕信息主体、内容、技术和环境四个维度提取研究变量。通过问卷调查收集数据,并采用模糊集定性比较分析和回归分析,识别多语言用户信息分享行为影响因素的关键组态。研究发现,跨文化传播视角下多语言用户信息分享行为发生的必要条件为社交环境,产生显著正向影响的关键因素包括语言环境、文化环境、社交环境、系统质量,且核心影响因素组态主要有三种类型即多元环境导向型、文化环境沉浸型和语言环境敏感型。研究结果不仅验证了信息分享行为多维度因果结构的基本稳定性,而且揭示了其在动态变化过程中特定因素的可变性和情境依赖性特征。这些发现既丰富了对于跨文化传播视角下信息分享行为影响机制的理论认识,也为制定跨文化传播策略提供了实践参考依据,可针对性地强化或调整干预措施以优化多语言用户的信息分享效果。

基于多语言-视觉公共空间学习的多语言文本-视频跨模态检索模型

本文针对具有挑战性的多语言文本-视频跨模态检索问题进行研究.传统文本-视频跨模态检索模型通常针对单一语言进行设计,比如英语,模型仅支持某一特定语言的文本查询.如果有不同语言检索需求,则需另收集目标语言的训练数据并重新训练构建新的检索模型,这使得模型很难快速有效地适用于其他语言的检索任务.近年来,针对多语言问题的研究逐渐深入,这为多语言跨模态检索的实现打下了良好的基石.为了解决多语言跨模态检索问题,本文提出了一种简单有效的基于多语言-视觉公共空间学习的多语言文本-视频跨模态检索模型,将不同语言与视觉信息映射到同一公共空间.该空间以视频向量为锚点,分别与不同的语言向量进行对齐,以此实现多语言跨模态的学习,由此建立了统一的多语言学习框架,使用一个模型满足了多语言的检索需求并探究了不平行语料库、平行语料库、伪平行语料库三种训练场景下的模型性能.同时,在多语言建模中有效地利用了不同语言之间的互通性和互补性,弥补了单语言文本特征表达的不足;并在文本端与视频端引入了基于对比学习的抗噪音鲁棒性学习方法,进一步提升了不同模态特征的表示能力.在VATEX、MSR-VTT多语言数据集上实验的数据证明,本文模型不仅能够简单快速地适用于多种语言检索任务,模型性能也较为突出,在较为常见的伪平行场景下和最先进的方法相比,中文VATEX和MSR-VTT在总召回率上分别提升了约5.97%和1.37%.

融合敏感词典和异构图的汉泰跨语言敏感信息识别

通用跨语言文本分类模型识别毒品、暴力和自然灾害等敏感信息不准确,且汉泰双语敏感词表示多样化、难对齐导致不同语言信息聚合能力较弱,为此提出一种融合敏感词典和异构图的汉泰跨语言敏感信息识别方法。利用汉泰敏感词典构建具有文档对齐和词对齐的跨语言异构图结构,将文档以及所含关键词和敏感词作为节点,双语对齐、相似关系和不同词性作为边构建汉泰跨语言异构图;基于多语言预训练模型对文档节点和词节点进行表征;通过多层图卷积神经网络对输入文档进行编码,使用敏感信息分类器对文档进行分类预测。实验结果表明,所提方法准确率较基线模型提高了5.83%。

基于多阶段训练的跨语言摘要技术

为解决跨语言摘要(Cross-Lingual Summarization,CLS)模型语义理解、跨语言对齐和文本生成能力不高的问题,提出了一个基于多阶段训练的英-中跨语言摘要模型。首先,进行多语言去噪预训练,同时学习中、英文的通用语言知识;其次,进行多语言机器翻译微调,同时学习对英文的语义理解、从英文到中文的跨语言对齐以及中文的文本生成能力;最后,进行CLS微调,进一步学习特定于CLS任务的语义理解、跨语言对齐和文本生成能力,最终获得一个性能优异的英-中跨语言摘要模型。实验结果表明所提模型的CLS性能有明显提升,且多语言去噪预训练和多语言机器翻译均可提高模型性能。与众多基线模型中的最优性能相比,所提模型在英-中跨语言摘要基准集上将ROUGE-1、ROUGE-2和ROUGE-L值分别提升了45.70%、60.53%和43.57%。

新加坡华社的语言焦虑和多语制

新加坡是一个多种族、多语言的城市国家。1965年独立后,新加坡政府对传统语言的功能做了明确的界定:华语(普通话)、马来语和淡米尔语是母语,马来语是国语,英语是工作语言。政府的语言政策造就了一个以英语为主的多文化、双语言的社区,两项语言政策产生深远的影响。一、用英语作为所有学校的教学语言,将所有华校转为英校;二、在华社中推广华语,鼓励少说方言,传统的闽南、粤、客家方言渐渐地边缘化。短短60年间,新加坡华人逐渐放弃方言,转而使用英语和华语。本文从历史角度描述这一双重语言转移的过程,以及表现在语言选择、语言认同、语言自信等方面的语言焦虑。语言焦虑是多文化、多语言社会的自然衍生物。

多语言语音识别技术在智能语音助手中的应用研究

多语言语音识别技术能够识别不同语言的语音,并将其转换为文本或命令,从而使智能语音助手能够支持多语言交互,为全球用户提供更加便捷、高效的服务。首先介绍多语言语音识别技术的基本概念和工作原理,其次探讨多语言语音识别技术对智能语音助手的意义,最后分析多语言语音识别技术在智能语音助手中的应用策略,希望为用户提供更加便捷、智能的语音交互体验。

面向“一带一路”的低资源语言机器翻译研究

随着“一带一路”倡议的深入推进,沿线国家和地区之间的跨语言沟通需求日渐增长,机器翻译技术逐渐成为各国之间深入交流的重要手段。然而,这些国家存在大量低资源语言,语料的稀缺性导致其机器翻译研究进展较为缓慢。针对该问题,提出一种基于NLLB模型改进的低资源语言机器翻译训练方法。首先基于多语言预训练模型提出一种改进的训练策略,该策略在数据增强的前提下,对损失函数进行优化,从而在机器翻译任务中有效提高低资源语言的翻译性能;然后使用ChatGPT以及ChatGLM模型分别评估老挝语-汉语以及越南语-汉语的翻译能力,大语言模型(LLM)已具备一定的翻译低资源语言的能力,而且ChatGPT模型在越南语-汉语翻译任务上已经大幅超越传统的神经机器翻译(NMT)模型,但是在老挝语上的翻译性能还有待进一步提高。实验结果表明,在4种低资源语言到汉语的翻译任务上,相比NLLB-600M基线模型,平均提升了1.33个双语替换测评(BLEU)值以及0.82个chrF++值,从而充分证明了该方法在低资源语言机器翻译任务上的有效性。此外,该方法使用ChatGPT和ChatGLM模型分别对老挝语-汉语以及越南语-汉语进行了初步研究,在越南语-汉语翻译任务中,ChatGPT模型表现出色,远超传统的NMT模型,分别提高了9.28个BLEU值和3.12个chrF++值。

体系化人工智能与大语言模型在智能情报场景中的应用

体系化人工智能和大语言模型在智能情报领域展示了巨大的潜力和多样的应用前景。通过阐述体系化人工智能的定义与组成、技术驱动力及架构设计,分析大语言模型如何通过实时情报分析、语义理解与生成、多语言处理、决策支持和用户交互优化等应用来提升智能情报系统的效能,讨论隐私与安全问题以及技术挑战与限制,提出相应的解决策略,以供参考。

英美文学中的语言多样性与文化交流探讨

本文探讨了英美文学中的语言多样性与文化交流。介绍了语言多样性和文化交流的概念,以及它们在英美文学中的重要性。讨论了语言多样性在文学中的演变,主要语言变体和方言的运用,以及作家如何利用多样性丰富文学表达。探讨了语言多样性与文学表达之间的关系,包括多语言书写和翻译文学作品的角色。研究了文化交流的定义和范围,特别强调了英美文学中的文化交流,包括多元文化社会中的交流和文化差异与相似性的反映。通过对《移民的乐园》和《了不起的盖茨比》这两个经典文学作品的深入分析,展示了语言多样性与文化交流在文学中的具体情况。这些作品通过角色、语言多样性和文化元素的精妙安排,深刻地反映了不同文化之间的互动和交流。