大语言模型的技术应用前景与风险挑战

针对大语言模型(LLM)技术的快速发展,剖析它的技术应用前景和风险挑战,对通用人工智能(AGI)的发展和治理有重要参考价值。首先,以Multi-BERT(Multilingual Bidirectional Encoder Representations from Transformers)、GPT(Generative Pre-trained Transformer)和ChatGPT(Chat Generative Pre-Trained Transformer)等语言模型为代表,综述LLM的发展脉络、核心技术和评估体系;其次,分析LLM现存的技术局限和安全风险;最后,提出LLM在技术上改进、政策上跟进的建议。分析指出作为发展阶段的LLM,现有模型存在非真实性及偏见性输出、实时自主学习能力欠缺,算力需求庞大,对数据质量和数量依赖性强,语言风格单一;存在数据隐私、信息安全和伦理等方面的安全风险。未来发展可从技术上继续改进,从“大规模”转向“轻量化”、从“单模态”走向“多模态”、从“通用”迈入“垂类”;从政策上实时跟进,实施有针对性的监管措施,规范应用和发展。

大语言模型与多语言智能的研究进展与启示

针对大语言模型(LLM)在高资源语言上表现优异而在低资源语言上表现欠佳的现状,深入分析LLM在多语言场景下的研究现状、技术与局限。首先,从2018年至今以Multi-BERT(multi-lingual Bidirectional Encoder Representations from Transformers)、GPT(Generative Pre-trained Transformer)和ChatGPT(Chat Generative Pre-trained Transformer)等语言模型为代表,综述LLM的发展脉络;然后,具体分析了大语言模型在多语言智能上的探索,总结现有LLM在多语言智能的研究局限及其改进方向;最后,探讨LLM未来的多语言智能应用场景。分析指出现有LLM受限于多语言训练语料不均衡,存在语言文化的伦理偏见、语言模型的风格趋同化、多语言能力评估基准缺乏以及多语言场景下的模型幻象输出等问题,未来可采用同一语系家族语言的联合训练、多语言适配器技术、跨语言迁移学习技术、提示语工程技术、基于人工智能反馈的强化学习技术等策略实现多语言智能的LLM。

跨语言情感分析研究综述

【目的】对跨语言情感分析的研究脉络进行梳理总结。【文献范围】以Web of Science数据库为检索平台,以TS=cross lingual sentiment OR cross lingual word embedding为检索式,筛选90篇文献进行述评。【方法】根据跨语言情感分析所采用的技术进行分类概述,包括基于机器翻译及其改进、基于平行语料库、基于双语情感词典三种早期的主要方法,再到引入Word2Vec和GolVe等词向量模型后,基于跨语言词向量模型的方法,最后到2019年以来基于Multi-BERT等预训练模型的方法。【结果】总结跨语言情感分析相关研究的主要思路、方法模型、不足之处等,分析现有研究覆盖的语言、数据集及其性能。发现虽然Multi-BERT等预训练模型在零样本的跨语言情感分析上取得较好性能,但是仍然存在语言敏感性问题。早期的跨语言情感分析方法对现有研究仍有一定指导和参考价值。【局限】部分跨语言情感分析模型属于混合模型,分类时仅按照主要方法进行归纳。【结论】展望跨语言情感分析的未来发展和亟待解决的问题。随着预训练模型对多语言语义的深层次挖掘,适用于更多更广泛语种的跨语言情感分析模型将是未来发展方向。