自然语言处理领域中的词嵌入方法综述

词嵌入作为自然语言处理任务的第一步,其目的是将输入的自然语言文本转换为模型可以处理的数值向量,即词向量,也称词的分布式表示。词向量作为自然语言处理任务的根基,是完成一切自然语言处理任务的前提。然而,国内外针对词嵌入方法的综述文献大多只关注于不同词嵌入方法本身的技术路线,而未能将词嵌入的前置分词方法以及词嵌入方法完整的演变趋势进行分析与概述。以word2vec模型和Transformer模型作为划分点,从生成的词向量是否能够动态地改变其内隐的语义信息来适配输入句子的整体语义这一角度,将词嵌入方法划分为静态词嵌入方法和动态词嵌入方法,并对此展开讨论。同时,针对词嵌入中的分词方法,包括整词切分和子词切分,进行了对比和分析;针对训练词向量所使用的语言模型,从概率语言模型到神经概率语言模型再到如今的深度上下文语言模型的演化,进行了详细列举和阐述;针对预训练语言模型时使用的训练策略进行了总结和探讨。最后,总结词向量质量的评估方法,分析词嵌入方法的当前现状并对其未来发展方向进行展望。

新文科背景下中国语言学学科的承继与发展

中国语言学自先秦以来,不仅取得丰硕的成果,而且形成独特的研究传统。近现代之后,中国语言学逐步转型,学科细分所致的新的研究态势已经不能适应新时代新文科要求。中国语言学需要在承继优良学术传统的基础上,面向人工智能和数字技术,走“大语言学”发展之路。

论大语言模型材料的证据属性——以ChatGPT和文心一言为例

以ChatGPT和文心一言为代表的大语言模型产生海量大语言模型材料,此类材料进入社会生活并产生广泛影响,讨论大语言模型材料证据属性具有重要意义。大语言模型材料可以成为证据,但是否具有证据资格需要在具体个案中进行判断。从诉讼效率出发,大语言模型证据在不同诉讼中的呈现形式可以有所区别:一般案件可以仅举示人机交流材料和使用者本地环境信息,重大案件则应完整举示。大语言模型材料区别于大数据证据和一般的人工智能证据,具有直观性强、可解释性弱、偏在于少数技术公司、可识别性弱等特点。

从全文检索到语言计量和语言智能——语料库研究应用的三个层次及资源

20世纪中后期,随着计算机软硬件技术的快速发展,语料库在规模、深度甚至模态上都有了长足进步,实现了由全文检索到语言智能的巨大飞跃。语料库的分类一般从收录语言材料的地域、时代、语种、语体、语域等层面,或语音、词法、句法、语义、篇章等标注层级,或面向具体的研究问题等角度来划分。但更基本的、却较少关注的问题是语料库的构建和应用是面向学者的语言研究需要,还是面向计算机的语言计算建模需要。本文从语料库研究和应用的角度出发,将语料库研究划分为面向全文检索、语言计量和语言智能等三个层次,着重介绍了与后两者相关的期刊、会议和成果资源,助力研究者确定研究范式,构建和使用相匹配的标注语料库,实现多学科的交叉融合和应用。

语言研究需要新质生产力

从农业社会开始,人类就开始了对于语言的研究,经历了语文学、文法研究、语言哲学研究的漫长时期;进入工业社会,历史比较语言研究、结构主义语言研究、功能主义语言研究、形式主义语言研究此起彼伏、相映成趣;计算机和互联网出现后的信息社会,计算语言研究、语料库语言研究、新媒体语言研究、数理语言研究、网络语言研究等应运而生;当下人类正在进入数字社会,数字语言研究等开始萌芽。

论语言智能的治理

语言智能在深刻改变语言治理的同时,自身也成为了语言治理的新对象。语言智能的治理,可以以数据和市场为抓手,因为数据是智能技术研发的起点,且直接来源于社会和市场,而市场应用则是智能技术研发的终点,也是研发的最终驱动力。从数据治理来看,语言数据资源决定着语言智能在性能、技术落地、关键领域应用和伦理安全等重要方面的表现,但目前中国很多行业数据化程度较低、数据质量不高,关键领域数据国产化程度有限,且伦理安全的地位亟待提高。从评价治理来看,学术机构和政府机构组织的技术评测已经成为推动智能技术和产品进步的重要手段,已形成“数据-技术-评测”闭环,但中国的技术评测在权威性、影响力、规划和设计科学程度上尚有提升空间。安全治理首先是能力问题,即能力落后于需求;其次是伦理安全问题,集中于语言资源、应用和社会文化方面。因此,语言智能治理首先要以数据为基础,以评测为牵引,提升语言智能能力;其次,要从数据、评测和使用等方面把好安全关,从理念、组织、实施、学科和社会文化等方面把好伦理关。

自然人、机器人、数字人“三人”共生时代的语言生活

地球似乎正在加速进入一个自然人、机器人、数字人“三人”共生的新时代。总体上呈现出数字化、智能化、自动化的新形态和新特征,相应地,语言生活也正发生着广泛而深刻的变化。在语言运用方面,产生了“自然人-数字人”“数字人-数字人”“机器人-数字人”“自然人-机器人-数字人”这4种新形态;在语言学习方面,“三人”各自的语言学习与机器人和数字人助力自然人学习遥相呼应;在语言研究方面,新数据、新方法、新思想星火萌发,语言资源学、数字语言学等新兴交叉方向似乎正在加速成形。未来的语言研究,需要把握时代发展趋势,依托整体性视角和系统性思维,为国家和社会发展提供更多更好的助力。

大型体育赛事语言景观的呈现特征、建构经验与提升策略——以北京2022年冬奥会为例

基于语言景观理论,通过录像观察对北京冬奥会语言景观的呈现特征进行考察并总结建构经验,进一步提出未来打造具有中国特色的赛事语言景观的提升策略。研究认为:首先,官方景观主导、载体类型多样、模态组合多元、语码布局规范是北京冬奥会语言景观的呈现特征。其次,自信规范的语言使用、特色文化的深度结合、丰富多样的呈现形式是北京冬奥会语言景观的建构经验。最后,未来应建立健全各类赛事语言景观的标准规范,促进文化交流的理解与认同;充分挖掘办赛所在地的优秀文化,打造具有本土特色的语言景观;应用现代高科技手段,拓宽语言景观呈现的渠道与形式。

学以致用的项目驱动式教学研究——以财务管理专业Python语言程序设计课程为例

Python语言程序设计课程是高校广泛开设的公共通识课程。该文以财务管理专业学生为施教对象,分析该课程教学面临的困难,探讨项目驱动式教学方法。通过梳理教学内容和知识点,构建知识图谱,结合专业背景设计应用项目,把知识点的教学贯穿于应用项目的开发中,同步递进,把理论与实践有机融合,传授Python语言程序设计基础知识的同时,培养学生解决问题的能力,达到学以致用的目的。

从语言战略角度看信息时代的语文教育

语言文字在信息时代具有了影响全民和全局的战略意义。提高基础教育阶段的语文教学质量,发展国民的语言能力与思维素养,是实施语言文字战略的前提。要改变语文教育在目标、内容与方法等层面存在的滞后性,适应信息时代对语文教育的要求,就必须努力推进语文教学建设。当前的关键之点是理解和落实《普通高中语文课程标准(2017年版2020年修订)》提出的“语文核心素养”课程目标,以及“学习任务群”课程组织原则。语文核心素养是由语言建构与运用、思维发展与提升、审美鉴赏与创造、文化传承与理解构成的整体,综合体现在学生的思想面貌和精神状态、知识结构和语言能力等多个方面,包含强烈的人文性;学习任务群是教师根据自己的实际情况创造性地组织教学的教学原则,要求以学生的自主学习为前提,让学生自己去完成学习任务,在实践中获取知识、增长能力、养成和提升核心素养。语文课程建设还必须有理论建设做支撑,建设契合汉语汉字特点、具有中国特色的语言文字知识体系已是刻不容缓。

大型语言模型对高等教育的影响与中国应对

大型语言模型(LLM)在短期内将从创设教学情境、创新教学模式、教学AI开发和应用、拓展高校在线学习、助力虚拟仿真课程开发等方面助力高等教育;长期来看能够助推“四新”建设、赋能基础学科拔尖人才培养,并催生高校结构性变革。同时,LLM也可能引发教育安全风险,造成新的教育智能鸿沟,并被大企业寡头垄断。为促进LLM赋能中国高等教育,需要我国加快开发迭代自己的LLM,促进其均等化可达,提升师生数字素养和能力,夯实数字化教学环境。

基于大语言模型的水工程调度知识图谱的构建与应用

随着水利事业的发展和信息化需求的增加,处理和表示海量水利数据变得复杂而繁琐。特别是调度文本数据通常以自然语言的形式存在,缺乏明确的结构和规范,并且处理和应用这些多样性的数据需要具备广泛的领域知识和专业背景。为此,提出了基于大语言模型的水工程调度知识图谱的构建方法。通过数据层的调度规则数据收集与预处理,再利用大语言模型挖掘和抽取数据中蕴藏的知识,完成概念层本体构建和实例层“三步法”提示策略抽取。在数据层、概念层、实例层的相互作用下,实现了规则文本的高性能抽取,完成了数据集和知识图谱的构建。实验结果表明,大语言模型抽取方法F1值达到85.5%,且通过消融实验验证了模型各模块的有效性和合理性。构建的水工程调度知识图谱整合了分散的水利规则信息,有效处理非结构化文本数据,并提供可视化查询和功能追溯功能。这有助于领域从业人员判断来水情况并选择适当的调度方案,为水利决策和智能推荐等提供了重要支持。

大语言模型在中学历史学科中的应用测评分析

大语言模型一经发布便获得广泛关注,但其在实际应用特别是教育领域的应用还存在诸多局限与挑战,因此需要对大语言模型在中文语境下的能力与风险进行测评。基于此,文章首先收集整理了一个包括10万条客观选择题与10套中学主观题测试卷的中学历史数据集,并在以ChatGPT、GPT-4和讯飞星火为代表的大语言模型上测试了该数据集中题目的回答表现。然后,文章详细分析了测试结果,发现虽然当前大语言模型的突出能力在于能够产生完整且流畅的表达,但其在中学历史知识测试中仍远低于适龄学生的平均水平,大语言模型应用于教育领域仍存在可靠性较差、可信度较低、具有偏见与歧视、推理能力不足、无法自动更新知识等问题。最后,文章针对大语言模型在中文语境下教育领域的应用提出建议,以期助力大语言模型在教育领域发挥更大的作用,为学生、教师带来更好的学习和教学体验。

是“神马”还是“灰犀牛”:ChatGPT等大语言模型对教育的多维影响及应对之策

ChatGPT以“入侵”的方式在教育领域登陆,初露“灰犀牛”面貌,由此引发教育思想、教育体系和学校教育层面的危机。在教育思想层面,多将ChatGPT视为“神马”,在态度上选择抵制和观望,其背后既有思维惯性、惰性等历史原因,也有因ChatGPT等大语言模型管理制度缺位导致安全感无处寄放的现实依据。就教育体系而言,ChatGPT引发的教育自洽与替代焦虑加持,将从内外两个角度解构既有的教育目标体系,由此带来基于人的自由全面发展的教育目标体系的重构;ChatGPT将推动知识生产与知识学习的转向,进而以知识教育价值重估为“支点”,撬动教育整体价值重估,促使教育立足“人本”和“高阶”开展价值创造;ChatGPT还将引发学生发展与评价标准、方式的变革,渐次推动教育评价体系的全面创新。就学校教育而言,知识学习的变革必将推动学校教育时空的重组和学校生态的创新,使课堂教学由“三维”向“四维”转型,进而推动教学生态重塑、流程再造和课堂教学革命,引发教师角色、工作方式和发展方式的变革。

基于大语言模型的BIM正向设计问答系统研究

在正向设计中,设计人员能够通过BIM技术进行设计和管理建筑项目,以支持决策。然而,BIM正向设计过程中的信息处理和知识共享仍面临诸多挑战,尤其是在快速获取和应用复杂建筑规范及设计知识方面。为解决上述问题,本研究基于大语言模型(LLM)设计了一套BIM正向设计问答系统,旨在探究LLM在BIM正向设计场景中的实际应用。通过采用基于QLoRA的LLM微调方式提高模型的专业性,并构建本地知识库形成问答系统,最后设计评价指标对系统进行主客观性能评估、专业问答对比分析。实验结果表明,该系统在专业领域性能表现良好,并能根据特定设计场景生成建议和解决方案,验证了本系统的可行性和优越性。

基于文献和知识学习的重症医学大语言模型探索

目的:通过大语言模型技术学习重症医学专科的临床知识,理解和识别临床医疗需求和临床问题意图,并对临床用户提出的问题进行智能反馈。方法:在通用大语言模型的基础上,进行医疗大语言模型数据集的设计,并收集大量的医学知识数据进行多任务多阶段的大语言模型训练,实现对重症医学临床信息的智能分析。结果:实现对重症医学临床医疗信息的智能化理解及自动化问答。结论:应用医疗大语言模型技术,结合临床规则库、医学文献等外部知识体系,可构建重症临床信息大语言模型系统,为临床医疗提供科学、智能的信息理解和决策支持,为大语言模型技术在医疗领域的进一步研究和应用提供经验和参考。

语言政策民族志本土化路径探究

随着语言政策与规划研究的实证转向,语言政策民族志所包含的本体论、认识论和方法论越来越得到国际语言规划与政策研究的重视。然而,这一研究范式尚未在我国得到充分关注。文章厘清语言政策民族志的内涵、方法及应用,阐述语言政策民族志对语言规划学科的重要意义,并提出语言政策民族志本土化的3点建议:一是培养本土文化意识,将研究置于地方历史文化中进行阐释;二是积极探索替代性认识论、方法论和其他会话资源;三是坚持中国立场,保持批判性反思,以期为探究适用于中国特色的语言规划理论提供借鉴和参考。

失语症研究的语言学转向

失语症研究的发展经历了由医学主导到心理学主导,再到语言学主导,再到目前多学科交叉的变化过程。目前,在世界范围内从语言学视角开展失语症研究的热潮正在形成,主要包括失语症言语特征、失语症患者语言能力评估以及失语症的康复训练。本文从这三个视角介绍中西方失语症研究的概况,论述失语症研究需要开展的工作,尤其是我国失语症研究需要开展的工作,为我国语言学学者从事失语症研究指明方向。

大语言模型赋能场景生成和双层优化的多农业园区供电-灌溉-蓄水耦合运行

传统农灌负荷的使用具有集中性和无序性,显著加剧电力系统的供需不平衡与运行成本。为提升农业园区运行的经济性和光伏资源的消纳能力,通过刻画农灌负荷特性,结合作物生长用能需求,提出一种基于大语言模型(largelanguagemodel,LLM)场景生成和双层优化的多农业园区优化调度模型。该模型利用LLM时序分析能力进行光伏短期发电功率预测,然后通过LLM知识推理能力构建农业用水知识图谱,知识图谱中丰富的语义关系辅助LLM推理和预测,生成更符合实际情况的农业供电-灌溉-蓄水场景。双层优化调度模型在生成场景基础上,以园区经济运行为优化目标,对多农业园区供电-灌溉-蓄水进行耦合优化调度。最后,通过仿真验证,本文所提出的方法显著提升了农业园区电力系统运行稳定性,并有效降低了系统运行成本。

人工智能时代语言服务行业需求分析与人才培养研究

以126名语言服务从业者及397名学习者为研究对象进行问卷调查和访谈,通过数据分析发现,人工智能时代的语言服务行业对具职业创新能力的复合型人才需求较高,但现有人才培养与市场需求还不能完全对接,学习者对行业需求的认识,以及自身信息技术能力、跨学科语言服务能力等有待提升。提出多渠道语言服务能力培养路径,特别探讨了通过依托项目学习模式,提升学习者职业创新能力,以期培养人工智能时代行业所需的优质语言服务人才。