大语言模型中文问答正确性对比实验研究——以ChatGPT 3.5、Claude 1.0和文心一言2.1为例

[目的/意义]对大语言模型中文问答正确性进行实验测评研究,为中文用户使用大语言模型提供一定的指导作用。[方法/过程]针对科技、教育、医学、生活、旅游美食和哲学文化6个领域,分别设计常识性、专业性和开放性三类问题,每类20个问题,共计360个问题。分别向ChatGPT 3.5、Claude 1.0和文心一言2.1提问,再针对回答进行正确性的人工评价。最后汇总评价结果,进行正确性的多方面对比分析。[结果/结论]实验分析表明中文语料数据的规模与质量,以及大语言模型的参数规模是影响大语言模型中文问答正确性的重要因素。

基于常问问题集的中文问答系统研究

首先根据用户的提问建立一个候选问题集,然后通过计算句子语义相似度,在候选问题集中找到相似的问句,并将答案返回给用户.该系统还能够自动地更新和维护FAQ库.实验表明,与基于关键词的句子相似度计算相比,基于语义的句子相似度计算提高了问题匹配的准确率.

基于句法分析和答案分类的中文问答系统

本文根据疑问词和谓语的距离信息对问句进行细致的句型分析,然后对答句进行浅层句法分析,在此基础上,抽取出问题特征集、答句特征集和组合特征集作为分类特征,引入最大熵模型和支持向量机训练答案抽取分类器.基于不同特征组合训练得到的分类器在五类事实性问题上进行了测试,其F值分别达到70.87%和85.75%.

受限领域中文问答系统问句分析研究

问句分析是问答系统中一个极其重要的部分,它对后续的搜索模块和答案抽取模块有着至关重要的影响。为了提高问句分析模块的性能,对中文问答系统问句分析模块进行研究和分析,在构建领域词典的基础上实现了对问句中命名实体的识别。对问句类型的识别则采用问题类别对照表的方式来实现。在对问句进行分词、词性标注之后,提取出其中的名词、动词、形容词等实词,形成初始查询向量,最后对初始查询向量进行同义词扩展和问句类型关联词扩展。实验结果表明,通过查询向量进行查询比用问句直接查询有着更高的准确率。

基于改进VSM的中文问答系统研究

针对向量空间模型中的权重计算公式仅考虑词语项在文档中的相关频数,提出词语项本身的领域权重概念,改进了向量空间模型的权重计算。同时结合关键词距离和关键词顺序信息,实现了句子相似度计算,以特定课程的FAQ库检索作S@n测试对比,结果表明改进后的相似度模型提高了S@n值。

基于概念匹配的中文问答处理模型核心问题探讨

为了解决问答处理系统中的语义模糊问题,提高问答处理的性能,研究人员尝试采用概念作为系统处理的对象,而不再是语言表层符号,然而,在引入概念进行处理的同时引来了一些新的问题,如概念的抽取、概念关联计算以及特定于问答系统的问题理解、问题求解、答案生成等问题。在概念抽取、概念关联计算方面,已有一些比较成功的算法。本文将在此基础上,针对实现这样一个问答处理系统所存在的一些未涉及的核心问题进行一个探讨,同时提出解决以上问题的方法。实验及实际应用表明基于所提出算法的概念问答系统具有较强的性能,系统总体自动处理准确率将近达到40%。在实际应用中也表现出较高的应用价值。

基于集合论的中文问答系统查询扩展(英文)

在汉语问答系统中,当用自然语言问句进行文档检索时,由于问句比查询词包含更多的语义信息,因此必须进行查询词扩展以提高信息检索的性能.通过分析已有的查询扩展方法,提出了基于集合论的查询扩展新方法.它结合了3种传统的查询扩展方法:语义词典法、自动相关反馈法和问题类型词.实验结果表明该方法在Web检索方面是有效并且优于传统的方法.

基于常问问题集的中文问答系统研究

中文问答系统作为一种新答疑模式,依托于自然语言处理和人工智能等相关技术,具有高效、快速、准确等特征。而基于常问问题集的中文问答系统是一种检索效率较高的实现模式,可以在原有基础上,提高用户信息检索效率和精准性。基于此,本文概述常问问题(FAQ)和问答系统的基本内涵,分析候选关键词和类别关键词算法,对问句方法进行探索,研究基于常问问题集的中文问答系统设计,旨在给问答系统创新优化提供一些有益参考。

中文问答系统的现代汉语疑问句类型分析研究概述

计算机科学中的问答系统(Question-Answer System,QAS)的研究以自然语言中的"疑问句"为研究对象,其中关于疑问句的类型分析是研究领域中三个主要研究内容之一;从另一方面看,自然语言中的疑问句一直都是语言学家关注的重点,现代汉语问句的类型分析在语言学研究中成果丰富。因此,在现代汉语问句类型分析角度两个领域产生了交叉研究的可能性,并在可行性方面有很大学术探讨空间。

基于模式匹配的中文问答系统

网络信息的迅速增长,传统搜索引擎的不足,促使了人们对问答系统的研究。首先介绍了一些问答系统相关知识;然后重点介绍了我们设计开发的基于模式匹配技术的中文问答系统;最后使用该系统进行实验,并给出实验结果与分析。实验结果表明,基于模式匹配的中文问答系统是有效的。

一个标准中文问答系统的研究与实现

本文介绍了有关中文问答系统的一些研究。问答系统是集知识表示、信息检索、自然语言处理技术于一体的难度很高的研究课题。本文从问题处理、检索系统、答案抽取三个方面进行了详细说明,并提出了具体的实现方案。

中文问答系统的研究

介绍了有关中文问答系统的一些研究.问答系统是集知识表示、信息检索、自然语言处理技术于一体的难度很高的研究课题.本文从问题处理、检索系统、答案抽取三个方面进行了详细说明.

一个简单的中文问答系统

介绍了一个简单的中文问答系统 .问答系统是集知识表示、信息检索、自然语言处理技术于一体的难度很高的研究课题 .本文从问题处理、检索系统、答案抽取三个方面进行了详细说明 .

浅谈中文问答系统

问答系统是集知识表示、信息检索、自然语言处理技术于一体的难度很高的研究课题。本文从问题处理、检索系统、答案抽取三个方面进行了详细说明,同时给出了适合于问答系统的检索中权重计算方法。

融合多粒度语义信息和知识图谱的中文医疗问答匹配模型

中文医疗领域问答容易受到医疗特定词汇的噪声影响,相对于开放领域问答其更具有挑战性。以往的中文医疗问答研究主要依赖于字符级别的细粒度信息,忽略了携带更多语义信息的单词级别的粗粒度信息。此外,引入外部医学知识图谱可以进一步丰富问答句子中的细粒度信息,然而目前大多数研究通常只采用句子和外部知识共同表示的简单方式。由此提出一种融合多粒度语义信息和知识图谱的中文医疗问答匹配模型(CMQA-MGSI)。该模型引入Lattice网络,结合Word2Vec和BERT设计了两种特征向量提取模型来选择问答句子中最相关的字符序列和单词序列以获得更丰富的多粒度语义信息;为了更好地融合外部领域知识,设计双通道注意力模块提取问答句子和知识图谱中实体嵌入以及关系嵌入之间多个角度的知识表征信息。该模型在数据集cMedQA1.0和cMedQA2.0上的实验表明,效果优于现有的问答匹配模型。

中文开放域问答系统的问题分类研究

中文问答系统通常由问题分析、信息检索、答案抽取组成。其中,问题分析中的问题的分类是否准确会直接关系到提取答案的准确度,所以在问答系统中起到关键性作用。本文主要介绍了中文问答系统的结构、问题分类体系以及方法,并提出结合基于规则的模式匹配与基于统计的机器学习的方法对问题进行分类,从而提高分类的准确度。

中文自动问答中句子相似度计算研究

句子相似度计算是自动问答系统的重要理论基础和关键实现技术。目前，用于中文自动问答系统的句子相似度计算方法很多，由于缺乏系统的分析，给研究人员带来了较大的不便。依据所利用的特征信息，可以将这些方法分为四类，即基于关键词信息、基于语义信息、基于句法结构信息以及基于多重信息。通过对各类方法实验结果的比较，指出各自的优势和不足。同时指出，基于多重信息的方法是当前的主流方法，实现不同特征信息的最佳权重分配是该类方法今后的研究重点。另外，还提出一个有关相似度概念认识上的看法，即对于中文自动问答系统，实质上依据的是句子的相关度，而不是句子的相似度。通过本文的研究，旨在为中文自动问答领域的句子相似度计算研究提供一定的参考。

中文口语开放域问答系统中问句分析处理方法的研讨

就汉语语言的特点,对中文口语自动问答系统中用户问句的处理方法作了系统的分析.提出了口语问句规范化处理的方法,使得系统能够对口语表达形式多样(甚至病句),但语义相同的问句可以采用相同的分析算法.同时此法所得出的规范化问句将反馈给用户,用于用户确认,实现了人机交互.规范化问句通过主题词的方法,确定搜索的知识源,明确和缩小了搜索范围,减少了对无用信息的搜索.

基于RST和SVM的中文问题分类方法

针对支持向量机分类中数据量维数大、处理速度慢等缺点,该文提出了一种新的中文问题分类方法CRV,它利用粗糙集理论的属性约简方式预处理样本数据,在消除冗余的特征向量、降低样本数据空间维数的同时,有效地提高了支持向量机的收敛速度和分类精度。应用该方法于计算机网络课程的自动问答系统中,有效地提高了问题分类的准确率,验证了该方法的可行性。

基于神经网络和虚幻引擎的数字人客服系统

为了改善传统智能客服在基于文本交互的情境下,用户体验较差的问题。基于人脸的三维重建赋予数字人真实面孔,同时结合虚幻引擎进行实时渲染,采用Rasa(用于构建对话机器人的开源机器学习框架)针对不同情景进行中文问答训练,经由TTS(Text To Speech)算法转化文本为音频,再通过唇形同步算法将音频映射为数字人面部变形权重,该权重最终用于驱动面部动画,实现了用户和高保真数字人语音对话的功能。经过在不同年龄段群体进行测试和统计,用户对系统的满意率高达96%,为提升智能客服的体验提供了优化方案。