基于大语言模型的BIM正向设计问答系统研究

在正向设计中,设计人员能够通过BIM技术进行设计和管理建筑项目,以支持决策。然而,BIM正向设计过程中的信息处理和知识共享仍面临诸多挑战,尤其是在快速获取和应用复杂建筑规范及设计知识方面。为解决上述问题,本研究基于大语言模型(LLM)设计了一套BIM正向设计问答系统,旨在探究LLM在BIM正向设计场景中的实际应用。通过采用基于QLoRA的LLM微调方式提高模型的专业性,并构建本地知识库形成问答系统,最后设计评价指标对系统进行主客观性能评估、专业问答对比分析。实验结果表明,该系统在专业领域性能表现良好,并能根据特定设计场景生成建议和解决方案,验证了本系统的可行性和优越性。

大语言模型融合知识图谱的医学问答系统构建研究

大语言模型(LLM)具有强大的学习和推理能力,然而由于缺乏内部知识,该模型面临幻觉挑战。针对医学问答对高质量专业知识的需求,本研究提出一种大语言模型融合知识图谱的医学问答方法,并将其应用于医学科技信息知识服务平台(MedKaaS)的问答系统构建。研究表明,相比传统的知识库问答(KBQA)和新兴的基于生成式大语言模型的问答,本文所提出的大语言模型融合知识图谱的方法充分综合了二者的优势,并为医学问答提供了证据溯源支持,有效提升了医学智能问答质量和医学知识服务效果。

大语言模型的中文文本简化能力研究

大语言模型为自动文本简化提供了新思路。为了探究大语言模型的中文文本简化能力,本研究构建了中文篇章级文本简化数据集,对其中的平行文本对进行了特征分析;在此基础上,设计大语言模型自动文本简化实验,采用零样本、少样本、少样本+词表和少样本+规则这4种提示策略,综合已有的和本研究特有的语言特征评估指标,测评了6种国内外常用大语言模型在不同提示策略下的中文文本简化能力。研究发现,少样本提示策略在文本特征上表现最佳,显著提高了信息保存度;在提示中加入外部词表,有助于大语言模型使用相对简单的词语;在提示中融入简化规则,能使大语言模型使用更简洁的句法结构。不同的大语言模型在难度控制和语义保留程度上各有优势与局限,但在语篇衔接与连贯和段落划分上与人类专家存在明显差距,且均出现了不同程度的幻觉现象。未来仍需构建较大规模的高质量中文简化数据集,多角度诱导语言大模型的文本简化能力。

图书情报领域中外学者研究方法使用差异分析——跨语言文本分类的视角

[目的/意义]对学科研究方法的自省式分析对于理解学科发展和建立学科自主知识体系至关重要。通过研究国内外学者在研究方法上的使用差异,可以更全面地了解不同地区和文化背景下的研究者在应对不同研究问题所采用的策略和方法,从而促进学术交流和跨国合作,并进一步推动学科的发展与学科知识体系的完善。[方法/过程]以图书情报领域5种高影响力中英文期刊中1990-2021年共30余年的学术论文为研究对象,采用跨语言文本分类方法对这些论文中的研究方法进行自动分类。然后从研究方法的使用频率与演化差异以及适用主题多样性差异两个角度,进行中外比较研究。[结果/结论]国外学者越来越倾向于使用定性方法,而对定量方法的使用正在减少。同时,国内外大多数研究方法的适用主题多样性都在增加。这项研究对于理解图书情报学科的发展、促进学术交流与合作以及提高国内学者的国际影响力具有重要意义。

我国民族语言文献文本数字化识别问题——基于OCR及其工具

我国少数民族语言文献数量庞大,文字种类繁多,内容涵盖政治、经济、法律、历史、文学、艺术、宗教、天文、地理、医药等领域,是中华民族文化知识的重要组成部分。构建各民族文献文本数据,使之应用于自然语言处理和人工智能,能有效促进中华优秀传统知识创新性传承,促进知识社会化,是对各民族语言古文献和现代书报刊进行文字识别和文本转换数据构建的基础。国内早期OCR技术虽然解决了几种主要少数民族文字识别的问题,但因字符为非Unicode基本集编码而弃用。当前OCR技术已能较好识别蒙、藏、维、哈、朝等文种文献,但在处理我国汉文与少数民族文字混排图像文本时仍然效果不佳。因此应推进少数民族语言文献OCR识别技术创新。我国少数民族语言文献现行活态文字有十多种,其中非拉丁字系的文字有11种,OCR技术应重点解决这类少数民族语言字系的抄本、刻版和铅字印刷文本,以及汉文与民族文字混排文本的识别问题,研发开放的多功能工具和平台。在此基础上,进一步开展少数民族语言文献文本大规模数据构建,以促进我国语言科学研究和自然语言处理的创新发展。

大语言模型中文问答正确性对比实验研究——以ChatGPT 3.5、Claude 1.0和文心一言2.1为例

[目的/意义]对大语言模型中文问答正确性进行实验测评研究,为中文用户使用大语言模型提供一定的指导作用。[方法/过程]针对科技、教育、医学、生活、旅游美食和哲学文化6个领域,分别设计常识性、专业性和开放性三类问题,每类20个问题,共计360个问题。分别向ChatGPT 3.5、Claude 1.0和文心一言2.1提问,再针对回答进行正确性的人工评价。最后汇总评价结果,进行正确性的多方面对比分析。[结果/结论]实验分析表明中文语料数据的规模与质量,以及大语言模型的参数规模是影响大语言模型中文问答正确性的重要因素。

基于大语言模型的智能问答系统在高校中的设计与应用

随着信息技术的迅速发展,智能问答系统已经成为高等教育领域提高教学效率和资源可及性的重要工具。文中探讨了基于大语言模型(LLM)的智能问答系统在高校中的设计与应用。通过分析当前智能问答系统的发展现状和面临的挑战,提出了一个整合了最新自然语言处理技术和人工智能的智能问答系统框架。该系统旨在为学生、教师及其他利益相关者提供快速准确的信息检索和问答服务,涵盖了招生信息、奖学金资讯、职业发展指导、学术辅导等多个方面。通过案例分析,文中展示了系统的设计过程、关键技术、实现挑战及解决策略,旨在为高等教育机构实施智能问答系统提供参考。

基于语料库的建筑规约文本语言复杂度特征分析——以FIDIC合同为例

采用基于自建语料库的方法,以2017版FIDIC施工合同条件为例,以普通商务法律文本为参照,运用L2SCA(二语句法复杂度分析器)句法分析工具对建筑规约文本与商务规约文本语言特征中的14个数据指标进行对比分析。研究发现,FIDIC合同条件在单位长度、单位密度、句子复杂度及并列度等层面普遍较高于商务规约文本,其中在平均小句长度、并列短语比率、小句与T单位中名词比率方面,建筑规约性文本低于商务规约性文本。探索规约性文本的语言特征及规律,可以弥补句法复杂度分析器对于规约类文本研究的欠缺,为其翻译研究提供新思路。

一种融合文本与知识图谱的问答系统模型

知识图谱是实现开放领域问答的关键技术之一,开放领域问答任务往往需要足够多的知识信息,而知识图谱的不完备性成为制约问答系统性能的重要因素。利用外部非结构化的文本与基于知识图谱的结构化知识相结合填补缺失信息时,检索外部文本的准确性和效率尤为关键,选取与问题相关度较高的文本可提升系统性能。相反,选取与问题相关性较弱的文本将引入知识噪声,降低问答任务的准确性。因此,设计了一种融合文本与知识图谱的问答系统模型,其中的文本检索器可充分挖掘问题和文本的语义信息,提高检索质量和查询子图的准确性;知识融合器将文本和知识库中的知识结合构建知识的融合表征。实验结果表明,相较对比模型,该模型在性能上存在一定优势。

问答式林业预训练语言模型ForestBERT

【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策管理提供智能化信息服务。【方法】首先,基于网络爬虫技术构建包含术语、法律法规和文献3个主题的林业语料库,使用该语料库对通用领域预训练语言模型BERT进行继续预训练,再通过掩码语言模型和下一句预测这2个任务进行自监督学习,使BERT能够有效地学习林业语义信息,得到具有林业文本通用特征的预训练语言模型ForestBERT。然后,对预训练语言模型mT5进行微调,实现样本的自动标注,通过人工校正后,构建包含3个主题共2280个样本的林业抽取式问答数据集。基于该数据集对BERT、RoBERTa、MacBERT、PERT、ELECTRA、LERT 6个通用领域的中文预训练语言模型以及本研究构建的ForestBERT进行训练和验证,以明确ForestBERT的优势。为探究不同主题对模型性能的影响,分别基于林业术语、林业法律法规、林业文献3个主题数据集对所有模型进行微调。将ForestBERT与BERT在林业文献中的问答结果进行可视化比较,以更直观展现ForestBERT的优势。【结果】ForestBERT在林业领域的抽取式问答任务中整体表现优于其他6个对比模型,与基础模型BERT相比,精确匹配(EM)分数和F1分数分别提升1.6%和1.72%,在另外5个模型的平均性能上也均提升0.96%。在各个模型最优划分比例下,ForestBERT在EM上分别优于BERT和其他5个模型2.12%和1.2%,在F1上分别优于1.88%和1.26%。此外,ForestBERT在3个林业主题上也均表现优异,术语、法律法规、文献任务的评估分数分别比其他6个模型平均提升3.06%、1.73%、2.76%。在所有模型中,术语任务表现最佳,F1的平均值达到87.63%,表现较差的法律法规也达到82.32%。在文献抽取式问答任务中,ForestBERT相比BERT可提供更准确、全面的答案。【结论】采用继续预训练的方式增强通用领域预训练语言模型的林业专业知识,可有效提升模型在林业抽取式问答任务中的表现,为林业文本和其他领域的文本处理和应用提供一种新思路。

文本视觉问答综述

传统视觉问答(VQA)大多只关注图像中的视觉对象信息,忽略了对图像中文本信息的关注。文本视觉问答(TextVQA)除了视觉信息外还关注了图像中的文本信息,能够更加准确并高效地回答问题。近年来,TextVQA已经成为多模态领域的研究热点,在自动驾驶、场景理解等包含文本信息的场景中有重要的应用前景。阐述TextVQA的概念以及存在的问题与挑战,从方法、数据集、未来研究方向等方面对TextVQA任务进行系统性的分析。总结现有的TextVQA研究方法,并将其归纳为3个阶段,分别为特征提取阶段、特征融合阶段和答案预测阶段。根据融合阶段使用方法的不同,从简单注意力方法、基于Transformer方法和基于预训练方法这3个方面对TextVQA方法进行阐述,分析对比不同方法的特点以及在公开数据集中的表现。介绍TextVQA领域4种常用的公共数据集,并对它们的特点和评价指标进行分析。在此基础上,探讨当前TextVQA任务中存在的问题与挑战,并对该领域未来的研究方向进行展望。

融入软掩码机制增强数值表示的表格-文本混合问答

表格-文本混合问答需要从异质数据中进行数值推理得到答案,当前的研究将问题、表格、文本拼接作为输入,但其中包含太多不相关的数值和文本会降低模型的性能.使用硬掩码机制将噪音去除以增强正确的数值表示会产生错误传播问题,本文提出一种新的软掩码机制对原始输入表示进行缩放,从而增强正确的数值表示,同时减轻错误传播问题,并且该机制可以灵活地运用到各种模型以及任务中.本文在FinQA、ConvFinQA和MultiHiertt数据集上进行实验,结果表明通过软掩码机制增强数值表示可显著提升模型的性能(+1.27/+1.65Exe/Prog Acc、+3.09/+2.96Exe/Prog Acc和+5.29/+3.45EM/F1).本文还通过消融实验分析软掩码相对于硬掩码的优势,以及不同软掩码向量的影响,并讨论了当前表格-文本混合问答的局限性与未来方向.

基于大语言模型的教育文本幂等摘要方法

大语言模型在自然语言处理领域蓬勃发展,但在教育数字化领域应用过程中仍面临一系列重要挑战。针对教育数字化领域垂域数据稀缺、摘要长度不稳定导致信息缺失或冗余的问题,提出一种用于教育领域文本摘要的轻量化幂等模型框架IGLM。该模型首先采用多源训练进行自适应扩增以提升数据多样性,然后对下游的文本摘要任务进行多种微调。同时,为降低文本长度的影响,设计幂等摘要生成策略拉近初次摘要与幂等摘要来约束模型,减少语料分布不均导致的偏见,结合量化技术在低资源条件下生成更为精确和流畅的摘要文本。实验以ROUGE分数为评估指标,在公开中文文本摘要数据集LCSTS、EDUCATION、NLPCC上进行验证。实验结果表明,该框架在生成摘要的准确率和流畅性上有明显提升,其中ROUGE-1/2/L相较基线模型在LCSTS数据集上分别提升7.9、7.4、8.7个百分点,在EDUCATION数据集上分别提升12.9、15.4、15.7个百分点,在NLPCC数据集上分别提升12.2、11.7、12.7个百分点,验证了模型有效性。

ChatSOS:基于大语言模型的安全工程知识问答系统

为解决大语言模型在安全工程领域应用时面临的语料库规模、输入处理能力和隐私性限制等问题,以2013—2023年间共117篇爆炸事故调查报告为基础构建向量数据库,利用大语言模型的生成式能力,进行提示工程,提出一个基于大语言模型的安全工程知识问答(Q&A)系统——ChatSOS;与ChatGPT大语言模型相比,ChatSOS能够通过整合外部知识库,使大语言模型根据用户的输入信息,从数据库中检索相关语料,并深入分析。结果表明:ChatSOS具备深入分析问题、自主分配任务的能力,能够详尽总结事故报告并提出建议;通过结合外部知识库解决基础大模型在安全工程领域语料不足和语料实时性不高的问题,避免了使用新数据集微调模型可能导致的模型性能下降等问题,提升了大语言模型在安全工程领域的应用能力。

基于模糊自然语言处理的铁路CTC接口文本智能测试方法

模糊自然语言处理将模糊理论应用在自然语言处理(NLP)的任务中,随着大模型与人工智能的不断发展,有关文本数据的研究不断深化。铁路调度集中控制(CTC)系统作为大型复杂系统,各子系统、服务器软件间的接口数据均以日志文本格式存储与传输。由于其具有文本数量多、文本类型杂等特点,提出了一种模糊自然语言处理的方法,解决CTC系统接口数据的人工测试难题。模糊C均值(FCM)聚类算法将日志文本分为不同的标签类别,并将其作为NLP任务中命名实体识别的标签输入,在传统BiLSTM-CRF模型上引入BERT进行文本编码,更准确地理解文本之间的关系并提高文本识别的精确度。根据前序训练模型,研发了铁路CTC系统日志文本接口测试的智能验证工具,其可以改善目前CTC系统的人工测试现状,帮助测试人员进行接口测试验证,提升测试工作的智能化、自动化水平。

用于小样本跨语言文本分类的元对比学习框架

众多的安全风控问题均为文本分类问题,国际场景下的舆情分析等风控问题涉及多种语言,是一大难点。先前的研究表明,通过跨语言语义知识迁移可以显著提高小样本文本分类任务的性能。然而,跨语言文本分类的发展仍面临着一系列挑战。获得语义无关的文本表征是一项困难的任务。不同语言之间的语法结构和句法规则引起文本表征的差异,因此提取通用的语义信息较为困难。此外,跨语言文本分类的标签数据十分稀缺。在很多现实场景中,只能获得少量的标记数据,这严重降低了许多方法的性能。因此需要有效的方式能够在小样本情况下准确地迁移知识,提高分类模型的泛化能力。为应对这些挑战,提出了集成对比学习和元学习的框架,该框架集成了对比学习和元学习的优势,利用对比学习来提取与语言无关的通用语义信息,同时利用元学习快速泛化的优势来改善小样本场景中的知识迁移。此外,提出了基于任务的数据增强方法,以进一步提高所提框架在小样本跨语言文本分类中的性能。通过在两个广泛使用的多语言文本分类数据集上进行大量实验,证实了所提方法能够有效提升文本分类的准确性,可有效应用于风控安全领域。

视觉语言模型引导的文本知识嵌入的小样本增量学习

真实场景往往面临数据稀缺和数据动态变化的问题,小样本增量学习的目的是利用少量数据推理数据知识并减缓模型对于旧知识的灾难性遗忘.已有的小样本增量学习的算法(CEC和FACT等)主要是利用视觉特征来调整特征编码器或者分类器,实现模型对于新数据的迁移和旧数据的抗遗忘.但是少量数据的视觉特征往往难以建模一个类别的完整特征分布,导致上述算法的泛化能力较弱.相比于视觉特征,图像类别描述的文本特征具有较好的泛化性和抗遗忘性.因此,在视觉语言模型的基础上,研究基于文本知识嵌入的小样本增量学习,通过在视觉特征中嵌入具有抗遗忘能力的文本特征,实现小样本增量学习中新旧类别数据的有效学习.具体而言,在基础学习阶段,利用视觉语言模型抽取图像的预训练视觉特征和类别的文本描述,并通过文本编码器实现预训练视觉特征到文本空间的映射.进一步利用视觉编码器融合学习到的文本特征和预训练视觉特征抽象具有高辨别能力的视觉特征.在增量学习阶段,提出类别空间引导的抗遗忘学习,利用旧数据的类别空间编码和新数据特征微调视觉编码器和文本编码器,实现新数据知识学习的同时复习旧知识.在4个数据集(CIFAR-100,CUB-200,Car-196和mini Image Net)上验证算法的有效性,证明基于视觉语言模型文本知识嵌入可以在视觉特征的基础上进一步提升小样本增量学习的鲁棒性.

大语言模型在社交媒体文本生成领域的应用研究——以小红书平台为例

基于大语言模型提示工程,探索生成具有社交媒体特色文本的应用方法。以小红书平台为例,在不对模型进行任何微调的前提下,设计提示模板并结合小样本学习,引导大语言模型生成符合小红书特色的文本内容。研究发现,将提示与小样本示例结合,能够显著提高生成文本的质量和相关性,同时保持文本内容的多样性和创新性。

认知生态语言学视域下教育文本中的隐喻故事释读

认知语言学和生态语言学均强调语言的建构作用,这为两者的相互借鉴和融合提供了可能和潜势。在认知生态语言学研究初见端倪的背景下,构建一套认知生态视域下的分析框架,遵循“现实—认知—语言”的理论原则,对教育部2022年工作要点内容进行全面系统的隐喻分析。结果发现,2022年教育工作的总体目标是坚持党的领导,完善育人体系,促进教育公平,提升教育服务,助力教育发展,打造教师队伍。这些要点有利于在全国创建多样均衡的教育生态,促进中国教育的健康发展。

基于LangChain的RAG问答系统设计与实现——以C语言课程问答系统为例

生成式人工智能(Artificial Intelligence,AI)问答系统虽然多数情况下能为用户提供比较满意的答案,但是这些问题的答案通常是基于已有的知识库训练而生成的。当涉及新的知识或者某个特定领域的问题时,生成式AI问答系统经常会生成一些错误的答案。为了克服生成式AI问答系统这种弊端,文章采用了检索增强生成(Retrieval Augmented Generation,RAG)技术,基于LangChain框架和ChatGLM大语言模型构建了C语言课程问答系统,具有较高的推广应用价值。