基于视觉-语言特征编码的跨模态融合视觉问答方法

现有的视觉问答方法采用相同编码器编码视觉-语言特征,忽略了视觉-语言模态之间的差异,从而在编码视觉特征时引入与问题无关的视觉干扰特征,导致对关键视觉特征关注不足。提出一种基于视觉-语言特征编码的跨模态融合视觉问答方法:采用一种动态注意力编码视觉特征以实现根据问题动态调整视觉特征的注意力范围;设计了一种具有双门控机制的引导注意力以过滤多模态融合过程带入的干扰信息,提升多模态特征融合的质量,并增强多模态特征的表征能力。该方法在视觉问答公共数据集VQA-2.0上的Test-dev和Test-std两个测试集上的准确率分别达到71.73%和71.94%,相比于基准方法分别提升了1.10和1.04个百分点。本文方法能够提升视觉问答任务的答案预测准确率。

基于大语言模型的BIM正向设计问答系统研究

在正向设计中,设计人员能够通过BIM技术进行设计和管理建筑项目,以支持决策。然而,BIM正向设计过程中的信息处理和知识共享仍面临诸多挑战,尤其是在快速获取和应用复杂建筑规范及设计知识方面。为解决上述问题,本研究基于大语言模型(LLM)设计了一套BIM正向设计问答系统,旨在探究LLM在BIM正向设计场景中的实际应用。通过采用基于QLoRA的LLM微调方式提高模型的专业性,并构建本地知识库形成问答系统,最后设计评价指标对系统进行主客观性能评估、专业问答对比分析。实验结果表明,该系统在专业领域性能表现良好,并能根据特定设计场景生成建议和解决方案,验证了本系统的可行性和优越性。

基于大语言模型的Linux课程问答系统

基于国产主流大语言模型,设计一个Linux课程知识问答系统.该系统结合检索增强技术,能根据人类反馈持续学习,有助于解决Linux课程教学中如何更有效辅助学生学习的问题.实验结果表明,该系统提高了大语言模型回答的事实性,能有效回答学生提问.此外,该系统以较低成本积累了以自然语言形式呈现的专业领域知识库,降低了教师教学资料搜集整理的工作量.

大语言模型融合知识图谱的医学问答系统构建研究

大语言模型(LLM)具有强大的学习和推理能力,然而由于缺乏内部知识,该模型面临幻觉挑战。针对医学问答对高质量专业知识的需求,本研究提出一种大语言模型融合知识图谱的医学问答方法,并将其应用于医学科技信息知识服务平台(MedKaaS)的问答系统构建。研究表明,相比传统的知识库问答(KBQA)和新兴的基于生成式大语言模型的问答,本文所提出的大语言模型融合知识图谱的方法充分综合了二者的优势,并为医学问答提供了证据溯源支持,有效提升了医学智能问答质量和医学知识服务效果。

大语言模型中文问答正确性对比实验研究——以ChatGPT 3.5、Claude 1.0和文心一言2.1为例

[目的/意义]对大语言模型中文问答正确性进行实验测评研究,为中文用户使用大语言模型提供一定的指导作用。[方法/过程]针对科技、教育、医学、生活、旅游美食和哲学文化6个领域,分别设计常识性、专业性和开放性三类问题,每类20个问题,共计360个问题。分别向ChatGPT 3.5、Claude 1.0和文心一言2.1提问,再针对回答进行正确性的人工评价。最后汇总评价结果,进行正确性的多方面对比分析。[结果/结论]实验分析表明中文语料数据的规模与质量,以及大语言模型的参数规模是影响大语言模型中文问答正确性的重要因素。

多模态网络社交中图像符号的社会语言分析

随着信息技术的迅猛发展,多模态网络社交图像符号逐渐成为社会语言研究的一个重要话题。从国内外已有的研究成果来看,网络语言研究多集中在文本语言方面,图像语言研究则大多归属于现代艺术史研究。基于语言学转向理论,在文本语言与图像符号之间建立联系,同时依据韩礼德(Halli⁃day)创立的系统功能语言学理论,对多模态网络社交中的图像符号进行分析、归纳、整理,提出多模态网络社交中图像的社会语言特征,即文本与图像的互文性,视觉图像的简洁性和即时性,图像思维的碎片化、肤浅化,图像的娱乐化、广告化,以期更好地开展网络交际沟通。

广州恩宁路历史文化街区多模态语言景观与互动

多模态语言景观是重要的公共空间建构元素,不同模态语言景观的形式符号特征相互关联,共同建构景观话语意义。广州恩宁路历史文化街区语言景观具有显著的多语多模态性,它通过模态间与模态内的互动、管理者和创作者与语言景观之间的互动以及体验者与语言景观的协调互动,构建历史文化街区独特的空间意义,呈现出全球化、融合性、多样性和体系化的特点。但对于此地多模态语言景观中的双语和多语建设,应注重细节,提高信息传达的准确性和文化传递的有效性,提升语言景观的经济和文化价值,增强受众对街区的积极体验。

基于大语言模型的智能问答系统在高校中的设计与应用

随着信息技术的迅速发展,智能问答系统已经成为高等教育领域提高教学效率和资源可及性的重要工具。文中探讨了基于大语言模型(LLM)的智能问答系统在高校中的设计与应用。通过分析当前智能问答系统的发展现状和面临的挑战,提出了一个整合了最新自然语言处理技术和人工智能的智能问答系统框架。该系统旨在为学生、教师及其他利益相关者提供快速准确的信息检索和问答服务,涵盖了招生信息、奖学金资讯、职业发展指导、学术辅导等多个方面。通过案例分析,文中展示了系统的设计过程、关键技术、实现挑战及解决策略,旨在为高等教育机构实施智能问答系统提供参考。

一种消减多模态偏见的鲁棒视觉问答方法

为了增强视觉问答模型的鲁棒性,提出一种偏见消减方法,并在此基础上探究语言与视觉信息对偏见的影响。进一步地,构造两个偏见学习分支来分别捕获语言偏见以及语言和图片共同导致的偏见,利用偏见消减方法,得到鲁棒性更强的预测结果。最后,依据标准视觉问答与偏见分支之间的预测概率差异,对样本进行动态赋权,使模型针对不同偏见程度的样本动态地调节学习程度。在VQA-CP v2.0等数据集上的实验结果证明了所提方法的有效性,缓解了偏见对模型的影响。

一种基于多模态特征提取的医学视觉问答方法

随着深度学习在医疗领域的快速发展,医学视觉问答(Med-VQA)吸引了研究人员的广泛关注.现有的Med-VQA方法大都使用权重参数共享的同一特征提取网络对多模态医学影像进行特征提取,在一定程度上忽略了不同模态医学影像的差异性特征,导致对特定模态特征提取时引入其它模态的噪声特征,使得模型难以关注到不同模态医学影像中的关键特征.针对上述问题,本文提出一种基于多模态特征提取的医学视觉问答方法.首先,对医学影像进行模态识别,根据模态标签指导输入参数不共享的特征提取网络以获得不同模态影像的差异性特征;然后,设计了一种面向Med-VQA的卷积降噪模块以降低医学影像不同模态特征的噪声信息;最后,采用空间与通道注意力模块进一步增强不同模态差异性特征的关注度.在Med-VQA公共数据集Slake上得到的实验结果表明,本文提出方法能有效提高Med-VQA的准确率.

医学影像与自然语言处理多模态探索研究

目的/意义实现医学影像报告的自动生成对减轻放射科医生工作负担、促进临床工作流程标准化具有重要意义。方法/过程重点查找近几年公开源代码的胸部报告生成模型,开发一种基于CDGPT 2模型的医学影像报告自动生成方法。结果/结论大参数量的语言模型在报告生成方面的优势仍有待挖掘,对模型的解码器输入进行修改后生成报告的质量不高。未来研究可采用大型数据集并结合更多临床信息来提高模型性能。

基于跨模态信息过滤的视觉问答网络

视觉问答作为多模态任务,瓶颈在于需要解决不同模态间的融合问题,这不仅需要充分理解图像中的视觉和文本,还需具备对齐跨模态表示的能力。注意力机制的引入为多模态融合提供了有效的路径,然而先前的方法通常将提取的图像特征直接进行注意力计算,忽略了图像特征中含有噪声和不正确的信息这一问题,且多数方法局限于模态间的浅层交互,未曾考虑模态间的深层语义信息。为解决这一问题,提出了一个跨模态信息过滤网络,即首先以问题特征为监督信号,通过设计的信息过滤模块来过滤图像特征信息,使之更好地契合问题表征;随后将图像特征和问题特征送入跨模态交互层,在自注意力和引导注意力的作用下分别建模模态内和模态间的关系,以获取更细粒度的多模态特征。在VQA2.0数据集上进行了广泛的实验,实验结果表明,信息过滤模块的引入有效提升了模型准确率,在test-std上的整体精度达到了71.51%,相比大多数先进的方法具有良好的性能。

基于多模态知识主动学习的视频问答方案

视频问答是人工智能领域的一个热点研究问题.现有方法在特征提取方面缺乏针对视觉目标运动细节的获取,从而会导致错误因果关系的建立.此外,在数据融合与推理过程中,现有方法缺乏有效的主动学习能力,难以获取特征提取之外的先验知识,影响了模型对多模态内容的深度理解.针对这些问题,首先,设计了一种显性多模态特征提取模块,通过获取图像序列中视觉目标的语义关联以及与周围环境的动态关系来建立每个视觉目标的运动轨迹.进一步通过动态内容对静态内容的补充,为数据融合与推理提供了更加精准的视频特征表达.其次,提出了知识自增强多模态数据融合与推理模型,实现了多模态信息理解的自我完善和逻辑思维聚焦,增强了对多模态特征的深度理解,减少了对先验知识的依赖.最后,提出了一种基于多模态知识主动学习的视频问答方案.实验结果表明,该方案的性能优于现有最先进的视频问答算法,大量的消融和可视化实验也验证了方案的合理性.

基于视觉问答的施工过程视觉语言理解

监控系统在施工现场的广泛应用创造大量数据,但受限于有限的分析方法,未能充分体现这些数据的信息价值。自然语言是最直接的表达方式,在施工管理中最便于使用和理解。使用多模态视觉语言模型,对通过施工自然语言问答获取施工现场信息、进行施工智能管理有巨大帮助,然而目前针对施工现场的多模态研究仍然不足。为此,建立施工视觉问答数据集,经过数据增强后,包含超过19000条问答对及对应图像,用于训练适用于施工现场的视觉问答模型。提出基于多头注意力机制及预训练视觉Transformer的施工问答模型,该模型在测试集中取得约79.3%的准确率,表明多模态视觉语言理解在获取施工信息层面具有巨大潜力,可为施工智能管理提供有效的信息基础。

面向视觉问答的上下文感知多模态交互网络

近年来,视觉问答已经引起研究人员的广泛关注。现有的方法通过视觉与语言模态之间的密集交互以捕捉两种模态之间的高层语义信息,然而这些方法仅单独考虑单个词与视觉区域之间的关系,忽略了上下文信息来计算模态之间的依存关系。针对此问题,该文提出了一种上下文感知的多模态交互网络,通过融合上下文信息增强模态内与模态间的信息交互,提高视觉问答的推理能力。该文在大规模基准数据集VQA v2.0上进行了一系列对比实验与消融实验,实验结果表明,该方法在视觉问答任务上能够取得比当前主流的方法更高的准确率。

大语言模型增强的知识图谱问答研究进展综述

知识图谱问答(knowledge graph question answering,KGQA)是一种通过处理用户提出的自然语言问题,从知识图谱中获取相关答案的技术。早期的知识图谱问答技术受到知识图谱规模、计算能力以及自然语言处理能力的限制,准确率较低。近年来,随着人工智能技术的进步,特别是大语言模型(large language model,LLM)的发展,知识图谱问答技术的性能得到显著提升。大语言模型如GPT-3等已经被广泛应用于增强知识图谱问答的性能。为了更好地研究学习增强知识图谱问答的技术,对现有的各种大语言模型增强的知识图谱问答方法进行了归纳分析。总结了大语言模型和知识图谱问答的相关知识,即大语言模型的技术原理、训练方法,以及知识图谱、问答和知识图谱问答的基本概念。从语义解析和信息检索两个维度,综述了大语言模型增强知识图谱问答的现有方法,分析了方法所解决的问题及其局限性。收集整理了大语言模型增强知识图谱问答的相关资源和评测方法,并对现有方法的性能表现进行了总结。最后针对现有方法的局限性,分析并提出了未来的重点研究方向。

基于大语言模型的PTCR外部知识型视觉问答框架

针对外部知识型视觉问答(VQA)模型输入信息不足、推理性能差的问题,构建了一种基于大语言模型(LLM)的PTCR外部知识型VQA框架。该框架由答案候选生成、针对性图像描述、自主式思维链构建、提示LLM推理四部分构成。PTCR框架使用LLM指导多模态大模型生成针对性的图像描述,解决了以往图像标题覆盖不全面的问题;通过LLM自主生成思维链,并在推理过程中提供相似问题的思考过程,提高了模型的推理能力;在推理过程引入选项重排技术消除LLM的选择位置偏见,通过多数投票的方式降低了推理的随机性误差。实验结果表明,经PTCR框架增强的CogVLM模型,其准确率在OK-VQA、A-OKVQA数据集上分别提升了16.7个百分点、13.3个百分点。同时,与Prophet相比,PTCR框架在OK-VQA、A-OKVQA数据集上准确率分别提升了3.4个百分点、5.0个百分点。消融实验的结果证明,所使用的针对性图像描述、自主式思维链等方法对准确率均有提升效果。可见PTCR框架在改进外部知识型VQA任务性能方面有所提升。

结合多模态知识图谱与大语言模型的风机装配工艺问答系统

风力发电机是风能发电的基础,但其装配工艺信息通常分散于以三维模型、自然文本和图像等多模态信息构成的工艺文件中,导致历史工艺难以高效复用,装配工艺设计效率低下。针对这一问题,文中通过构建多模态知识图谱的方式整合风力发电机历史装配工艺信息,并且为了能对工艺信息进行有效利用,提出了结合多模态知识图谱与大语言模型的风力发电机装配工艺问答系统,利用大语言模型进行自然语言问题的粗粒度解析,再结合模式层关系细粒度解析问题,最后获得答案。在风力发电机装配工艺数据集上与其他最新KBQA方法和最新大语言模型对比取得优异结果,并在装配工艺可视化问答系统上进行验证,研究结果表明:风机装配工艺设计效率有显著提升。

问答式林业预训练语言模型ForestBERT

【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策管理提供智能化信息服务。【方法】首先,基于网络爬虫技术构建包含术语、法律法规和文献3个主题的林业语料库,使用该语料库对通用领域预训练语言模型BERT进行继续预训练,再通过掩码语言模型和下一句预测这2个任务进行自监督学习,使BERT能够有效地学习林业语义信息,得到具有林业文本通用特征的预训练语言模型ForestBERT。然后,对预训练语言模型mT5进行微调,实现样本的自动标注,通过人工校正后,构建包含3个主题共2280个样本的林业抽取式问答数据集。基于该数据集对BERT、RoBERTa、MacBERT、PERT、ELECTRA、LERT 6个通用领域的中文预训练语言模型以及本研究构建的ForestBERT进行训练和验证,以明确ForestBERT的优势。为探究不同主题对模型性能的影响,分别基于林业术语、林业法律法规、林业文献3个主题数据集对所有模型进行微调。将ForestBERT与BERT在林业文献中的问答结果进行可视化比较,以更直观展现ForestBERT的优势。【结果】ForestBERT在林业领域的抽取式问答任务中整体表现优于其他6个对比模型,与基础模型BERT相比,精确匹配(EM)分数和F1分数分别提升1.6%和1.72%,在另外5个模型的平均性能上也均提升0.96%。在各个模型最优划分比例下,ForestBERT在EM上分别优于BERT和其他5个模型2.12%和1.2%,在F1上分别优于1.88%和1.26%。此外,ForestBERT在3个林业主题上也均表现优异,术语、法律法规、文献任务的评估分数分别比其他6个模型平均提升3.06%、1.73%、2.76%。在所有模型中,术语任务表现最佳,F1的平均值达到87.63%,表现较差的法律法规也达到82.32%。在文献抽取式问答任务中,ForestBERT相比BERT可提供更准确、全面的答案。【结论】采用继续预训练的方式增强通用领域预训练语言模型的林业专业知识,可有效提升模型在林业抽取式问答任务中的表现,为林业文本和其他领域的文本处理和应用提供一种新思路。

基于LangChain的RAG问答系统设计与实现——以C语言课程问答系统为例

生成式人工智能(Artificial Intelligence,AI)问答系统虽然多数情况下能为用户提供比较满意的答案,但是这些问题的答案通常是基于已有的知识库训练而生成的。当涉及新的知识或者某个特定领域的问题时,生成式AI问答系统经常会生成一些错误的答案。为了克服生成式AI问答系统这种弊端,文章采用了检索增强生成(Retrieval Augmented Generation,RAG)技术,基于LangChain框架和ChatGLM大语言模型构建了C语言课程问答系统,具有较高的推广应用价值。