-
题名采用低秩编码优化大语言模型的高校基础知识问答研究
- 1
-
-
作者
骆仕杰
金日泽
韩抒真
-
机构
天津工业大学网络安全和信息化办公室
天津工业大学软件学院
-
出处
《计算机科学与探索》
CSCD
北大核心
2024年第8期2156-2168,共13页
-
基金
国家自然科学基金(61806142)
天津市科学技术局项目(19PTZWHZ00020)
+1 种基金
中国学位与研究生教育学会项目(2020MSA50)
产学合作协同育人项目(202102084059)。
-
文摘
在高等教育领域,基础知识问答系统对学生学术成就提升及教育资源公平分配具有重要作用。近年来已有基于预训练语言模型上使用机器阅读理解和文本相似度匹配的问答技术,在处理复杂的自然语言问题时仍然面临因训练数据不足、模型泛化能力限制等瓶颈导致的回答质量和准确性不足的情况。本研究旨在解决如何在降低资源消耗的同时,提升基础知识问答系统在高校环境中的性能优势和准确率。为实现该目标,提出了一种高校基础知识领域的低秩编码大语言模型微调方法。该方法通过低秩编码的方法降低大语言模型的内存、显存在训练和预测的消耗量,并且运用大语言模型的生成式方法优化我校基础知识数据问答领域的研究与分析,从而提高日常基础知识问答的质量、准确性和响应速度。通过冻结大型预训练模型权重,将高校基础知识语言信息融入原Transformer架构的预训练层,并且加入了问答优化模块来规范生成式模型的准确性。此方法在显著减少下游任务可训练参数数量的同时,可以较好地保留原模型的生成式语言能力,并且针对高校基础知识领域展现出更优的性能优势和准确率。
-
关键词
生成式语言模型
基础知识问答
大语言模型
TRANSFORMER
冻结模型权重
-
Keywords
generative language model
fundamental knowledge question-answering
large language model
Transformer
freezing model weights
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-