采用低秩编码优化大语言模型的高校基础知识问答研究

在高等教育领域,基础知识问答系统对学生学术成就提升及教育资源公平分配具有重要作用。近年来已有基于预训练语言模型上使用机器阅读理解和文本相似度匹配的问答技术,在处理复杂的自然语言问题时仍然面临因训练数据不足、模型泛化能力限制等瓶颈导致的回答质量和准确性不足的情况。本研究旨在解决如何在降低资源消耗的同时,提升基础知识问答系统在高校环境中的性能优势和准确率。为实现该目标,提出了一种高校基础知识领域的低秩编码大语言模型微调方法。该方法通过低秩编码的方法降低大语言模型的内存、显存在训练和预测的消耗量,并且运用大语言模型的生成式方法优化我校基础知识数据问答领域的研究与分析,从而提高日常基础知识问答的质量、准确性和响应速度。通过冻结大型预训练模型权重,将高校基础知识语言信息融入原Transformer架构的预训练层,并且加入了问答优化模块来规范生成式模型的准确性。此方法在显著减少下游任务可训练参数数量的同时,可以较好地保留原模型的生成式语言能力,并且针对高校基础知识领域展现出更优的性能优势和准确率。

融合随机森林和神经网络的教学质量分析算法

为了实现更好的教学质量分析,分析教学过程中存在的不足,提高高校教学质量,设计了一种融合师资信息、学生信息和教学信息的教学质量分析模型(RALCA).使用随机森林(RF)算法将教师与学生信息的特征重要性、特征与目标变量之间的关系性进行度量表示,运用准确的分类效果筛选保留下来最优的特征子集.使用自注意力机制的长短记忆神经网络(Attention-LSTM)融合教师、学生信息画像特征和教学信息特征,将关联信息更深层次的挖掘,获得高精度的教学质量影响因素之间的关系分析结果.根据实验对比分析表明,提出的RALCA模型可以更科学地分析现阶段影响教学质量的影响因素高低排序,高校可以获得更有效的教学质量分析来提升教学质量.