大模型驱动的学术文本挖掘--推理端指令策略构建及能力评测

大型语言模型突出的任务理解和指令遵循能力,使用户可以通过简单的指令交互完成复杂的信息处理任务。科技文献分析领域正在积极探索大模型的应用,但尚未形成对指令工程技术和模型能力边界的系统性研究。本文以学术文本挖掘任务为切入点,从上下文学习、思维链推理等角度设计推理端指令策略,构建了涵盖文本分类、信息抽取、文本推理和文本生成4个能力维度共6项任务的大模型学术文本挖掘专业能力评测框架,并选取了7个国内外主流的指令调优模型进行实验,对比了不同指令策略的适用范围和不同参数模型的专业能力。实验结果表明,少样本、思维链等复杂指令策略在分类任务上的应用效果并不显著,而在抽取、生成等难度较高的任务上表现良好。千亿级参数规模的大模型经过指令引导,能够取得与充分训练的深度学习模型相近的效果,但对于十亿级或百亿级规模大模型,推理端的指令策略存在明显上限。为了实现大模型向科技情报领域的深层嵌入,现阶段仍需在调优端对模型参数进行领域化适配。

面向古文自然语言处理生成任务的大语言模型评测研究

大语言模型的频繁发布为大语言模型的评测研究带来了机遇与挑战,针对通用领域大语言模型的评测体系日趋成熟,而面向垂直领域的大语言模型评测仍在起步阶段,本文以古文领域评测为切入点,从语言和知识两个维度构建了一批古籍领域评测任务,并选取当前各大榜单中性能较为优越的13个通用领域大语言模型进行评测。评测结果显示,ERNIE-Bot在古籍领域知识方面遥遥领先于其他模型,而GPT-4模型在语言能力方面表现出最佳性能,在开源模型中,ChatGLM系列模型表现最为出色。通过构建评测任务和数据集,制定了一套适用于古籍领域的大语言模型评测标准,为古籍领域大语言模型性能评测提供了参考,也为后续古籍大语言模型训练过程中的基座模型选取提供了依据。

电动汽车热失控危害性评测技术研究

随着电动汽车保有量的增加,动力电池热失控导致的着火事故时有发生,对热失控危险性进行评测是提升电动汽车安全性能的重要手段之一,而行业内尚未形成量化评估方法。针对上述问题,搭建了电动汽车整车燃烧试验平台,并开展了大量由热失控引发电动汽车火灾的模拟试验,提取了以下可用于电动汽车热失控危害性评测的参考指标与部分潜在指标:试验开始至动力电池热失控的时间间隔可作为电池故障预警有效性的指标;热失控至车辆起火的时间间隔与车内温度可作为乘员逃生安全性的指标;烟气体积分数超标时刻及其与起火时刻的关系可作为驾驶室毒气危害性的指标;车内可燃气体体积分数和车外热辐射强度可作为评估爆炸危险性和相邻车辆引燃风险性的指标。通过提出上述评价指标,为后续形成量化评估方法及相关标准提供参考。

高性能CAE软件性能评测平台的设计与应用

高性能计算机辅助工程(CAE)软件在复杂多物理过程仿真、大规模高逼真度数值模拟中发挥重要作用。高性能CAE软件的性能评测是衡量它性能指标的重要手段。传统手工基于算例评测的方式难以适应批量软件大量算例的并发评测,数据采集、性能分析等各阶段的数据管理、资源调度、性能指标计算以及评测报告撰写等活动脱节,制约高性能CAE软件的研发效率和评估效率。从高性能CAE软件研发模式和性能评测的需求出发,提出性能评测的数据模型和执行模型,基于科学工作流技术实现多软件、多算例、多规模的三层嵌套并发评测,设计并实现了高性能CAE软件性能评测平台,平台采用松耦合的可执行组件封装技术,提供软件和算例等信息管理、超算资源无缝对接、评测流程自动化执行和评测报告自动生成功能,在实际项目中采用该平台完成了数十个软件上百算例的并发评测。

数字化赋能下的教学质量评测研究

本文探讨了数字化赋能在教学质量评测中的应用、优势及改进策略。通过在线评测系统、互动教学平台以及VR与AR技术的引入,数字化赋能显著提升了教学质量评测的效率和准确性。这些技术为教师提供了精准的学生学习数据反馈,有助于个性化教学方案的制定。然而为了充分发挥数字化赋能的潜力,还需构建多维度的数据驱动评价体系、推动教学评价多元化和个性化,并加强数字化教学资源建设和共享。

基于异形同义现象的机器空间语义理解能力评测研究

不同的方位义词语可以用于表达相同的空间场景。文章考察了汉语空间表达“异形同义”现象的不同类型,并据此制作测试题,作为“异形同义判别”子任务,成为中文空间语义理解能力SpaCE评测基准的一个组成部分。针对大语言模型的评测结果显示,大语言模型在“异形同义判别”任务上与人类水平尚有较大差距,且机器在不同试题上的表现特点也与人类表现有所不同。从空间认知图式的角度讲,大语言模型基于语符分布学习到的人类语言知识,还没有转化为类人的空间认知图式理解能力。

数据中心SFC+X编排评测环境的构建:POC方法

根据不同场景要求及相应业务需求,服务功能链SFC可以部署在边缘云到数据中心、数据中心之间以及数据中心内部,然而,由于数据中心固有的重资产属性,在其基础上灵活组合的SFC+X编排评测工作因无经济有效的评测环境而难以进行。基于概念证明POC方法进行评测,可以针对实际情况实现一个模型或被测对象中最重要部分,以较小的实施代价验证所关注的问题。在对数据中心SFC+X编排的评测过程中,围绕POC评测环境能否有效评测SFC+X编排功能正确性及有效度量SFC+X编排性能指标,对POC评测方法是否可以解决数据中心SFC+X编排评测问题进行分析,论证了SFC功能正确的传递性原则和性能指标蜕变关系保持原则,提出了POC评测方法可行性定理,并依此原则和定理结合数据中心SFC+X编排特点,对评测所需硬件资源进行约减,以设计实现POC评测环境。通过理论推导及POC验证方法证明了POC评测方法不仅能够有效评测SFC+X编排功能的正确性,而且还可以度量SFC+X编排性能指标。最后提出一种基于POC方法的数据中心SFC+X编排是否满足SLA的评测方法,为数据中心SFC+X编排评测问题提供了一个经济有效的解决方案。

信息物理生产系统(CPPS)安全一体化评测方法研究

针对信息物理生产系统(Cyber-Physical Production System,CPPS)功能安全和信息安全协同难题,本文提出一种CPPS安全一体化评测方法,给出评测流程、具体步骤、评测内容及计算方法,以此确定CPPS系统的安全一体化协同能力,以期为提升CPPS整体安全管理水平提供参考依据。

基于Hadoop的高校教学质量评测系统构建与评估方法

为了确保高校教学质量评估的客观性、系统性和全面性,提出利用大数据全面服务教育评估,并基于Hadoop构建评测系统,在Hadoop分布式架构基础上,提出利用分布式算法对高校教学质量各方面进行评估。评测系统主要从学校管理质量、教师教学过程、学生的学习行为以及学业质量等4个方面对高校教学质量进行评估,自下而上划分为数据访问层、业务逻辑层和表示层,各功能子系统均采用模块化设计;针对不同大数据的特点,提出利用主成分分析法对学校管理质量大数据进行评估,采用分布式算法对教师教学过程、学生学习行为和学业质量进行评估;当数据量较小时传统单机算法运行效率较高,当数据量较大(大数据样本)时分布式算法的运行时间明显少于单机算法,且随着数据量的增大,运行效率优势越明显。

基于在线评测的程序设计课程混合式教学改革探索

为了提升程序设计课程的教学质量和教学效果,本文提出了一种利用代码在线评测平台支撑、实施线上线下混合式教学的实践方案。在线评测平台让学生可以随时随地提交编程练习,获得即时反馈,促进学生掌握知识,提升学生编程技能,减轻教师的批阅负担。线上线下混合式教学能够有效发挥在线教学的便捷性和线下课堂面对面教学的优点,提高学生的学习积极性,并有助于教师改进教学策略。经实践表明,在程序设计课程中,依托代码在线评测平台开展混合式教学实践有利于实施个性化的教学策略,提升学生的学习热情,提高课程教学质量和教学效果。

基于程序能力提升的程序设计基础课程在线评测平台搭建与应用研究

对于高职院校的电子信息类专业而言,程序设计类课程属于必修的专业基础课,课程的掌握程度直接关系到后续专业课的学习。文章使用Hdyro搭建了一个在线评测平台,在程序设计基础课程教学实践中引入在线评测平台辅助教学,极大地提高了学生学习的积极性、主动性,提升了学生的实际编程能力。

在线评测系统在生源多元化的高职院校程序设计类教学中的应用研究

对于高职院校的电子信息类专业而言,程序设计类课程(C语言程序设计、Python程序设计、Java程序设计等)属于必开的专业基础课。学生对于这些课程的掌握程度直接影响后续专业课程的学习。对于高职院校而言,生源结构多元化给程序设计类课程教学带来了巨大的挑战。文章通过在程序设计课程引入在线评测平台,自主建立题库,进行教学安排、课后学习、形成性考核,激发学生自主学习能力,解决学生学习没有目标、不能良好监督学生学习、教师反馈不及时等问题。教学实践证明,设计的教学系统教学效果良好。

三维声双耳渲染感知效果的客观评测

随着双耳渲染技术在终端中的逐步应用,双耳渲染效果的主客观评价需求在不断增长。本文在已有三维声双耳渲染感知效果评价的二级维度(音质、定位、空间)基础上,进行更全面、细致的三级维度客观评测与建模,将通过主观感知实验得到的各三级维度评分结果与标准人工头双耳录音的不同类型客观特征进行岭回归建模。结果表明:浑厚度、总体音质、声源距离、静态声源定位、空间感、混响声质量和空间自然度等三级维度的评价更取决于双耳空间特征;清晰度与时频特征的关联性更强;其余特征更依赖时频特征与双耳空间特征的组合。

图神经网络对抗攻击与鲁棒性评测前沿进展

近年来,图神经网络(GNNs)逐渐成为人工智能的重要研究方向。然而,GNNs的对抗脆弱性使其实际应用面临严峻挑战。为了全面认识GNNs对抗攻击与鲁棒性评测的研究工作,对相关前沿进展进行梳理和分析讨论。介绍GNNs对抗攻击的研究背景,给出GNNs对抗攻击的形式化定义,阐述GNNs对抗攻击及鲁棒性评测的研究框架和基本概念。对GNNs对抗攻击领域所提具体方法进行了总结和梳理,并对其中的前沿方法从对抗攻击类型和攻击目标范围的角度进行详细分类阐述,分析了它们的工作机制、原理和优缺点。考虑到基于对抗攻击的模型鲁棒性评测依赖于对抗攻击方法的选择和对抗扰动程度,只能实现间接、局部的评价,难以全面反映模型鲁棒性的本质特征,从而着重对模型鲁棒性的直接评测指标进行了梳理和分析。在此基础上,为了支撑GNNs对抗攻击方法和鲁棒性模型的设计与评价,通过实验从易实现程度、准确性、执行时间等方面对代表性的GNNs对抗攻击方法进行了对比分析。对存在的挑战和未来研究方向进行展望。总体而言,目前GNNs对抗鲁棒性研究以反复实验为主,缺乏具有指导性的理论框架。如何保障基于GNNs的深度智能系统的可信性,仍需进一步系统性的基础理论研究。

大语言模型评测综述

大语言模型(Large Language Models, LLMs)在多种自然语言处理(Natural Language Processing, NLP)任务中展现出了卓越性能,并为实现通用语言智能提供了可能。然而随着其应用范围的扩大,如何准确、全面地评估大语言模型已经成为了一个亟待解决的问题。现有评测基准和方法仍存在许多不足,如评测任务不合理和评测结果不可解释等。同时,随着模型鲁棒性和公平性等其它能力或属性的关注度提升,对更全面、更具解释性的评估方法的需求日益凸显。该文深入分析了大语言模型评测的现状和挑战,总结了现有评测范式,分析了现有评测的不足,介绍了大语言模型相关的评测指标和评测方法,并探讨了大语言模型评测的一些新方向。

数字技术在科学素养评测中的应用及启示

目前,数字技术战略行动深入推进,人工智能、传感器等新技术或新产品在教学中应用日益普及,正在助推教育评价改革。我国基础教育质量检测仍然以纸笔测试为主,对于学生学业的评测,主要考查学生的基础知识和基本技能,并且存在评价方式相对单一、评价反馈相对滞后、难以满足大规模评测需求等问题。为了弥补评测方面的不足,借鉴国际学生评估项目PISA中数字技术的应用经验,融合数字化传感器的优势,提出科学素养评价方案,有利于改进我国基础教育质量监测支撑体系,丰富科学素养评测方式,加强试题的情境化设计,改变科学素养考评重点,优化数据收集与分析,培养适应时代的新人才。

数值模拟与鞋靴热湿舒适性评测

热湿舒适性是鞋靴舒适性的重要组成部分。基于知网和Web of Science等数据库,文章对20年来文献中有关鞋靴热湿舒适性的评测方法进行了分析、总结和评价,并介绍了数值模拟用于鞋靴热湿舒适性评测的原理和具体案例,为建立系统的鞋靴热湿舒适性评价体系和制订鞋靴热湿舒适性评价标准提供借鉴和参考。

在线学习场景下大语言模型辅助教学评测

生成、视频知识点提取、讨论题生成、讨论题答疑四个任务中表现突出,而Qwen-max-1201在单选题生成、单选题答疑两个任务中表现较好;同系列模型参数量越大,在线学习任务表现越好。文章的研究可为在线学习场景下大语言模型的选取提供实证参考,助力大语言模型更好地赋能在线学习。

高校教师信息化教学能力:问题识别、科学评测与提升路径

信息技术的迅猛发展给传统教育模式带来前所未有的挑战,也对高校教师信息化教学能力提出更高的要求。该文在剖析高校教师信息化教学现实意义的基础上,通过资料和文献查阅,总结当前高校教师信息化教学能力发展的现实困境。进一步,参照教育信息化2.0行动目标和计划等来构建高校教师信息化教学能力科学评测体系,据此提出激发教师内在动力、完善培训激励机制、健全顶层设计等提升路径,以期能为高校教师信息化教学能力进一步提升提供可供参考的借鉴。

面向电网行业的多模态心理评测算法

为完成电网高危行业从业人员进行作业前的智能心理评测任务,提出面向电网行业员工的包含表情、声音、走姿的多模态心理评测算法。首先,构建电网行业员工数据集,从视频中抽取面部RGB图片序列、音频ComparE特征集及人体骨架关键点序列;其次,利用残差网络与双向长短时记忆网络提取面部视觉特征,在时间窗口提取音频特征,在时空图卷积网络提取步态特征,分别得到最优的单模态模型;最后,提出极性损失函数的深度学习训练方法及基于注意力机制的多模态融合算法,通过融合单模态模型输出特征获得最优多模态心理状态评测模型。实验表明,多模态融合相较于单模态系统能显著提升心理评测准度,对心理标签四分类任务的准确率达到65.66%,相较于基于面部表情、语音、步态3种单一模态的模型效果分别提升18.04%、21.22%和13.28%。