ChatGPT的工作原理、关键技术及未来发展趋势

ChatGPT是自然语言处理领域的一项重要技术突破,专注于对话生成任务,在多种任务中表现出卓越的性能。主要探讨ChatGPT的演变历程、关键技术,并分析了其未来可能的发展方向。首先,介绍了ChatGPT的模型架构和技术演进过程。随后,重点讨论了ChatGPT的关键技术,包括提示学习与指令微调、思维链、人类反馈强化学习。然后,分析了由于基于概率生成原理所造成的固有局限,包括事实性错误、垂直领域深度性弱、潜在的恶意应用风险、可解释性及模型实时性差等。最后,探讨了其在典型应用中存在的问题和相应的解决途径,包括在训练评估过程中考虑道德和安全性因素,以降低潜在风险;结合外部专家知识和迁移学习,以提高模型对特定领域的理解能力,更好地适应特定任务场景;引入多模态数据,以提高模型信息理解能力,增强模型通用性和泛化性。通过对ChatGPT模型框架、技术演变与关键技术的分析,为深入理解ChatGPT提供帮助;结合原理分析其固有缺陷,并结合实际应用中存在的问题,挖掘未来可能的研究方向,为自然语言处理领域的深入研究提供有益参考。

弱监督场景下的支持向量机算法综述

支持向量机(Support Vector Machine,SVM)是一种建立在结构风险最小化原则上的统计学习方法,以其在非线性、小样本以及高维问题中的独特优势被广泛应用于图像识别、故障诊断以及文本分类等领域.但SVM是一种监督学习算法,它旨在利用大量的、唯一且明确的真值标记样本来训练学习器,在不完全监督、不确切监督以及多义监督等弱监督场景下难以取得较好的效果.本文首先阐述了弱监督场景的概念和SVM的相关理论,然后从弱监督场景角度出发,系统地梳理了目前SVM算法的研究现状和发展,包括基于半监督学习、多示例学习以及多标记学习的方法;其中基于半监督学习的方法根据数据假设可细分为基于聚类假设和基于流形假设的方法,基于多标记学习的方法根据解决方案可细分为基于示例水平空间、基于包水平空间以及基于嵌入空间的方法,基于多标记学习的方法根据处理思路可细分为基于问题转换和基于算法自适应的方法;随后,本文总结了部分代表性算法在公开数据集上的实验结果;最后,探讨并展望了未来可能的研究方向.

基于生成式人工智能的大学生编程学习行为分析研究

生成式人工智能可以为教育提供高效且个性化的智能化服务和技术支持。作为典型的生成式人工智能语言模型,ChatGPT在编程中的应用已然获得业界的广泛关注。然而,鲜有学者从实证研究的层面探究学习者如何利用ChatGPT来进行编程学习。研究通过细粒度地采集学习者的编程行为和知识探究问题,对36位学习者的编程过程进行分析。研究结果表明:(1)学习者将ChatGPT视为有用的编程学习资源,依赖其指导学习过程,并倾向于将代码或调试错误信息拷贝至ChatGPT,进而复制其反馈信息;(2)高绩效组主要在前期使用ChatGPT辅助编程,低绩效组在整个编程过程中更频繁地使用ChatGPT进行编程;(3)学习者在使用ChatGPT时主要关注浅层和中层知识的探究,其中,高绩效组通过自主提问获得ChatGPT的反馈,中低绩效组则依赖对ChatGPT反馈内容的追问获得问题解决方案。研究针对如何利用ChatGPT辅助大学生开展编程学习提出了相关的建议,以期为提高编程学习效率提供参考。

基于机器学习的数据库系统参数优化方法综述

参数优化是影响数据库性能和适应性的关键技术,合理的参数配置对于保障数据库系统的高效运行至关重要,但由于参数较多且参数间具有强关联性,传统参数优化方法难以在高维连续的参数空间中寻找最优配置,机器学习的发展为解决这一难题带来新的机遇。通过总结和分析相关工作,将已有工作按照发展时间和特性分为专家决策、静态规则、启发式算法、传统机器学习方法和深度强化学习方法。对数据库参数优化问题进行定义,并说明启发式算法在参数优化问题上的局限性。介绍基于传统机器学习的参数优化方法,包括随机森林、支持向量机、决策树等,描述机器学习方法解决参数优化问题的一般流程并给出一般实现。由于需要大量带标注的数据,传统机器学习模型在适应性和调优能力等方面存在不足。侧重介绍深度强化学习模型的工作原理,定义参数优化问题与深度强化学习模型的映射关系,比较基于深度强化学习的相关工作对数据库性能提升、模型训练时间和涉及的技术,描述基于深度神经网络构建和训练智能体的具体流程。最后,总结已有工作的特点,对当前机器学习在数据库参数优化方面的研究热点和发展方向进行展望,指出多粒度调优、自适应算法和自运维是未来的研究趋势。

基于混合分解和PCG-BiLSTM的风速短期预测

为降低风速的随机性对风力发电的影响,提高风速短期预测的精准度,提出一种基于混合分解、双通道输入、多分支PCG-BiLSTM深度学习模型的短期风速预测方法。首先,将全年风速数据分为春、夏、秋、冬4个季度,选取春季作为主要实验对象;其次,利用奇异谱分解(SSD)和变分模态分解(VMD)以降低原始春季风速数据复杂度,生成具有不同模态且复杂度低的子分量,两种不同模式子分量组合为混合分量,实现不同模式分解算法的优势互补;最后,将混合分量以双通道的形式输入到多分支PCG-BiLSTM深度学习模型中,其模型的每个分支由卷积神经网络(CNN)与门控循环单元(GRU)并联组成时空特征提取模块,用于提取两种分解分量组合的混合分量的时空特征,各分支提取对应混合分量的时空特征经聚合后再由双向长短期记忆网络(BiLSTM)进一步提取风速信号的正向和反向双向波动规律,进而得到最终的风速预测结果。多组实验结果表明:提出的组合预测方法在短期风速预测中具有较高的精度和泛化能力,优于其他传统预测方法。

学习型社区赋能教育强国建设——基于在线学习者关系网络分析视角

学习型社区建设有助于加快教育强国落地,社区中在线学习者的各种协作互动行为,促进了学习者关系网络的生成。对该网络进行深入分析,可以挖掘其中蕴含的社区学习的本质特征。该研究提出从社区发现角度对学习者关系网络进行分析,首先设计基于图卷积网络和非负矩阵分解,并集成学习者关系网络信息和文本内容信息的新型学习型社区发现方法,提出四个社区特征度量指标,在真实的学习者关系网络中进行应用分析。结果表明,所提出的分析方法能有效挖掘学习者关系网络存在的学习兴趣主题社区,还可以对社区整体和社区成员个体进行特征分析,并且分析结果可为引导学习者的在线交互协作行为提供决策支持。最后,形成“构建可视化学习型社区—开展社区之间知识分享—促进各社区的互动合作—指标反馈下的反思迭代”的学习型社区赋能策略。通过策略赋能学习型社区高质量发展,以社区新质生产力组合助推教育强国建设。

新质人才培养:数智时代教育的新使命

大力培养新质人才是深入实施人才强国战略、加快建设世界重要人才中心和创新高地的行动要义。新质人才所具有的创变思维使其具有了创新恒常性,复合思维使其具有了生态营造性,技术思维使其具有了技术具身性,这就使得他们符合新质生产力的需要,助力中国式现代化不断开拓发展新赛道。新质人才具有成长心态与高意识学习特质、人机共生思维与AI渗透技能、开拓精神与“破界”能力、创想能力与实践智慧、人文精神与科技合伦行动力、人类共同体思维与跨文化行动力等特质。新质人才的培育需要建构一体化的培养范式,包括:细化融通培养机制,以素养导向的AI教育培育新质后备人才的基础教育;依托智能学科平台,以“AI+X”微专业塑造新质中坚人才的高等教育;建立数字孪生平台,以产教融合认证发展新质技能人才的职业教育。未来的新质人才应当是具有创新潜质的AI原民,新质人才培养思路应推广到新生代(AI原民)人才的培养,致力培植好人才成长的沃土,让新质人才不断涌现。

机器学习方法在盾构隧道工程中的应用研究现状与展望

随着盾构隧道工程信息化水平的提升,隧道掘进设备作业过程监测技术日益完善,记录的工程数据蕴含了掘进设备内部信息及其与外部地层的相互作用关系。机器学习因其数据分析能力强,无需先验的理论公式和专家知识,相较于传统的建模统计分析方法具有更大的应用空间。通过机器学习方法对收集的信息与数据进行深度挖掘并分析其内在联系,有助于提升盾构隧道工程建设的效率和安全保障水平。简述机器学习方法的基本原理,总结和分析机器学习方法在盾构工程中的应用研究状况,综述基于机器学习的盾构设备状态分析、盾构设备性能预测、围岩参数反演、地表变形预测和隧道病害诊断等5个方面的进展,并分析当前研究的不足。最后,分析盾构隧道工程向智能化方向发展需重点攻克的难题。

基于教育数字化构建学习型社会和学习型大国:现实逻辑、内涵要义及发展路向

学习型社会建设是我国实现教育现代化和全面建设社会主义现代化国家的必然要求。“二十大”报告提出“推进教育数字化,建设全民终身学习的学习型社会、学习型大国”,从宏观政策层面为我国指明了建设中国式学习型社会的战略方向。“二十大”报告关于学习型社会建设的要求是基于人与学习关系深化、教育与学习观念变革、经济社会发展客观需要等历史背景提出来的,其本质核心是建设服务全民终身学习的学习型社会,价值目标是建立中国特色的学习型大国,方法支撑是教育数字化技术的全面应用。为适应时代发展需要,提出了数字化学习型社会建设理念,并从文化意识引导、数字技术应用、强化治理监测等维度提出实施建议,期望为我国加快建设全民终身学习的学习型社会进程提供策略参考。

考虑行为克隆的深度强化学习股票交易策略

为提高股票投资的收益并降低风险,将模仿学习中的行为克隆思想引入深度强化学习框架中设计股票交易策略。在策略设计过程中,将对决DQN深度强化学习算法和行为克隆进行结合,使智能体在自主探索的同时模仿事先构造的投资专家的决策。选择不同行业的股票进行数值实验,说明了所设计的交易策略在年化收益率、夏普比率和卡玛比率等收益与风险指标上优于对比策略。研究结果表明:将模仿学习与深度强化学习相结合可以使智能体同时具有探索和模仿能力,从而提高模型的泛化能力和策略的适用性。

基于增量学习的车联网恶意位置攻击检测研究

近年来,车辆恶意位置攻击检测中主要使用深度学习技术.然而,深度学习模型训练耗时巨大、参数众多,基于深度学习的检测方法缺乏可扩展性,无法适应车联网不断产生新数据的需求.为了解决以上问题,创新地将增量学习算法引入车辆恶意位置攻击检测中,解决了上述问题.首先从采集到的车辆信息数据中提取关键特征;然后,构建恶意位置攻击检测系统,利用岭回归近似快速地计算出车联网恶意位置攻击检测模型;最后,通过增量学习算法对恶意位置攻击检测模型进行更新和优化,以适应车联网中新生成的数据.实验结果表明,相比SVM,KNN,ANN等方法具有更优秀的性能,能够快速且渐进地更新和优化旧模型,提高系统对恶意位置攻击行为的检测精度.

生成式人工智能何以赋能学习、能力与评价?

生成式人工智能(Artificial Intelligence Generated Content,AIGC)技术的飞速发展,为教育教学的创新性、颠覆性发展提供了无限可能。文章从学习、能力、评价三个向度,探讨了AIGC何以赋能大规模个性化学习和大规模协作学习、AIGC何以赋能学习者能力培养、AIGC何以赋能学习评价三个关键问题:AIGC赋能学习呈现从“千人一面”转为“千人千面”的特征,可从学习内容、学习方式、学习评价、答疑解惑、学习反馈五个方面赋能大规模个性化学习,并从适应性群体形成、专家促进、虚拟代理、智能调节四个方面赋能大规模协作学习;AIGC赋能能力呈现从“千篇一律”转为“标新领异”的特征,可促进学习者“传统认知能力”的全面发展,并为学习者“21世纪技能”的培养与评价提供支持;AIGC赋能评价呈现从评价学习转为理解学习、促进学习与重塑学习的特征,通过提供细粒度信息、提供及时评价与反馈、赋能学习评价达成AIGC赋能评价的目的。文章有助于教育工作者更深入地理解AIGC的赋能作用,并为推动AIGC与教育教学的深度融合、促进AIGC赋能教育高质量发展提供参考。

大模型时代:电力视觉技术新起点

随着无人机、巡检机器人和远程监控系统在输电、变电、配电、安监等电力场景中的广泛应用,利用电力视觉技术完成对海量巡检图像的自动处理,能够进一步提升电力系统智能化运维水平,对我国源网荷储一体化进程的快速推进具有至关重要的作用。随着通用视觉大模型的兴起,电力视觉技术正处于从传统深度学习时代向大模型时代跨越的重要节点。该文首先综述了电力视觉技术和通用视觉大模型的最新研究进展,结合视觉大模型在多种公共场景的应用先例,探讨视觉大模型在电力视觉领域将面临的3重能力边界问题。从初步探索通用视觉大模型的潜力,到逐步构建电力视觉大模型的过程,提出4种模型应用范式以突破视觉大模型能力边界。最后分析了视觉大模型对电力视觉研究者的影响,并对大模型浪潮下电力视觉技术的发展方向进行了展望。

基于区块链技术的国家学分银行系统研究与设计

区块链作为一种新兴技术,具有去中心化和不可篡改等特征,它能为学分银行建设提供技术支持。突破以往从理论上论证区块链技术服务于学分银行建设的可行性,以国家开放大学推进学分银行建设实践为依托,系统介绍了区块链+学分银行的应用案例。同时,对基于区块链技术的国家学分银行系统可能存在的技术风险进行分析,并提出应对方案。

新时代高质量数字化教材建设的价值意蕴、基本逻辑和实践路径

新时代高质量数字化教材建设是国家教材体系现代化的应有之义,需要探析其育人价值、人本价值与技术价值,为数字化教材建设提供方向指引。新时代高质量数字化教材建设要坚持以学生“善学”为出发点的目标逻辑、以个性化教学为着眼点的内容逻辑、以技术赋能为着力点的形态逻辑。构建新时代高质量数字化教材就要做到:把握数字化教材建设的时代方位,即包括坚持中国共产党的领导、注重数字素养的培养及贯彻“数字中国”战略;擘画数字化教材建设的未来图景,形成数字化教材与纸质教材互构的内容体系、数字化教材与个性化发展需求互动的服务体系、数字化教材与技术互融的应用体系;完善保障机制,明确数字化教材建设主体间权责关系,健全规章体系,创新管理机制。

基于改进U-net的少样本煤岩界面图像分割方法

煤岩图像语义分割技术是煤岩界面识别的重要研究方向,现有的语义分割模型通常依赖于大样本数据集进行训练,然而目前已标注的煤岩图像数据样本难以获取,并且缺乏公开数据集。针对以上问题,提出了一种基于改进U-net模型的样本煤岩界面图像分割模型。将裁剪后具有更强特征提取能力且结构上更为简单的VGG16替换U-net的原始骨干特征提取网络,提升对图像信息的特征提取能力并获得更快的训练速度,在U-net网络的跳跃连接和解码器上采样部分引入注意力机制模块,对提取的特征层进行处理,提升模型对煤岩界面图像关键特征的提取能力,提高分割精度。使用迁移学习方法对改进的模型进行预训练,提高模型泛化能力同时避免过拟合,使模型更适用于小样本数据集训练。通过使用自制的煤岩界面数据集对所改进的网络模型性能进行验证,并将该模型与经典Unet、DeepLabv3+、PspNet、HrNet网络模型进行了对比。试验结果表明:在同样使用由125幅煤岩界面图片构建的小样本数据集进行训练的情况下,所提改进模型相较于经典U-net模型在分割精确度和检测效率方面都有显著提升,模型精确度提高了1.84%,平均交并比提高了5.34%,类别平均像素准确率提高了0.48%,检测速度增幅为5.3%。同时,与其他网络模型相比,所提改进模型在小样本煤岩界面图像的语义分割中优势显著,表明所提改进思路的有效性。

基于循环一致性对抗网络的地震断层训练样本合成方法研究

为了获得真实的地震断层训练样本,提出了基于循环一致性对抗网络的断层训练样本合成方法。使用随机生成的断层标签与实际断层数据作为输入,利用无监督的对抗网络学习断层标签与断层数据之间的联系,生成与断层标签特征相匹配的地震断层样本,由此得到带有标签的断层训练样本集。该方法是一种获取断层训练样本集的方法,一定程度上解决了深度学习地震断层解释缺少训练数据集的问题。对合成断层样本与真实断层进行平均主频与纹理差异的定量分析,结果表明两者具有较高的相似性。使用合成的断层样本训练神经网络,并将结果应用于实际数据测试并进行对比,结果表明合成的断层训练样本具有真实可靠的特点,所提方法可以针对不同工区生成具有目标导向性的断层,能够灵活有效地应用于不同工区的地震断层智能识别。

文本分类算法及其应用场景研究综述

随着大数据时代的到来,互联网中的文本信息迎来了井喷式的增长.文本分类作为自然语言处理中最重要的技术之一,其广泛应用于多个领域,如情感分析、新闻分类、自然语言推理、主题标记、抽取式问答、虚假内容检测等.从传统机器学习分类方法理论的深入到深度学习分类方法探索的兴起,相关研究模型与思路也在不断演变,各类新的方法、数据集和评价指标层出不穷,丰富了文本分类领域的研究,取得了卓越的理论成就和应用效果.尽管如此,新技术不断发展和业务应用场景不断丰富,同时,也为文本分类研究带来了许多新的问题与挑战,如数据约束场景中不均衡数据的文本表征学习、小样本场景下的文本分类等.针对当前研究难题与挑战,本文对文本分类方法进行了系统性调研,并对当前方法在实际应用场景中面临的技术挑战和未来的研究方向进行了综合探讨.具体而言,本文主要综述了七部分内容,分别是:(1)对文本分类技术的相关基础知识进行了全面介绍,包括文本分类的常见符号定义、计算范式和文本预处理技术;(2)对基于传统机器学习的文本分类方法进行了详细总结;同时,为了方便读者针对不同的应用场景选择合适的分类模型,本文对不同分类器擅长处理的文本分类难题及方法优劣进行了总结;(3)对基于新兴深度学习的文本分类方法进行了周详梳理,根据领域内代表性技术的核心思想进行分类,在此基础上对不同类别下的主要方法进行描述,同时对其技术的优劣进行了总结;(4)为了方便读者对文本分类模型的有效性进行验证,针对文本分类技术应用最为广泛的七大场景,本文对相关数据集进行了系统性的总结;(5)本文对不同任务目标下的常用的模型评价方法进行详尽介绍,以便对模型性能进行合理的定量评估;(6)基于上述内容,本文对典型应用场景中不同种类文本分类算法进行了性能总结对比;(7)本文分别从数据约束与模型计算两个层面对当前文本分类技术所面临的挑战和未来的重要研究方向进行了总结.本文通过梳理文本分类研究发展脉络,对涉及的代表性技术进行了详细总结和对比分析,有效填补了文本分类领域前沿技术的应用综述空白.

下一代个性化学习:生成式人工智能增强智能辅导系统

长期以来,教育技术领域的研究者致力于利用计算机开展个性化自适应教学。智能辅导系统作为这一领域的核心,其目标是通过计算机技术提供个性化学习体验和支持。近年来,生成式人工智能,尤其是大语言模型的发展,为智能辅导系统带来了突破性机遇,为个性化学习开辟了新的路径。本文回顾了研究者为实现个性化学习所作的努力及其成果和局限,探讨了大语言模型在个性化学习中的潜力和影响,介绍了“苏格拉底游乐园”——一个基于对话的智能辅导系统,如何利用大语言模型实施苏格拉底式教学,揭示了生成式人工智能如何革新个性化学习方式。针对大语言模型的潜在误用,文章提出了相应的建议,并构建了框架,旨在引导研发者在生成式人工智能和大语言模型范式下开发高效的智能教育应用。

基于时间序列植被指数的小麦条锈病抗性等级鉴定方法

条锈病严重影响小麦产量,培育抗条锈病的小麦品种至关重要。针对传统育种中抗性鉴定手段单一、效率低的问题,该研究提出了一种通过小麦冠层植被指数的时间序列实现对条锈病不同抗性等级的高效鉴定方法。该方法利用无人机采集自然发病的育种群体小麦(共600个样本,516个基因型)冠层多时相的光谱图像,使用随机蛙跳算法和ReliefF算法筛选出6个条锈病病害严重度的敏感特征:归一化色素叶绿素指数(normalized pigment chlorophyll index,NPCI)、沃尔贝克指数(woebbecke index,WI)、叶绿素红边指数(chlorophyll index rededge,CIrededge)、绿大气抵抗植被指数(green atmospherically resistant index,GARI)、归一化差分植被指数(normalized difference vi,NDVI)、叶绿素绿指数(chlorophyll index green,CIgreen),这些敏感特征在试验群体中的时间序列符合条锈病的发病规律,验证了其作为条锈病发病严重度敏感特征的有效性;基于支持向量机(support vector machine,SVM)算法使用上述敏感特征建立条锈病病害严重度等级分类模型,在测试集的表现中,与使用未经过筛选的原始特征所建立的模型相比在精度、平均准确率、平均召回率和F1分数上分别仅下降6.2%、3.3%、2.7%、4.0%,证明了所筛选敏感特征的有效性;针对一般机器学习算法难以捕捉不同抗性等级样本之间较小的特征变化差异的问题,提出了一种从植被指数时间序列转化生成的二维图像中提取特征实现条锈病抗性等级分类的方法。将敏感特征中能够较好区分不同抗病等级的4个时间序列植被指数(NPCI、GARI、NDVI、WI),通过格拉姆角场方法生成格拉姆角和场图像,并制作成数据集,使用DenseNet121网络进行训练,以实现不同条锈病抗病等级的分类。建立的条锈病抗性等级分类模型中,由NPCI时间序列图像建立的分类模型测试效果最佳,其准确率为0.837,召回率为0.834,F1分数可达0.833,能够较好地实现对群体小麦不同品种(系)的条锈病抗性等级差异的区分,表明基于光谱植被指数时间序列的小麦条锈病抗性等级识别方法可以用于小麦抗病育种中抗性等级的鉴定,并可为其他作物的病害抗性等级鉴定提供一定的参考。