生成式预训练模型机器人及其潜力与挑战

机器人与ChatGPT的融合可形成具有人类智慧特征的“硅智能体”,定义为“生成式预训练模型机器人”。以ChatGPT和机器人的智能融合为对象,阐述了GPT-R的特点、技术趋势及在工业和人类生活中的应用。分析了GPT-R在体力、智力及与人类共融发展中存在的问题,从GPT-R的本体与智能、法律与安全、社会规则三方面给出相应对策。结合了ChatGPT和机器人技术的GPT-R将拥有越来越广泛的应用场景和越来越大的市场潜力,成为未来人工智能和机器人共融发展的重要方向之一。

基于生成式预训练语言模型的学者画像构建研究

大数据时代,互联网中以多源异构、非结构化形式存在的学者信息在实体抽取时伴有属性混淆、长实体等问题,严重影响学者画像构建的精准度。与此同时,学者属性实体抽取模型作为学者画像构建过程中的关键模型,在实际应用方面还存在较高的技术门槛,这对学者画像的应用推广造成一定阻碍。为此,在开放资源的基础上,通过引导句建模、自回归生成方式、训练语料微调等构建一种基于生成式预训练语言模型的属性实体抽取框架,并从模型整体效果、实体类别抽取效果、主要影响因素实例分析、样例微调影响分析4个方面对该方法进行验证分析。与对比模型相比,所提出的方法在12类学者属性实体上均达到最优效果,其综合F1值为99.34%,不仅能够较好地识别区分相互混淆的属性实体,对“研究方向”这一典型长属性实体的抽取准确率还提升了6.11%,为学者画像的工程化应用提供了更快捷、有效的方法支撑。

生成式AI的融贯性法律治理——以生成式预训练模型(GPT)为例

随着大规模数据和算式的增长,以及算法的不断优化。围绕生成式AI的前景,存在着支持、反对、中立等不同态度,这些态度背后隐含着认知根源、经济考量和权利思考。立足于法律3.0的融贯性治理注重国家法律、行政规制和技术方案之间的融贯,为治理生成式AI提供了思路和方向。融贯性治理中的“融贯”,既是规范性融贯,强调法律规范的内在一致性和统一性,也是整体性融贯,强调将技术方案融入规范,进而使得技术方案与不同层级规范和引领这些规范的原则与价值得以融贯。在面对以GPT为代表的生成式AI时,可以尝试将AI和区块链作为技术方案对其进行治理,也可以通过自我规制和外在约束培育建设“有道德的”AI,还可以通过“市场+规则”助力生成式AI的发展。生成式AI所涉及的法律问题在现有的法律体系框架内基本能得到有效应对,对于它带来的现实、急迫且法律没有明确规定的问题,可以进行融贯性治理。

基于生成式预训练语言模型的在线问诊平台 青少年抑郁症患者需求分析

[目的]深化对青少年抑郁症群体需求的认知,为推动青少年抑郁症的有效预防和干预提供参考。[方法]选取“好大夫在线”平台的青少年抑郁症问诊记录作为数据来源,利用生成式预训练模型的文本生成和文本向量化功能,提取问诊文本中的关键词,利用关键词语义相似性和词频分析以总结患者的问诊需求维度。[结果]通过4258名患者的有效问诊文本记录,基于ERG需求理论识别出青少年抑郁症患者的7种需求维度:就诊需求、治疗需求、用药需求、家庭支持、社会支持、学业发展、心理成长。[结论]研究结果提示青少年抑郁症群体问诊需求强烈,且具有多样性,在线问诊需求主要聚焦在身体健康改善、疾病知识获取、症状管理、用药安全、家庭关系改善、社交支持获取、教育与学业支持及心理成长等方面。未来研究应扩大到更多平台和文化环境,持续更新对青少年抑郁症患者需求的识别,用以优化在线医疗服务。

教育改革视域下生成式预训练模型的伦理风险与治理策略

生成式预训练模型以其高度个性化的学习体验和基于数据与反馈的动态学习方式重构了教育空间和教学方法,为教育体系带来了颠覆性变革。但随着生成式预训练模型普遍化,尤其是ChatGPT的崛起,一些新的伦理风险也逐渐凸显出来,其中包括技术风险、内容风险、数据风险和算法风险等。这些风险既有生成式预训练模型本身在训练过程中不自觉产生的偏见或误导性言论对人的侵犯,也有人类本身的因素如:开发者算法霸权、个体技术认知缺乏、教师数据素养欠缺等。针对这些伦理风险,可以从加强理论研究和知识普及、研发符合我国教育模式的生成式预训练模型、推动教育形态的结构性变革来进行伦理风险治理,以确保生成式预训练模型技术在教育领域的应用符合教育伦理规范。

生成式预训练Transformer模型的逻辑性优化方法

生成式预训练Transformer(Generative Pre-Trained Transformer,GPT)模型作为一种基于Transformer架构的预训练模型,在完成自然语言处理任务方面取得了巨大的成功。由于依赖于生成下一个词的局部贪婪过程,使对任务或输出的全局理解、逻辑推理和道德法规约束能力不够。为了提升计算的逻辑性和可靠性,结合的生成型计算过程,论述计算结果的逻辑局限性,从而引入一类和逻辑计算模型混合的优化结构。

人工智能生成式预训练模型辅助的对话式学习审视

审视人工智能生成式预训练模型辅助的对话式学习的内涵与外延,基于信息生态理论视角进行解读,围绕信息、信息人、信息环境和信息技术四要素展开思辨,阐释对数据偏差与数据模糊、认知固化与思维惰化、关系弱化与情感疏离、算法局限与技术依赖的隐忧,并从言语理解与逻辑推理、个性化教学与自适应学习、人机交互与反身调节、技术赋能与人机协同四个角度展望其前景。基于此,依据系统观、人本观、互动观和平衡观,从数据闭环与算法优化、育人为本与数字素养、情感分析与人机共生、人技伦理与创用内生等方面提出应对路径,以增进认识和深化思考,探求人工智能生成式预训练模型辅助的对话式学习的应用原理,促进教育技术的理性发展。

生成式预训练语言模型安全风险及评估方法研究

生成式预训练语言模型(GPT模型)在自然语言处理领域已得到广泛应用,取得显著成果。然而,GPT类模型在预训练阶段使用大量的未标记数据,可能带来偏见歧视和错误虚假信息;在应用阶段,可能带来泄露隐私及犯罪辅助风险。该文构建了一套从GPT模型项目管理七个维度及模型工程实现三个阶段出发,多角度多维度开展评估,发现安全风险并治理的方法,为完善GPT模型安全治理机制、厘清相关方责任、确保模型应用安全提供了有效途径。

基于预训练语言模型的机器翻译最新进展

自然语言处理涉及许多重要主题,其中之一是机器翻译。预训练语言模型,如BERT和GPT,是用于处理包括机器翻译在内的各种自然语言处理任务的先进方法。因此,许多研究人员使用预训练语言模型来解决机器翻译问题。为推动研究向前发展,首先概述了这一领域的最新进展,包括主要的研究问题和基于各种预训练语言模型的解决方案;其次比较了这些解决方案的动机、共性、差异和局限性;然后总结了训练这类机器翻译模型常用的数据集,以及评估这些模型的指标;最后讨论了进一步的研究方向。

Pobe:一种基于生成式模型的分布外文本检测方法

对于安全可靠的机器学习系统,具备检测训练集分布外(out-of-distribution,OOD)样本的能力十分必要.基于似然的生成式模型由于训练时不需要样本标签,是一类非常受欢迎的OOD检测方法.然而,近期研究表明通过似然来检测OOD样本往往会失效,并且失效原因与解决方案的探究仍较少,尤其是对于文本数据.从模型层面和数据层面分析文本上失效的原因:生成式模型的泛化性不足和文本先验概率的偏差.在此基础上,提出一种新的OOD文本检测方法Pobe.针对生成式模型泛化性不足的问题,引入KNN检索的方式,来提升模型的泛化性.针对文本先验概率偏差的问题,设计一种偏差校准策略,借助预训练语言模型改善概率偏差对OOD检测的影响,并通过贝叶斯定理证明策略的合理性.通过在广泛的数据集上进行实验,证明所提方法的有效性,其中,在8个数据集上的平均AUROC值超过99%,FPR95值低于1%.

生成式AI在情报研究中的应用——以ChatGPT为例

[目的/意义]旨在探讨生成式AI在情报研究中的应用前景,为情报研究与技术新时代共行共进提供参考。[方法/过程]基于ChatGPT的技术原理,审视人工智能环境下情报研究的新需求和新契机,探讨了ChatGPT在情报研究需求分析、数据采集、数据分析和结果呈现四个阶段中的应用。[结果/结论]ChatGPT“大数据、大模型、强算力”的突出特性与情报研究在数据、算法、算力三个层面新需求相契合,分别赋予了情报研究的四个阶段交互式和生成式、高效化和精准化、聚合化和智能化以及多样化和科学化的特点,但在每个阶段也存在不同的应用难题,未来需要进一步研究,以更加适应情报研究工作的需要。

生成式人工智能思维影响下教师教育实验中心的建设

为了深入探讨生成式人工智能在教育领域的创新应用,以其开放性、创造性、协同性和适应性为理论基础,对教师教育实验中心的建设进行了全面的重构与创新发展。采用虚实结合的方式重塑实验实训教学模式,利用平台互联互通构建实验实训教学支撑体系,借助学科间的协同合作创新实验实训课程系统,通过多方辐射制定实验实训教学的保障措施,以及构建完善的实验实训教学服务框架。引入生成式人工智能后,教师教育实验中心不仅创新了实验教学模式,提升了师范生的教学能力,也为师范生的研究能力培养提供了实践路.

生成式人工智能的工业应用技术与前景

随着在工业应用中的不断深化,人工智能(AI)逐渐面临场景定制化、数据要求高、动态环境适应性差等问题。以生成式人工智能(AIGC)为代表的通用AI为突破传统AI的瓶颈提供了新思路。为推动AIGC与工业领域的融合创新、抢占下一轮科技革命的技术高地,对AIGC技术及其工业应用展开综述。首先,梳理了国内外AIGC技术的发展现状,总结了当前AIGC工业应用面临的问题和挑战。然后,提出了AIGC在工业领域应用的技术架构,以及通用大模型集成、通用大模型微调与知识库外挂、预训练工业大模型这三种应用模式。最后,从研发设计、生产制造、经营管理以及运维服务等四个方面的十二个场景作应用展望,以激发AIGC工业应用的新技术、新方向的进一步发展,赋能工业领域形成新质生产力。

基于预训练的两段式自动文本摘要研究

主要通过从源文中抽取重要语句组成摘要,该方式会存在词语冗余、可读性差的不足;生成式摘要则尝试通过创造新的词语来构建摘要,可能会引发语义不连贯和逻辑性差的挑战。针对以上两种方式存在的问题,提出一种基于预训练的两阶段式的自动文本摘要模型。该模型融合抽取式和生成式的方法,首先,模型通过预训练模型BERT获取文本向量,再通过抽取式图结构中所蕴含的关系显示指导摘要生成,然后将抽取的输出当作生成模型的输入,同时结合指针网络和覆盖机制解决训练过程中的未登录词(OOV)问题和重复生成问题。通过整合上述步骤,最终获得的摘要在CNN/Daily Mail数据集上展现出良好的效果,在ROUGE-1、ROUGE-2和ROUGE-L这三个指标上均有显著提升。

基于T5-PEGASUS-PGN模型的中文新闻文本摘要生成方法

针对预训练模型训练任务与下游摘要生成任务存在差异、生成文本存在重复内容造成摘要可读性差的问题,基于T5-PEGASUS和指针生成网络,提出了一种自动摘要模型——T5-PEGASUS-PGN。首先利用T5-PEGASUS获取最符合原文语义的词向量表示,然后借助引入覆盖机制的指针生成网络,生成高质量、高可读的最终摘要。在公开的长文本数据集NLPCC2017的实验结果表明,与PGN模型、BERT-PGN等模型相比,结合更贴合下游摘要任务的预训练模型的T5-PEGASUS-PGN模型能够生成更符合原文语义、内容更加丰富的摘要并且能有效的抑制重复内容生成,同时Rouge评价指标Rouge-1提升至44.26%、Rouge-2提升至23.97%以及Rouge-L提至34.81%。

一种建立在GPT-2模型上的数据增强方法

针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法(punishing generative pre-trained transformer for data augmentation,PunishGPT-DA)。设计了惩罚项和超参数α,与负对数似然损失函数共同作用微调GPT-2(generative pre-training 2.0),鼓励模型关注那些预测概率较小但仍然合理的输出;使用基于双向编码器表征模型(bidirectional encoder representation from transformers,BERT)的过滤器过滤语义偏差较大的生成样本。本文方法实现了对训练集16倍扩充,与GPT-2相比,在意图识别、问题分类以及情感分析3个任务上的准确率分别提升了1.1%、4.9%和8.7%。实验结果表明,本文提出的方法能够同时有效地控制一致性和多样性需求,提升下游任务模型的训练性能。

人工智能生成内容的著作权客体性思考——兼论作品判定的独创性标准选择

以基于转换器的生成式预训练模型(GPT)为代表的高阶人工智能凭借其强大的智能型内容生成机制,使得内容产品生产中的技术占比不断上升,人的直接投入占比相对下降,传统著作权法作品的独创性要求、权利人本原则等基本理论受到冲击。面对人工智能生成内容(AIGC)可作品性问题,基于自然人智力投入的创造性本质理论和闭合性作品概念显得力不从心。在过程视角下(主观标准),人工智能内容生成过程符合人类创作的思维特征;在结果视角下(客观标准),人工智能生成内容具有著作权作品的外观形式和信息消费功能,符合著作权作品的本质属性。如果人为割裂人工智能生成内容与著作权作品在产生过程和实质作用上的同质关系,强行区分人工智能生成内容和自然人创作作品的法律性质,则有悖著作权法因应技术发展调整信息消费品利益的制度旨趣,最终将导致著作权法律秩序的混乱。

用户粒度级的个性化社交文本生成模型

针对开放性的社交文本领域的文本生成技术生成的文本内容缺少个性化特征的问题,提出了一种用户级的细粒度控制生成模型,即PTG-GPT2-Chinese(Personalized Text Generation Generative Pre-trained Transformer 2-Chinese)。所提模型基于GPT2(Generative Pre-trained Transformer 2.0)结构设计了Encoder-Decoder模型框架。首先在Encoder端对用户的静态个性化信息建模并编码,在Decoder端添加了双向独立的注意力模块,用于接收该静态的个性化特征向量,并利用原始GPT2结构中的注意力模块捕获用户文本中的动态个性化特征;然后,动态加权融合各注意力模块分数并参与后续解码,从而自动生成以用户个性化特征属性作为约束的社交文本;此外,为了解决用户基本信息的语义稀疏性导致的生成文本偶尔与某些个性化特征存在矛盾的问题,采用BERT模型对Decoder端输出数据与用户个性化特征进行一致性理解的二次增强生成,最终实现个性化的社交文本生成。实验结果表明,与GPT2模型相比,所提模型的流畅度提高了0.36%~0.72%,且在不损失语言流畅度的基础上,二次生成使个性化和一致性两个评价指标分别提高了10.27%和13.24%。这验证了所提模型能够有效辅助用户创作,生成流畅且符合用户个性的社交文本。

生成式预训练语言模型在智能网联汽车领域的应用分析

智能网联汽车的普及和发展一直是汽车产业的热点和焦点,而人工智能技术和大数据分析则是推动其快速发展和提升的重要技术手段之一,很多国内外研究机构、企业均已在该领域开展了诸多深入而广泛的研究工作。ChatGPT自2022年年底推出以来,已经引发多个行业的技术变革,而智能网联汽车同样有望在生成式预训练语言模型技术加持下,于智能化车内生态和高级别自动驾驶两个领域实现突破。

生成式人工智能的责任能力研究

以ChatGPT为代表的生成式人工智能投入规模化应用后,至少带来创造性成果归属、意思表示能力确认、刑事犯罪规制、侵权损害救济、数据滥用等多领域的现实法律困境。从传统稳定的社会结构与数字社会新生风险两个维度形成了治理困境,需要从责任的角度确定何种主体应为生成式人工智能技术的决策负责。生成式人工智能已经具备类人化意识与行为能力的基本形态,在拟制主体对人类经济发挥巨大作用的现实借鉴下,可考虑由生成式人工智能自身承担部分责任,但由于其责任能力的限制以及以人为本的伦理基础,对该责任能力应当进行明确限定。通过“穿透人工智能面纱”的归责原则以及相应的配套机制构建,促使发展“负责任的人工智能”成为符合人类共同利益的选择。