生成式预训练模型机器人及其潜力与挑战

机器人与ChatGPT的融合可形成具有人类智慧特征的“硅智能体”,定义为“生成式预训练模型机器人”。以ChatGPT和机器人的智能融合为对象,阐述了GPT-R的特点、技术趋势及在工业和人类生活中的应用。分析了GPT-R在体力、智力及与人类共融发展中存在的问题,从GPT-R的本体与智能、法律与安全、社会规则三方面给出相应对策。结合了ChatGPT和机器人技术的GPT-R将拥有越来越广泛的应用场景和越来越大的市场潜力,成为未来人工智能和机器人共融发展的重要方向之一。

基于生成式预训练语言模型的学者画像构建研究

大数据时代,互联网中以多源异构、非结构化形式存在的学者信息在实体抽取时伴有属性混淆、长实体等问题,严重影响学者画像构建的精准度。与此同时,学者属性实体抽取模型作为学者画像构建过程中的关键模型,在实际应用方面还存在较高的技术门槛,这对学者画像的应用推广造成一定阻碍。为此,在开放资源的基础上,通过引导句建模、自回归生成方式、训练语料微调等构建一种基于生成式预训练语言模型的属性实体抽取框架,并从模型整体效果、实体类别抽取效果、主要影响因素实例分析、样例微调影响分析4个方面对该方法进行验证分析。与对比模型相比,所提出的方法在12类学者属性实体上均达到最优效果,其综合F1值为99.34%,不仅能够较好地识别区分相互混淆的属性实体,对“研究方向”这一典型长属性实体的抽取准确率还提升了6.11%,为学者画像的工程化应用提供了更快捷、有效的方法支撑。

基于生成式预训练语言模型的在线问诊平台 青少年抑郁症患者需求分析

[目的]深化对青少年抑郁症群体需求的认知,为推动青少年抑郁症的有效预防和干预提供参考。[方法]选取“好大夫在线”平台的青少年抑郁症问诊记录作为数据来源,利用生成式预训练模型的文本生成和文本向量化功能,提取问诊文本中的关键词,利用关键词语义相似性和词频分析以总结患者的问诊需求维度。[结果]通过4258名患者的有效问诊文本记录,基于ERG需求理论识别出青少年抑郁症患者的7种需求维度:就诊需求、治疗需求、用药需求、家庭支持、社会支持、学业发展、心理成长。[结论]研究结果提示青少年抑郁症群体问诊需求强烈,且具有多样性,在线问诊需求主要聚焦在身体健康改善、疾病知识获取、症状管理、用药安全、家庭关系改善、社交支持获取、教育与学业支持及心理成长等方面。未来研究应扩大到更多平台和文化环境,持续更新对青少年抑郁症患者需求的识别,用以优化在线医疗服务。

教育改革视域下生成式预训练模型的伦理风险与治理策略

生成式预训练模型以其高度个性化的学习体验和基于数据与反馈的动态学习方式重构了教育空间和教学方法,为教育体系带来了颠覆性变革。但随着生成式预训练模型普遍化,尤其是ChatGPT的崛起,一些新的伦理风险也逐渐凸显出来,其中包括技术风险、内容风险、数据风险和算法风险等。这些风险既有生成式预训练模型本身在训练过程中不自觉产生的偏见或误导性言论对人的侵犯,也有人类本身的因素如:开发者算法霸权、个体技术认知缺乏、教师数据素养欠缺等。针对这些伦理风险,可以从加强理论研究和知识普及、研发符合我国教育模式的生成式预训练模型、推动教育形态的结构性变革来进行伦理风险治理,以确保生成式预训练模型技术在教育领域的应用符合教育伦理规范。

生成式预训练Transformer模型的逻辑性优化方法

生成式预训练Transformer(Generative Pre-Trained Transformer,GPT)模型作为一种基于Transformer架构的预训练模型,在完成自然语言处理任务方面取得了巨大的成功。由于依赖于生成下一个词的局部贪婪过程,使对任务或输出的全局理解、逻辑推理和道德法规约束能力不够。为了提升计算的逻辑性和可靠性,结合的生成型计算过程,论述计算结果的逻辑局限性,从而引入一类和逻辑计算模型混合的优化结构。

生成式AI的融贯性法律治理——以生成式预训练模型(GPT)为例

随着大规模数据和算式的增长,以及算法的不断优化。围绕生成式AI的前景,存在着支持、反对、中立等不同态度,这些态度背后隐含着认知根源、经济考量和权利思考。立足于法律3.0的融贯性治理注重国家法律、行政规制和技术方案之间的融贯,为治理生成式AI提供了思路和方向。融贯性治理中的“融贯”,既是规范性融贯,强调法律规范的内在一致性和统一性,也是整体性融贯,强调将技术方案融入规范,进而使得技术方案与不同层级规范和引领这些规范的原则与价值得以融贯。在面对以GPT为代表的生成式AI时,可以尝试将AI和区块链作为技术方案对其进行治理,也可以通过自我规制和外在约束培育建设“有道德的”AI,还可以通过“市场+规则”助力生成式AI的发展。生成式AI所涉及的法律问题在现有的法律体系框架内基本能得到有效应对,对于它带来的现实、急迫且法律没有明确规定的问题,可以进行融贯性治理。

人工智能生成式预训练模型辅助的对话式学习审视

审视人工智能生成式预训练模型辅助的对话式学习的内涵与外延,基于信息生态理论视角进行解读,围绕信息、信息人、信息环境和信息技术四要素展开思辨,阐释对数据偏差与数据模糊、认知固化与思维惰化、关系弱化与情感疏离、算法局限与技术依赖的隐忧,并从言语理解与逻辑推理、个性化教学与自适应学习、人机交互与反身调节、技术赋能与人机协同四个角度展望其前景。基于此,依据系统观、人本观、互动观和平衡观,从数据闭环与算法优化、育人为本与数字素养、情感分析与人机共生、人技伦理与创用内生等方面提出应对路径,以增进认识和深化思考,探求人工智能生成式预训练模型辅助的对话式学习的应用原理,促进教育技术的理性发展。

生成式预训练语言模型安全风险及评估方法研究

生成式预训练语言模型(GPT模型)在自然语言处理领域已得到广泛应用,取得显著成果。然而,GPT类模型在预训练阶段使用大量的未标记数据,可能带来偏见歧视和错误虚假信息;在应用阶段,可能带来泄露隐私及犯罪辅助风险。该文构建了一套从GPT模型项目管理七个维度及模型工程实现三个阶段出发,多角度多维度开展评估,发现安全风险并治理的方法,为完善GPT模型安全治理机制、厘清相关方责任、确保模型应用安全提供了有效途径。

Pobe:一种基于生成式模型的分布外文本检测方法

对于安全可靠的机器学习系统,具备检测训练集分布外(out-of-distribution,OOD)样本的能力十分必要.基于似然的生成式模型由于训练时不需要样本标签,是一类非常受欢迎的OOD检测方法.然而,近期研究表明通过似然来检测OOD样本往往会失效,并且失效原因与解决方案的探究仍较少,尤其是对于文本数据.从模型层面和数据层面分析文本上失效的原因:生成式模型的泛化性不足和文本先验概率的偏差.在此基础上,提出一种新的OOD文本检测方法Pobe.针对生成式模型泛化性不足的问题,引入KNN检索的方式,来提升模型的泛化性.针对文本先验概率偏差的问题,设计一种偏差校准策略,借助预训练语言模型改善概率偏差对OOD检测的影响,并通过贝叶斯定理证明策略的合理性.通过在广泛的数据集上进行实验,证明所提方法的有效性,其中,在8个数据集上的平均AUROC值超过99%,FPR95值低于1%.

生成式人工智能的工业应用技术与前景

随着在工业应用中的不断深化,人工智能(AI)逐渐面临场景定制化、数据要求高、动态环境适应性差等问题。以生成式人工智能(AIGC)为代表的通用AI为突破传统AI的瓶颈提供了新思路。为推动AIGC与工业领域的融合创新、抢占下一轮科技革命的技术高地,对AIGC技术及其工业应用展开综述。首先,梳理了国内外AIGC技术的发展现状,总结了当前AIGC工业应用面临的问题和挑战。然后,提出了AIGC在工业领域应用的技术架构,以及通用大模型集成、通用大模型微调与知识库外挂、预训练工业大模型这三种应用模式。最后,从研发设计、生产制造、经营管理以及运维服务等四个方面的十二个场景作应用展望,以激发AIGC工业应用的新技术、新方向的进一步发展,赋能工业领域形成新质生产力。

基于预训练的两段式自动文本摘要研究

主要通过从源文中抽取重要语句组成摘要,该方式会存在词语冗余、可读性差的不足;生成式摘要则尝试通过创造新的词语来构建摘要,可能会引发语义不连贯和逻辑性差的挑战。针对以上两种方式存在的问题,提出一种基于预训练的两阶段式的自动文本摘要模型。该模型融合抽取式和生成式的方法,首先,模型通过预训练模型BERT获取文本向量,再通过抽取式图结构中所蕴含的关系显示指导摘要生成,然后将抽取的输出当作生成模型的输入,同时结合指针网络和覆盖机制解决训练过程中的未登录词(OOV)问题和重复生成问题。通过整合上述步骤,最终获得的摘要在CNN/Daily Mail数据集上展现出良好的效果,在ROUGE-1、ROUGE-2和ROUGE-L这三个指标上均有显著提升。

基于T5-PEGASUS-PGN模型的中文新闻文本摘要生成方法

针对预训练模型训练任务与下游摘要生成任务存在差异、生成文本存在重复内容造成摘要可读性差的问题,基于T5-PEGASUS和指针生成网络,提出了一种自动摘要模型——T5-PEGASUS-PGN。首先利用T5-PEGASUS获取最符合原文语义的词向量表示,然后借助引入覆盖机制的指针生成网络,生成高质量、高可读的最终摘要。在公开的长文本数据集NLPCC2017的实验结果表明,与PGN模型、BERT-PGN等模型相比,结合更贴合下游摘要任务的预训练模型的T5-PEGASUS-PGN模型能够生成更符合原文语义、内容更加丰富的摘要并且能有效的抑制重复内容生成,同时Rouge评价指标Rouge-1提升至44.26%、Rouge-2提升至23.97%以及Rouge-L提至34.81%。

生成式AI在情报研究中的应用——以ChatGPT为例

[目的/意义]旨在探讨生成式AI在情报研究中的应用前景,为情报研究与技术新时代共行共进提供参考。[方法/过程]基于ChatGPT的技术原理,审视人工智能环境下情报研究的新需求和新契机,探讨了ChatGPT在情报研究需求分析、数据采集、数据分析和结果呈现四个阶段中的应用。[结果/结论]ChatGPT“大数据、大模型、强算力”的突出特性与情报研究在数据、算法、算力三个层面新需求相契合,分别赋予了情报研究的四个阶段交互式和生成式、高效化和精准化、聚合化和智能化以及多样化和科学化的特点,但在每个阶段也存在不同的应用难题,未来需要进一步研究,以更加适应情报研究工作的需要。

人工智能生成内容的著作权客体性思考——兼论作品判定的独创性标准选择

以基于转换器的生成式预训练模型(GPT)为代表的高阶人工智能凭借其强大的智能型内容生成机制,使得内容产品生产中的技术占比不断上升,人的直接投入占比相对下降,传统著作权法作品的独创性要求、权利人本原则等基本理论受到冲击。面对人工智能生成内容(AIGC)可作品性问题,基于自然人智力投入的创造性本质理论和闭合性作品概念显得力不从心。在过程视角下(主观标准),人工智能内容生成过程符合人类创作的思维特征;在结果视角下(客观标准),人工智能生成内容具有著作权作品的外观形式和信息消费功能,符合著作权作品的本质属性。如果人为割裂人工智能生成内容与著作权作品在产生过程和实质作用上的同质关系,强行区分人工智能生成内容和自然人创作作品的法律性质,则有悖著作权法因应技术发展调整信息消费品利益的制度旨趣,最终将导致著作权法律秩序的混乱。

生成式预训练语言模型在智能网联汽车领域的应用分析

智能网联汽车的普及和发展一直是汽车产业的热点和焦点,而人工智能技术和大数据分析则是推动其快速发展和提升的重要技术手段之一,很多国内外研究机构、企业均已在该领域开展了诸多深入而广泛的研究工作。ChatGPT自2022年年底推出以来,已经引发多个行业的技术变革,而智能网联汽车同样有望在生成式预训练语言模型技术加持下,于智能化车内生态和高级别自动驾驶两个领域实现突破。

生成式人工智能的责任能力研究

以ChatGPT为代表的生成式人工智能投入规模化应用后,至少带来创造性成果归属、意思表示能力确认、刑事犯罪规制、侵权损害救济、数据滥用等多领域的现实法律困境。从传统稳定的社会结构与数字社会新生风险两个维度形成了治理困境,需要从责任的角度确定何种主体应为生成式人工智能技术的决策负责。生成式人工智能已经具备类人化意识与行为能力的基本形态,在拟制主体对人类经济发挥巨大作用的现实借鉴下,可考虑由生成式人工智能自身承担部分责任,但由于其责任能力的限制以及以人为本的伦理基础,对该责任能力应当进行明确限定。通过“穿透人工智能面纱”的归责原则以及相应的配套机制构建,促使发展“负责任的人工智能”成为符合人类共同利益的选择。

生成式AI为助力出版发展提供新引擎

基于知识增强大语言模型、预训练自然语言处理等模型的试用,生成式AI将对出版领域产生巨大影响。本文通过解读生成式AI对出版领域的积极作用和消极影响,探讨如何更好地利用生成式AI的技术优势来辅助出版编辑业务、促进出版流程的数字化和智能化,为出版业的转型升级提供新思路和对策。

TSPT:基于预训练的三阶段复合式文本摘要模型

抽取式方法从源文本中抽取句子,会造成信息冗余;生成式方法可能生成非源文词,会产生语法问题,自然性差。BERT作为一种双向Transformer模型,在自然语言理解任务上展现了优异的性能,但在文本生成任务的应用有待探索。针对以上问题,提出一种基于预训练的三阶段复合式文本摘要模型(TSPT),结合抽取式方法和生成式方法,将源本文经过预训练产生的双向上下文信息词向量由sigmoid函数获取句子得分抽取关键句,在摘要生成阶段将关键句作为完形填空任务重写,生成最终摘要。实验结果表明,该模型在CNN/Daily Mail数据集中取得了良好效果。

生成式人工智能技术的安全风险及其防范策略

大数据时代下,以ChatGPT为代表的生成式人工智能的发展蕴含着技术革命的契机,也可能带来潜在的社会风险。为了鼓励生成式人工智能技术的创新发展并规避其所带来的安全风险,需要积极提出并构建起生成式人工智能技术的安全风险防范策略。以当代新兴生成式人工智能技术为研究对象,遵循系统性文献综述法的范式,阐释生成式人工智能技术的内涵及其运行机理,进一步提出生成式人工智能技术的安全风险可以概括为思想风险、社会安全风险、政府建设与治理风险、政治安全风险。这种类型划分不仅印证了该技术社会影响的全面性,也揭示了风险生成的内在机理。在此基础之上文章还考察了生成式人工智能技术安全风险产生的原因,主要包括:算法强化人类偏见,算法霸权的崛起,人机关系的倒置与人类自我质疑。为了构建负责任性、有预见性的生成式人工智能技术安全风险防范策略,应坚持从加强党的领导、强化政府责任、推动社会协同、增强法治保障方面实现对技术安全风险的长效治理,以期为服务国家治理体系和能力现代化建设提供参考。

油气大模型发展方向及实施关键路径

大庆油田历经60余年的勘探开发,面临着理论创新、技术突破和现场实施等诸多挑战。在这个过程中,传统的数学模型在处理复杂的地质数据和工程数据时已接近瓶颈,需要探索新的研究范式。近年来,大模型特别是多模态生成式大模型作为一种基于大数据、大模型的智能化技术,能够处理大规模、异源、异构的数据,有望更好地应对油气勘探开发领域中的复杂性和不确定性,重塑油气领域的数字化流程,成为油气行业新的发展契机。从油气大模型产生的技术需求、时代背景出发,探索油气大模型技术体系,对油气大模型建设提出设想。具体方案从建设目标、建设原则开始,设计技术架构、给出实施路径,横向上规划4个实施阶段、纵向上规划4个研究领域,设计15项关键任务,进一步为大模型落地,规划了数据库、知识库、成果库和协同研究4项配套体系建设、制定13项关键技术,逐步推进大模型对“数”“图”“体”的理解,最后对大模型在未来油气研究领域的应用场景进行了展望。