生成式预训练模型机器人及其潜力与挑战

机器人与ChatGPT的融合可形成具有人类智慧特征的“硅智能体”,定义为“生成式预训练模型机器人”。以ChatGPT和机器人的智能融合为对象,阐述了GPT-R的特点、技术趋势及在工业和人类生活中的应用。分析了GPT-R在体力、智力及与人类共融发展中存在的问题,从GPT-R的本体与智能、法律与安全、社会规则三方面给出相应对策。结合了ChatGPT和机器人技术的GPT-R将拥有越来越广泛的应用场景和越来越大的市场潜力,成为未来人工智能和机器人共融发展的重要方向之一。

基于生成式预训练语言模型的学者画像构建研究

大数据时代,互联网中以多源异构、非结构化形式存在的学者信息在实体抽取时伴有属性混淆、长实体等问题,严重影响学者画像构建的精准度。与此同时,学者属性实体抽取模型作为学者画像构建过程中的关键模型,在实际应用方面还存在较高的技术门槛,这对学者画像的应用推广造成一定阻碍。为此,在开放资源的基础上,通过引导句建模、自回归生成方式、训练语料微调等构建一种基于生成式预训练语言模型的属性实体抽取框架,并从模型整体效果、实体类别抽取效果、主要影响因素实例分析、样例微调影响分析4个方面对该方法进行验证分析。与对比模型相比,所提出的方法在12类学者属性实体上均达到最优效果,其综合F1值为99.34%,不仅能够较好地识别区分相互混淆的属性实体,对“研究方向”这一典型长属性实体的抽取准确率还提升了6.11%,为学者画像的工程化应用提供了更快捷、有效的方法支撑。

生成式预训练Transformer模型的逻辑性优化方法

生成式预训练Transformer(Generative Pre-Trained Transformer,GPT)模型作为一种基于Transformer架构的预训练模型,在完成自然语言处理任务方面取得了巨大的成功。由于依赖于生成下一个词的局部贪婪过程,使对任务或输出的全局理解、逻辑推理和道德法规约束能力不够。为了提升计算的逻辑性和可靠性,结合的生成型计算过程,论述计算结果的逻辑局限性,从而引入一类和逻辑计算模型混合的优化结构。

生成式AI的融贯性法律治理——以生成式预训练模型(GPT)为例

随着大规模数据和算式的增长,以及算法的不断优化。围绕生成式AI的前景,存在着支持、反对、中立等不同态度,这些态度背后隐含着认知根源、经济考量和权利思考。立足于法律3.0的融贯性治理注重国家法律、行政规制和技术方案之间的融贯,为治理生成式AI提供了思路和方向。融贯性治理中的“融贯”,既是规范性融贯,强调法律规范的内在一致性和统一性,也是整体性融贯,强调将技术方案融入规范,进而使得技术方案与不同层级规范和引领这些规范的原则与价值得以融贯。在面对以GPT为代表的生成式AI时,可以尝试将AI和区块链作为技术方案对其进行治理,也可以通过自我规制和外在约束培育建设“有道德的”AI,还可以通过“市场+规则”助力生成式AI的发展。生成式AI所涉及的法律问题在现有的法律体系框架内基本能得到有效应对,对于它带来的现实、急迫且法律没有明确规定的问题,可以进行融贯性治理。

人工智能生成式预训练模型辅助的对话式学习审视

审视人工智能生成式预训练模型辅助的对话式学习的内涵与外延,基于信息生态理论视角进行解读,围绕信息、信息人、信息环境和信息技术四要素展开思辨,阐释对数据偏差与数据模糊、认知固化与思维惰化、关系弱化与情感疏离、算法局限与技术依赖的隐忧,并从言语理解与逻辑推理、个性化教学与自适应学习、人机交互与反身调节、技术赋能与人机协同四个角度展望其前景。基于此,依据系统观、人本观、互动观和平衡观,从数据闭环与算法优化、育人为本与数字素养、情感分析与人机共生、人技伦理与创用内生等方面提出应对路径,以增进认识和深化思考,探求人工智能生成式预训练模型辅助的对话式学习的应用原理,促进教育技术的理性发展。

生成式预训练语言模型安全风险及评估方法研究

生成式预训练语言模型(GPT模型)在自然语言处理领域已得到广泛应用,取得显著成果。然而,GPT类模型在预训练阶段使用大量的未标记数据,可能带来偏见歧视和错误虚假信息;在应用阶段,可能带来泄露隐私及犯罪辅助风险。该文构建了一套从GPT模型项目管理七个维度及模型工程实现三个阶段出发,多角度多维度开展评估,发现安全风险并治理的方法,为完善GPT模型安全治理机制、厘清相关方责任、确保模型应用安全提供了有效途径。

基于预训练的两段式自动文本摘要研究

主要通过从源文中抽取重要语句组成摘要,该方式会存在词语冗余、可读性差的不足;生成式摘要则尝试通过创造新的词语来构建摘要,可能会引发语义不连贯和逻辑性差的挑战。针对以上两种方式存在的问题,提出一种基于预训练的两阶段式的自动文本摘要模型。该模型融合抽取式和生成式的方法,首先,模型通过预训练模型BERT获取文本向量,再通过抽取式图结构中所蕴含的关系显示指导摘要生成,然后将抽取的输出当作生成模型的输入,同时结合指针网络和覆盖机制解决训练过程中的未登录词(OOV)问题和重复生成问题。通过整合上述步骤,最终获得的摘要在CNN/Daily Mail数据集上展现出良好的效果,在ROUGE-1、ROUGE-2和ROUGE-L这三个指标上均有显著提升。

人工智能聊天机器人助力眼科和科学论文写作

人工智能聊天机器人ChatGPT是使用深度学习技术、能对自然语言输入产生类似人类反应的一种大型语言模型(LLMs)。它由OpenAI公司在2022.11开发,属于“生成预训练转换器(GPT)”模型家族的一种,目前可为公众所用。ChatGPT能够捕捉人类语言的细微差别和复杂性,生成适当的、与上下文相关的响应。它可以帮助医务人员完成各种任务,如研究、诊断、患者监护和医学教育,从确定研究课题到协助临床和实验室诊断,了解各自领域的新进展和科学写作。ChatGPT在眼科已吸引了越来越多的关注和广泛应用。然而,目前在这些任务中使用ChatGPT和其他人工智能工具仍存在一定的局限性、伦理和法律问题,如可信度、剽窃、版权侵犯和偏见。未来的研究将集中在开发新的方法来减轻这些局限性,同时发挥ChatGPT在医疗等相关方面的积极作用。

基于T5-PEGASUS-PGN模型的中文新闻文本摘要生成方法

针对预训练模型训练任务与下游摘要生成任务存在差异、生成文本存在重复内容造成摘要可读性差的问题,基于T5-PEGASUS和指针生成网络,提出了一种自动摘要模型——T5-PEGASUS-PGN。首先利用T5-PEGASUS获取最符合原文语义的词向量表示,然后借助引入覆盖机制的指针生成网络,生成高质量、高可读的最终摘要。在公开的长文本数据集NLPCC2017的实验结果表明,与PGN模型、BERT-PGN等模型相比,结合更贴合下游摘要任务的预训练模型的T5-PEGASUS-PGN模型能够生成更符合原文语义、内容更加丰富的摘要并且能有效的抑制重复内容生成,同时Rouge评价指标Rouge-1提升至44.26%、Rouge-2提升至23.97%以及Rouge-L提至34.81%。

人工智能生成内容的著作权客体性思考——兼论作品判定的独创性标准选择

以基于转换器的生成式预训练模型(GPT)为代表的高阶人工智能凭借其强大的智能型内容生成机制,使得内容产品生产中的技术占比不断上升,人的直接投入占比相对下降,传统著作权法作品的独创性要求、权利人本原则等基本理论受到冲击。面对人工智能生成内容(AIGC)可作品性问题,基于自然人智力投入的创造性本质理论和闭合性作品概念显得力不从心。在过程视角下(主观标准),人工智能内容生成过程符合人类创作的思维特征;在结果视角下(客观标准),人工智能生成内容具有著作权作品的外观形式和信息消费功能,符合著作权作品的本质属性。如果人为割裂人工智能生成内容与著作权作品在产生过程和实质作用上的同质关系,强行区分人工智能生成内容和自然人创作作品的法律性质,则有悖著作权法因应技术发展调整信息消费品利益的制度旨趣,最终将导致著作权法律秩序的混乱。

生成式预训练语言模型在智能网联汽车领域的应用分析

智能网联汽车的普及和发展一直是汽车产业的热点和焦点,而人工智能技术和大数据分析则是推动其快速发展和提升的重要技术手段之一,很多国内外研究机构、企业均已在该领域开展了诸多深入而广泛的研究工作。ChatGPT自2022年年底推出以来,已经引发多个行业的技术变革,而智能网联汽车同样有望在生成式预训练语言模型技术加持下,于智能化车内生态和高级别自动驾驶两个领域实现突破。

生成式人工智能的责任能力研究

以ChatGPT为代表的生成式人工智能投入规模化应用后,至少带来创造性成果归属、意思表示能力确认、刑事犯罪规制、侵权损害救济、数据滥用等多领域的现实法律困境。从传统稳定的社会结构与数字社会新生风险两个维度形成了治理困境,需要从责任的角度确定何种主体应为生成式人工智能技术的决策负责。生成式人工智能已经具备类人化意识与行为能力的基本形态,在拟制主体对人类经济发挥巨大作用的现实借鉴下,可考虑由生成式人工智能自身承担部分责任,但由于其责任能力的限制以及以人为本的伦理基础,对该责任能力应当进行明确限定。通过“穿透人工智能面纱”的归责原则以及相应的配套机制构建,促使发展“负责任的人工智能”成为符合人类共同利益的选择。

生成式AI为助力出版发展提供新引擎

基于知识增强大语言模型、预训练自然语言处理等模型的试用,生成式AI将对出版领域产生巨大影响。本文通过解读生成式AI对出版领域的积极作用和消极影响,探讨如何更好地利用生成式AI的技术优势来辅助出版编辑业务、促进出版流程的数字化和智能化,为出版业的转型升级提供新思路和对策。

TSPT:基于预训练的三阶段复合式文本摘要模型

抽取式方法从源文本中抽取句子,会造成信息冗余;生成式方法可能生成非源文词,会产生语法问题,自然性差。BERT作为一种双向Transformer模型,在自然语言理解任务上展现了优异的性能,但在文本生成任务的应用有待探索。针对以上问题,提出一种基于预训练的三阶段复合式文本摘要模型(TSPT),结合抽取式方法和生成式方法,将源本文经过预训练产生的双向上下文信息词向量由sigmoid函数获取句子得分抽取关键句,在摘要生成阶段将关键句作为完形填空任务重写,生成最终摘要。实验结果表明,该模型在CNN/Daily Mail数据集中取得了良好效果。

生成式人工智能技术的安全风险及其防范策略

大数据时代下,以ChatGPT为代表的生成式人工智能的发展蕴含着技术革命的契机,也可能带来潜在的社会风险。为了鼓励生成式人工智能技术的创新发展并规避其所带来的安全风险,需要积极提出并构建起生成式人工智能技术的安全风险防范策略。以当代新兴生成式人工智能技术为研究对象,遵循系统性文献综述法的范式,阐释生成式人工智能技术的内涵及其运行机理,进一步提出生成式人工智能技术的安全风险可以概括为思想风险、社会安全风险、政府建设与治理风险、政治安全风险。这种类型划分不仅印证了该技术社会影响的全面性,也揭示了风险生成的内在机理。在此基础之上文章还考察了生成式人工智能技术安全风险产生的原因,主要包括:算法强化人类偏见,算法霸权的崛起,人机关系的倒置与人类自我质疑。为了构建负责任性、有预见性的生成式人工智能技术安全风险防范策略,应坚持从加强党的领导、强化政府责任、推动社会协同、增强法治保障方面实现对技术安全风险的长效治理,以期为服务国家治理体系和能力现代化建设提供参考。

油气大模型发展方向及实施关键路径

大庆油田历经60余年的勘探开发,面临着理论创新、技术突破和现场实施等诸多挑战。在这个过程中,传统的数学模型在处理复杂的地质数据和工程数据时已接近瓶颈,需要探索新的研究范式。近年来,大模型特别是多模态生成式大模型作为一种基于大数据、大模型的智能化技术,能够处理大规模、异源、异构的数据,有望更好地应对油气勘探开发领域中的复杂性和不确定性,重塑油气领域的数字化流程,成为油气行业新的发展契机。从油气大模型产生的技术需求、时代背景出发,探索油气大模型技术体系,对油气大模型建设提出设想。具体方案从建设目标、建设原则开始,设计技术架构、给出实施路径,横向上规划4个实施阶段、纵向上规划4个研究领域,设计15项关键任务,进一步为大模型落地,规划了数据库、知识库、成果库和协同研究4项配套体系建设、制定13项关键技术,逐步推进大模型对“数”“图”“体”的理解,最后对大模型在未来油气研究领域的应用场景进行了展望。

基于关键词抽取和提示学习的生成式文本摘要生成方法

针对现有的预训练模型难以进行微调以及生成式摘要算法容易产生未登录词的问题提出一种基于关键词抽取和提示学习的摘要方法。首先添加提示学习(Prompt Learning)通过向输入增加提示信息,将下游任务改成文本生成任务,通过对输入文本进行改造,构造人工模板,随之对改造后的输入文本进行关键词提取,并将提取后的关键词与改造后的输入文本拼接,从而构造新的输入,接着引入关键词提取算法TF-IDF加强生成模型对关键词的关注,在CNN/DM数据集上的实验表明,该模型能够有效提高生成文本摘要的质量,使Rouge-1、Rouge-2、Rouge-L值得到了提高。

基于大模型增强的通用人工智能教师架构

以ChatGPT为代表的预训练大模型在教育界产生了巨大影响,也为发展通用人工智能教师带来了曙光。预训练大模型应用于教育存在幻觉、深度逻辑缺失、社会情感缺失等局限,如果这些关键问题不解决,大模型不可能在教育中得到真正有价值的应用。本文提出通过增强大模型构建通用人工智能教师架构,其核心思路是精调训练增强场景知识、检索增强认知、外部智能组件编排增强推理、多模态融合增强感知、情感计算增强社会情感,再通过教育知识图谱对大模型输出进行监督。通用人工智能教师主要有六种应用场景:需要渊博知识的场景、洞察创意增强场景、约束与管理场景、社会情感互动场景、个性化指导与反馈场景、多模态内容表现场景。文章最后分析了通用智能时代人类教师面临的机遇与挑战,提出教师需要主动拥抱、使用、驾驭并控制智能技术,解放、增强、进化自我,并跨越陷阱。

ChatGPT对社交机器人技术发展的影响分析

作为生成式人工智能的典型代表,全新的预训练基础模型ChatGPT已成为各界关注的“现象级”讨论热点。对ChatGPT及其对社交机器人技术发展的影响与启发进行综合评述。首先介绍了ChatGPT的概念内涵、主要特征、发展历程;其次探讨了以ChatGPT为代表的预训练基础模型所反映出的当前人工智能技术发展趋势;最后分析了近来生成式人工智能的飞速发展对于社交机器人研究与应用的提升作用。综述表明,社交机器人对于内容自主生成能力的旺盛需求,使其与生成式人工智能的发展进度紧密耦合,未来将在个性化内容生成、生成内容鉴别与管制、“涌现”能力溯源等方面继续发展。

基于生成式预训练语言模型的在线问诊平台 青少年抑郁症患者需求分析

[目的]深化对青少年抑郁症群体需求的认知,为推动青少年抑郁症的有效预防和干预提供参考。[方法]选取“好大夫在线”平台的青少年抑郁症问诊记录作为数据来源,利用生成式预训练模型的文本生成和文本向量化功能,提取问诊文本中的关键词,利用关键词语义相似性和词频分析以总结患者的问诊需求维度。[结果]通过4258名患者的有效问诊文本记录,基于ERG需求理论识别出青少年抑郁症患者的7种需求维度:就诊需求、治疗需求、用药需求、家庭支持、社会支持、学业发展、心理成长。[结论]研究结果提示青少年抑郁症群体问诊需求强烈,且具有多样性,在线问诊需求主要聚焦在身体健康改善、疾病知识获取、症状管理、用药安全、家庭关系改善、社交支持获取、教育与学业支持及心理成长等方面。未来研究应扩大到更多平台和文化环境,持续更新对青少年抑郁症患者需求的识别,用以优化在线医疗服务。