生成式人工智能虚假信息治理的新挑战及应对策略——基于敏捷治理的视角

生成式人工智能的基础数据来源复杂,数据的真实性与合法性存在极大不确定性,由此出现的虚假信息在技术逻辑上具有必然性和无限复制性;在传播规律上具有瞬时性和隐蔽性;在危害后果上具有复杂性和不可控性。现有多中心协同论、二元治理结构论和层级治理论分别从不同的视角提出治理策略,但过于关注协同合作本身却忽视了治理主体的协同能力和响应效率;过度依赖政府与市场的互补却遮蔽了二者面临新技术时容易懈怠的共性;盲目信任分层治理极易陷入技治主义的困境。对此,应转向敏捷治理下以政府主导强化多元主体间的协同效能、提升治理结构的适应性、破除层级障碍的治理新思路。以虚假信息治理的法治化和技术化为基本方向,保持制度的原则性要求和技术工具价值的协同,实施虚假信息等级评估制度,构建治理主体高效协作机制、快捷响应机制和容错纠错机制,搭建生成式人工智能虚假信息敏捷治理新模式的基本框架。

生成式人工智能虚假信息风险与治理研究

以ChatGPT为代表的生成式人工智能改变了人机交互、信息获取、信息传播的方式,但大语言模型的“幻视”问题也给虚假信息治理带来了新的挑战。训练数据瑕疵、算法黑箱以及大语言模型的“涌现能力”等因素致使虚假信息风险呈扩大趋势,对个人权益保护、社会稳定以及国家安全构成了严重威胁。《生成式人工智能服务管理暂行办法》明确要求不得利用生成式人工智能生成虚假信息,但在虚假信息的监管主体、监管职责及法律责任等方面缺乏具体规定,不足以有效应对生成式人工智能下的虚假信息风险。为破解当下困局,应当秉持包容审慎的治理态度,立足我国法治实践现状,从规范体系、治理主体、责任承担和制度环境等维度构建生成式人工智能虚假信息的治理框架。

基于虚假信息特征的社交媒体大学生用户感知信任研究

[目的/意义]探究社交媒体虚假信息特征对感知信任的影响,提升大学生的虚假信息识别能力。[方法/过程]通过扎根理论编码提取虚假信息一般特征,利用眼动实验和问卷调查获取数据分析其与感知信任的关系。[结果/结论]虚假信息一般包括内容、发布者、传播者、情感和形式5个核心特征33个子特征;大学生在阅读虚假信息时主要关注发布者、标题、内容和图片文字部分;内容特征、发布者特征、形式特征、情感特征显著影响大学生对虚假信息的感知信任,传播者特征的影响不显著;大学生对虚假信息的平均感知信任评级为2.95±1.340,虚假信息识别能力有待提高。

社交媒体虚假信息检测研究综述

社交媒体上的虚假信息不仅危害网络空间安全,还在重大事件中扮演着关键角色,严重误导公众,对政治和社会秩序造成负面影响。为此,围绕面向社交媒体的虚假信息检测技术研究展开综述,为构建高效检测技术和遏制社交媒体虚假信息泛滥奠定理论基础。首先,深入剖析虚假信息的内涵本质,探讨其在社交平台上的产生机理、具体表现形式,并界定检测任务的基础框架与目标;其次,从语义一致性视角出发,专注内容语义、社交上下文感知和知识驱动三大层面,对比梳理典型检测方法;在此基础之上,深入探究增强检测算法可解释性最新研究成果;进一步,从对抗博弈视角,深度剖析当前社交媒体虚假信息检测任务面临的挑战以及大型语言模型为虚假信息检测技术研究带来的机遇;最后,对社交媒体虚假信息检测技术未来的发展进行了展望。

眼动追踪技术在虚假信息甄别过程中的应用

研究虚假信息的甄别过程对了解和治理虚假信息至关重要,而眼动追踪技术在信息行为研究中有显著作用。文章采用文献计量和内容分析法,分析眼动追踪技术在虚假信息甄别中的应用,概述相关理论、指标和解释角度。研究结果显示:尽管眼动追踪技术在虚假信息甄别领域的应用相对较晚,但成果具有跨学科性,受到较高认可;相关研究集中在信息主体和客体方面,主要使用认知心理学中双重加工理论、启发式系统、详尽可能性模型等理论框架;研究涵盖14个眼动指标,主要从时间、空间、瞳孔直径等维度总结这些指标的应用效果及其与研究变量的关系,提供关于眼脑假说、非眼脑假说和认知努力等解释眼动指标的角度,认为使用眼动研究虚假信息甄别最重要的是在问题、理论、指标和解释角度之间建立起联系。

生成式人工智能虚假信息协同共治研究

[研究目的]生成式人工智能虚假信息泛滥严重阻碍了互联网行业健康发展,协同共治有助于抑制生成式人工智能虚假信息。[研究方法]本研究从信息生成视角入手,构建“政府—生成式AI服务提供者—生成式AI服务使用者”三方协同共治演化博弈模型,进行仿真分析。[研究结论]研究结果表明,博弈主体协同共治策略受所有主体初始意愿影响;在成本支出方面,合理区间内降低技术治理成本和积极监管成本可促进生成式AI服务提供者和政府参与协同共治;在奖惩机制方面,政府奖励和惩罚措施可相互调节,且政府惩罚重心偏向生成式AI服务使用者时治理效果较好。同时,与政府惩罚相比,生成式AI服务使用者对提供者惩罚更加敏感,在合理区间内生成式AI服务提供者对政府奖励更为敏感;在社会形象方面,与公信力损失相比,政府对公信力提升更敏感。与声誉损失相比,生成式AI服务提供者对声誉提升更敏感。

生成式人工智能虚假信息的刑事风险与法律应对

生成式人工智能自发或在人为引导下有生成和传播虚假信息的风险。针对生成式人工智能自发产生虚假信息的负外部性,由于在新过失论前提下服务提供者对规章义务的违反已受到相关治理规范的规制,在刑事责任的设置上宜参照拒不履行信息网络安全管理义务罪,将生成式人工智能服务提供者解释为新型网络服务提供者,为其拒不履行生成式服务规范义务产生的严重后果承担刑事责任。针对生成式人工智能存在被用作犯罪工具触发编造及传播虚假信息的潜在风险,传统罪名足以规制,但具体交叉罪名需从犯罪客体和犯罪行为明确区分适用。在追究生成式人工智能编造传播虚假信息的法律责任时宜弱化量化标准的适用效力。

基于节点角色和网络特征的社交媒体虚假信息生存分析

[目的/意义]用户交互是虚假信息传播的起始环节,了解其中的节点角色和交互网络特征对于虚假信息治理具有重要作用。[方法/过程]利用聚类分析、网络分析对交互网络中的用户节点角色进行刻画,采用单因素生存分析以及Cox生存回归分析来解构节点角色和网络结构特征对虚假信息的生存过程的影响。[结果/结论]粉丝数和微博数较小的用户所发布的虚假信息失效速度更快,虚假信息的转发数和评论数与失效速度负相关;讨论越激烈,互动越活跃,虚假信息被识别的概率越大;用户举报并不一定能立刻切断虚假信息的传播;当具有一定影响力的网络红人和媒体账号参与讨论时,虚假信息传播的可能性降低。

生成式人工智能与虚假信息传播:机理分析与核查建议

过去,人们总相信眼见为实。一张照片或一段视频,让受众相信自己看见了“正在发生”或“已经发生”的新闻现场。但随着技术的演进与迭代,照片可以用Photoshop等软件篡改,尤其是当前以ChatGPT、Midjourney、Runway、Sora为突出代表的生成式人工智能的涌现,迫使人们正视新闻的真实性及其价值,重估人工智能对其产生的影响。

改进的跨模态关联歧义学习的虚假信息检测方法研究

近年来,随着互联网及多媒体技术的迅猛发展,人们获取信息更加方便快捷,然而虚假信息在网络上的传播也日益严重,负面影响不断扩大。为了增强信息的可信度和欺骗性,虚假信息呈现多模态发展趋势,使得检测工作面临更大挑战。现有的多模态虚假信息检测方法大多关注多模态特征的形成,对于跨模态歧义和不同模态特征在检测中的贡献率的研究尚不完善,忽略了不同模态特征间固有差异性对虚假信息检测的影响。为解决该问题,提出了构建改进的跨模态关联歧义学习的虚假信息检测模型,通过对文本和图像特征进行跨模态歧义学习,利用歧义得分更新单模态与融合特征的权重,自适应地拼接单模态与融合特征;同时采用网格搜索动态分配文本、图像特征权重,提高检测准确率。在Twitter数据集上对该模型的有效性进行验证,其相比基线模型准确率提高了6%,相比未进行动态权重分配的检测方法性能提升了1.6%。

融合用户传播风险和节点影响力分析的虚假信息传播控制方法

在线社交网络中虚假信息传播蔓延成为当前网络空间安全治理面临的重要挑战。提出一种融合用户传播风险和节点影响力分析的虚假信息传播控制方法DDC-UPRNI(disinformation diffusion control method integrating user propagation risk and node influence analysis)。综合考虑虚假信息传播特征空间的多样性和复杂性,通过自注意力机制实现用户传播虚假信息行为维度、时间维度和内容维度特征的嵌入表示,运用改进的无监督聚类K-means++算法实现不同用户传播风险等级的自动划分;设计一种自适应加权策略实现对离散粒子群优化算法的改进,进而提出一种基于离散粒子群优化的虚假信息传播关键节点选取方法,用于从具有特定传播风险等级的用户节点集合中选取若干个具有影响力的控制驱动节点,从而实现精准、高效的虚假信息传播控制;基于现实在线社交网络平台上开展试验,结果表明,所提出的DDC-UPRNI方法与现有算法相比,在控制效果和时间复杂度等重要指标上具有明显优势。该方法为社会网络空间中的虚假信息管控治理提供重要参考。

信息质量视角下AIGC虚假信息问题及根源分析

[目的/意义]探讨AIGC中存在的各种虚假信息类型及其特征,对理解虚假信息产生的根源、减少AIGC中虚假信息的生成具有积极作用。[研究设计/方法]采用数据测试实验方法,立足于信息质量视角,通过采集AIGC系统一手的测试数据和收集二手的AIGC虚假信息来剖析AIGC虚假信息类型及特征;以人工智能语言模型的信息生成过程为着力点,探析AIGC中虚假信息生成的根源。[结论/发现] AIGC虚假信息主要包括事实性虚假和幻觉性虚假两种类型,事实性虚假信息主要集中在数据错误、作者作品错误、客观事实错误、编程代码错误、机器翻译错误五个方面,而幻觉性虚假信息主要集中在虚假新闻事件、虚假学术信息、虚假健康信息和偏见与歧视方面;AIGC虚假信息产生的根源与大规模语言模型、预训练数据集和人工标注三个要素有关。[创新/价值]采用了数据测试实验方法,并辅以二手数据的收集,全面分析了各种AIGC虚假信息的类型,并根据生成机理与表现形式将其划分为事实性虚假信息和幻觉性虚假信息,为AIGC虚假信息的进一步研究提供了理论基础。

美国涉华“虚假信息战”建构、演进与效应——以特朗普政府为例

“虚假信息战”正在成为当今国际竞争的主要权力斗争形式之一,特朗普政府涉华“虚假信息战”是颠覆美对华接触战略、构建全面竞争战略的重要手段与加速器。其主要路径是通过对西方主要信念、观念逻辑的异化解读与叙事,来定性中国发展模式、内外政策及战略与国际社会规范及美国战略利益的对立性、冲突性,构建敌对化的对华战略认知结构,顺势推动全面竞争战略。其具体表现形式是,用意识形态化的叙事诋毁中国改革开放成就,臆造中美互惠合作及人文交流的恶性意图,以华为与政府“情报合作”的虚妄假定为理由打压中国高科技企业在国际上的发展空间,用似是而非的材料夸大“一带一路”对美国的地缘政治挑战,削弱“一带一路”的影响。由于中美不对称的国际话语结构及西方受众受其价值观的影响,涉华“虚假信息战”在凝聚西方疑华、遏华认知与对华竞争战略上取得了一定成效。对此,中国需要保持战略定力,坚持改革开放、和平崛起的总目标,提升对外“讲故事”的能力,争取一定程度上化解对中国的种种不实战略认知,重塑中国文明大国与国际社会贡献者的话语结构。

基于动态诚信因子的主从博弈抑制微电网虚假信息交易研究

为了解决微电网群内交互信息中存在的虚假信息问题,在考虑微电网(Microgrid,MG)诚信行为的基础上,文章提出了一种基于动态诚信因子的主从博弈电能交易机制。首先,以MG上报电量与实际交易电量为基准,建立奖惩机制,通过动态调整诚信因子来调节交易电价。其次,构建了一个以微电网群运营商(Microgrid Cluster Operator,MGCO)为领导、MG为跟随者的主从博弈模型。上层模型以最小化微电网群整体功率波动为目标,通过建立交易定价的合约机制,有针对性地调节群内交易电价;下层模型以MG运行费用最小为目标,根据群内交易电价动态调整自身购售电需求量,实现电能优化。最后,通过算例分析验证了该交易机制能够有效抑制微电网群内人为上报虚假信息的行为。

生成式人工智能的虚假信息风险特征及其治理路径

[目的/意义]生成式人工智能改变了网络空间的信息生成模式,由人工智能生成的虚假信息不仅数量庞大且有高拟真性,诱发严峻的虚假信息风险,亟须从把握发展与安全平衡的角度提出生成式人工智能虚假信息风险的治理方法。[方法/过程]归纳生成式人工智能的虚假信息现实问题和未来风险,提出生成式人工智能对现有虚假信息治理体系的挑战,进而明确生成式人工智能虚假风险的治理路径。[结果/结论]机制建设层面,建立虚假信息协同治理机制,通过战略规划统一“虚假信息”的规范概念,并传导至法律制度与网络信息内容执法实践获取。多元治理层面,鼓励多元主体参与事实核查工作,赋予信息发布与传播者以人工智能生成内容(AIGC)标识义务,并通过学校教育与资源渠道拓宽等措施提升公民信息素养。科技方法层面,从生成式人工智能科技底层降低虚假信息风险,并要求生成式人工智能服务提供者配备必要的虚假信息鉴别科技和获取渠道。

基于信息瓶颈理论的鲁棒少标签虚假信息检测

虚假信息检测对于维护网络舆情安全具有重要意义.研究表明,虚假信息在信息内容和传播结构上较真实信息具有显著不同.为此,近年来研究致力于挖掘信息内容和信息传播结构,提升虚假信息检测的精准性.然而,现实场景中虚假信息的标注往往需要大量地与官方报道等比照分析,代价较为昂贵,现有方法对标注信息的过分依赖限制了其实际应用.此外,虚假信息传播者可通过在评论区控评等手段恶意操纵虚假信息的传播,增加了虚假信息检测的难度.为此,基于信息瓶颈理论提出一种鲁棒少标签虚假信息检测方法,通过互信息最大化技术融合无标注样本信息,克服虚假信息检测对标签的过分依赖问题;并通过对抗训练的策略模拟虚假信息传播者的恶意操纵行为,基于信息瓶颈理论学习鲁棒的虚假信息表征,在高质量表征虚假信息的同时消除恶意操纵行为的影响.实验表明,该方法在少标签识别和鲁棒性2个方面均取得了优于基准方法的效果.

基于立场分析的脱离上下文虚假信息检测方法

随着基于人工智能的自动生成技术的发展,虚假信息以更具欺骗性的形式出现,对经济和社会秩序造成了巨大危害。脱离上下文虚假信息是最具欺骗性和最容易实现的虚假信息类型之一,恶意攻击者通过歪曲真实图像中的人物、事件、地点等上下文信息来增强虚假叙事的可信度。针对已有检测算法严重依赖知识库、未能全面考虑待检测信息与互联网证据之间的立场关系的问题,提出了一种基于立场分析的脱离上下文虚假信息检测方法。对于需要检测的图像-标题对以及在互联网上检索到的文本证据与视觉证据,该方法根据标题与文本证据中命名实体的共现关系,为每条文本证据计算一个立场增益分数;使用互相独立的立场分析网络对图像与视觉证据、标题与文本证据分别进行层次聚类,并完成基于多个注意力机制与立场分析模块的语义立场表征抽取;根据语义比较与立场分析的结果对图像-标题对的真实性进行预测。实验结果表明,得益于立场分析的引入,所提方法能够显著提高检测效果,相比其他使用互联网证据进行检测的最佳算法准确率提升了2.3%。

基于对比图学习的跨文档虚假信息检测

当前,网络上充斥着大量虚假信息,严重阻碍了社会各行业的正常运转,如何精准检测虚假信息成为了亟待解决的问题。现有研究主要从账户特征、文本内容和多模态3个角度开展工作,但大多忽视了虚假信息赖以传播的关键特征(即内容新奇性),仅是孤立地分析判别目标信息的真实性,未能把握舆论环境的特征。因此,提出了一种基于对比图学习的跨文档虚假信息检测方法(Contrastive Graph Learning,CAL),聚焦于内容新奇性,主要包含两个关键模块:对比学习模块和异构图模块。前者致力于扩大客观事实与虚假信息在向量空间中的表示差异性;后者包含实体、事件、事件集、句子和文档5种类型实体,尽可能向实体表示中注入舆论环境的语义特征。最后,在IED,TL17和Crisis这3个数据集上,在文档级和事件级这两个层次上开展了相关实验,CAL在所有测试中均取得了最优的结果,验证了所提方法的有效性。

生成式人工智能视域下虚假信息的层级化运作机理与治理

生成式人工智能在信息生产和传播中的应用促使信息秩序发生变迁,极大地便利了虚假信息的生成与传播。文章聚焦生成式人工智能视域下虚假信息的运行机理,主张对其实施层级化精准治理,即在创设层注重把关,以链式监测、分级管理的数据准入制度,共创新型把关进路,将虚假信息抑制在源头;在撒播层注重研判,消除对话界面所置入的虚假信息落点,并对创设层中浮现的虚假信息进行信息标签的显性呈现与数字水印的隐性嵌入,将虚假信息困囚于对话界面之中,形成扩散阻碍;在流通层注重处置,消除虚假信息的可见性,优化算法对虚假信息的自动化决策过程,借助政府、媒体等公共力量,释放真实透明的媒介信息,形成机动化的虚假信息遮蔽机制,强化信息治理效能。

生成式人工智能场景下虚假信息风险特殊性透视及应对

生成式人工智能改变了传统的信息生产机制而有广阔的应用场景,但其生成虚假信息速度快、逼真度高、无中生有的特征不仅放大了传统的虚假信息风险隐患,还使得信息信任风险成为虚假信息的重要风险类型,也使得社交媒体平台虚假信息治理防线有被全面突破的风险。对此,应基于生成式人工智能对虚假信息治理体系的挑战,从规范依据、虚假信息分类分级和实施部署方面着手推进虚假信息分级治理;应从应用准入、算法治理和训练数据质量管理方面强化虚假信息的源头治理;应从监管协同、义务细化和公私协同方面增强虚假信息的协同治理。