人工智能驱动的复杂系统研究前沿

作为一个研究对象涵盖基本物质、生命体和社会的跨学科研究领域,复杂系统的研究有助于增进对自然和社会现象的理解和预测,在解决人类面临的复杂问题中具有重要价值。这一领域的早期研究积累了海量的各类真实复杂系统数据,在此基础上发展数据密集型、人工智能方法驱动的复杂性科学研究新范式,将为复杂系统的描述、预测与知识发现提供一条全新的路径。该文对人工智能驱动的复杂系统研究进行前瞻性的综述,探讨人工智能助力下的复杂系统研究发展前沿,并分析基于人工智能方法的领域代表性工作,最后讨论复杂系统视角下人工智能理论及技术的潜在发展方向。

基于多阶近邻约束的深度不完整多视图聚类方法

多视图聚类是重要的无监督学习方法之一,然而在实际应用中很难获取完整的多视图数据,导致不完整多视图聚类问题.大多数已有的不完整多视图聚类方法只考虑了视图的属性信息,而忽视了数据结构信息对聚类的影响,使提取的特征不能充分表示原始数据的潜在结构.针对以上问题,提出一种基于多阶近邻约束的深度不完整多视图聚类方法.首先,利用具有自注意力机制的深度自编码器获取带有视图间信息交互的深层次隐含特征,并采用加权融合的方式获取视图的公共语义信息;然后,对于不完整多视图中的缺失数据,利用多视图的公共表示进行补全;最后,提出一种多阶近邻约束机制,该机制考虑不完整多视图数据的深层结构信息,利用多视图的互补性构建近似完整的近邻图,引导编码器学习更紧致、更有判别性的高级语义特征.在公共数据集上的实验结果证明了所提方法的有效性.

动态有权图上的随机游走概率计算

图上的随机游走概率计算是传统图论与现代数据挖掘领域普遍关注的问题之一.现有工作普遍关注静态图上的随机游走概率计算,却鲜少关注与实际应用场景更贴合的权重动态图.针对动态有权图上的随机游走概率计算问题,提出了一种基于硬币翻转采样的随机游走概率计算方法.相比于传统的基于权重采样的随机游走概率计算方法,所提方法可以在保证随机游走概率计算结果无偏的前提下,同时做到近似最优的随机游走概率计算复杂度和最优的采样结构更新复杂度.作为对比,现有方法或具有较大的计算时间复杂度,或依赖于复杂的索引结构而难以在动态图上即时更新.对所提方法做出了详细的理论分析,并在真实图数据集上进行模拟实验,实验结果证实了所提方法的有效性.

加速度-位移关系的贝叶斯推理方法

动力位移是地震工程、军事武器设计和结构健康监测等领域重要的物理量,但在实际测试过程中,通常能直接量测的只有振动加速度信号。由于受环境等不确定性测试条件影响,加速度信号不可避免地含有低频和高频噪声,导致在加速度积分过程中,速度和位移时程会产生较为明显的漂移现象。基于贝叶斯理论框架,构建了动力位移贝叶斯学习识别方法,针对不同噪声工况(白噪声、人工噪声)反演获取了位移响应,识别出的动力位移与解析位移基本一致;利用大型振动台试验数据,对比了不同性能加速度传感信号反演的位移,并分析了其不确定性。结果表明:该动力位移贝叶斯学习识别方法在加速度-位移关系表征方面具备一定的优势,可不依赖对加速度信号的处理实现位移求解,从而避免了噪声累积误差导致的位移积分失真。

物理驱动深度学习波动数值模拟方法及应用

近年来,物理先验融合数据的深度学习方法求解以偏微分方程为理论基础的正反演问题已成为交叉学科热点.针对地震工程波动数值模拟,本文阐明了物理驱动深度学习方法PINN的数学概念及实现方式,以无源项一维波动为例,开展了相关理论模型构建,并与解析解及有限差分方法进行对比,分析了PINN方法与其他数值算法模拟波场的相对范数误差,验证了物理驱动深度学习方法求解波动问题的可行性.采用物理驱动深度学习方法并结合谱元法形成的稀疏初始波场数据,开展了二维波动数值模拟,实现了自由边界条件及起伏地表等典型工况的模拟,并给出了时序波场分布特性.更换不同的初始条件,测试了神经网络的泛化精度,提出可显著提高网络训练效率的迁移学习方法.通过与谱元法的结果对比,验证了本文方法模拟均质场地、空间不均匀及复杂地形场地波动问题的可靠性.结果表明,物理驱动深度学习方法具备无网格、精细化模拟等优势,并可实现自由地表及侧边界波场透射等数值模拟条件.

AIGC时代网络信息内容的法律治理——以大语言模型为例

大语言模型是发展人工智能生成内容(AIGC)最为关键的技术之一。它在推动AIGC发展的同时,也会带来生成违法和不良信息的风险。大语言模型生成违法和不良信息的原因较为复杂,造成的风险程度更为严重,因而给网络信息内容的法律治理带来挑战。为此,中国在立法上细化相关主体在网络信息内容生成过程中的义务,新增对人工智能生成内容进行标识的义务,但相关规则仍存在着继续完善的空间。未来,中国应进一步明确人工智能生成内容致害的侵权责任规则,确定侵权责任的主体和归责原则,基于现行法构造合理的解释论;合理界定网络信息内容服务平台对内容的注意义务,将AIGC技术发展和产业状况纳入考量因素;完善对人工智能生成内容进行标识的要求,区分场景规定不同的标识要求,增加服务使用者和内容传播者的标识义务。

基于多任务学习的位置倾向性得分预测算法

用户搜索时产生的点击数据分布,在不同的搜索场景下存在较大差异.现有算法如融合上下文的位置模型(contextual position based model,CPBM)往往只通过单个模型预测多种场景下的位置倾向性得分,不可避免地降低了模型在不同场景下的预测准确性,影响去除位置偏置的效果.基于上述问题提出一种基于多任务学习的多门专家混合位置倾向性得分预测模型(multi-gate contextual position based model,MCPBM),在CPBM模型的基础上加入信息筛选结构,解决了多场景数据联合训练时预测准确性不佳的问题.同时,为了缓解不同任务收敛速度不一致的问题,提出了指数加权平均权重动态调整算法,在加速模型训练的同时提升了模型整体预测性能.实验结果表明提出的MCPBM模型在多场景数据联合训练时,预测准确性优于传统的CPBM;在使用MCPBM模型去除位置偏置后,基于生成的无偏数据训练得到的排序模型,在AvgRank排序指标上有1%~5%的提升.

多模态与文本预训练模型的文本嵌入差异研究

为了详细地分析文本单模态预训练模型RoBERTa和图文多模态预训练模型WenLan文本嵌入的差异,提出两种定量比较方法,即在任一空间中,使用距离一个词最近的k近邻词集合表示其语义,进而通过集合间的Jaccard相似度来分析两个空间中词的语义变化;将每个词与其k近邻词组成词对,分析词对之间的关系。实验结果表明,图文多模态预训练为更抽象的词(如成功和爱情等)带来更多的语义变化,可以更好地区分反义词,发现更多的上下义词,而文本单模态预训练模型更擅长发现同义词。另外,图文多模态预训练模型能够建立更广泛的词之间的相关关系。

基于多域VQGAN的文本生成国画方法研究

随着生成式对抗网络的出现,从文本描述合成图像最近成为一个活跃的研究领域.然而,目前文本描述往往使用英文,生成的对象也大多是人脸和花鸟等,专门针对中文和中国画的研究较少.同时,文本生成图像任务往往需要大量标注好的图像文本对,制作数据集的代价昂贵.随着多模态预训练的出现与推进,使得能够以一种优化的方式来指导生成对抗网络的生成过程,大大减少了对数据集和计算资源的需求.提出一种多域VQGAN模型来同时生成多种域的中国画,并利用多模态预训练模型WenLan来计算生成图像和文本描述之间的距离损失,通过优化输入多域VQGAN的隐空间变量来达到图片与文本语义一致的效果.对模型进行了消融实验,详细比较了不同结构的多域VQGAN的FID及R-precisoin指标,并进行了用户调查研究.结果表示,使用完整的多域VQGAN模型在图像质量和文本图像语义一致性上均超过原VQGAN模型的生成结果.

融合法律文本结构信息的刑事案件判决预测

近年来,法律领域的智能化引起了学界的广泛关注。选取法律领域中十分重要的法律判决预测任务作为研究重点,法律判决预测包含推荐相关法条、定罪和刑期预测等三个子任务。随着深度学习在各个领域的广泛应用,一些研究者将深度学习方法引入法律判决预测任务并取得了较好的效果。现有基于深度学习的法律判决预测方法通常是通过构建案情描述和法条之间的注意力来提升模型预测能力,或者利用三个法律判决预测子任务间的关系来提升整体的性能。但是这些工作未考虑法律文本中的多层层次化信息,如刑法第三百九十七条包含职务侵占罪和玩忽职守罪,其法条大类是渎职罪,并且每个罪行有不同的刑期。针对该问题,考虑引入法律文本的多层层次化信息用于法律判决预测任务。具体来说,对法律文本的多层结构信息进行预处理,并利用协同注意力机制将法条的多层信息融入到案情描述中,得到每个子任务的融合不同层次的法律信息的案情描述表示,从而提升司法判决预测任务的性能。在真实的法律判决预测任务公开的数据集上进行了实验,结果显示提出的融合法律文本多层结构信息的模型在法律判决预测任务上优于当前最好的模型。对法律智能化的未来和发展进行了展望。

基于HVSR谱比动态聚类的海域场地特性研究

海域场地工程特性是海洋重大工程设计、建造、运维的重要基础,也是岩土地震工程的研究热点。收集了日本相模湾海域2000~2018年间6个海底台站的强地震动记录,筛选、前处理后采用Horizontal-to-vertical spectral ratio(HVSR)方法计算了各条记录的傅里叶振幅谱比值。通过动态聚类学习结合最优化分类,获取了相模湾海底台站的最优场地特性。结果表明,动态聚类学习方法针对时序型数据的聚类性能及鲁棒性强,可满足局部及全局分辨率;相模湾海区中台站场地环境可宏观分为海底峡谷区及海洋盆地区,其中峡谷区场地卓越周期显著小于盆地区,且高频衰减较缓;通过局部场地地形坡度,给出了海洋场地工程特性。研究成果可为海域地震动模拟、海洋工程建设等提供参考。

ACRank:在神经排序模型中引入检索公理知识

传统的信息检索(Information Retrieval,IR)是知识驱动的方法,如以BM25、LMIR等为代表的检索模型在设计过程中考虑词频、逆文档频率、文档长度等关键因素计算查询-文档的相关性得分.这些关键因素被总结为IR公理,在传统模型的设计和评价中起到了至关重要的作用.如词频规则认为有更多查询词的文档更相关.与之相对,数据驱动的神经排序模型基于大量的标注数据与精巧的神经网络结构自动学习相关性评分函数,带来了显著的排序精度提升.传统IR公理知识是否能用来提升神经排序模型的效果是一个值得研究的重要问题且已有学者进行了初步探索,其首先通过公理指导增强数据生成,然后利用生成的标注数据直接训练神经网络.但IR公理的形式是通过比较匹配信号的强弱给出两个文档间相对的相关关系,而非直接给出文档的相关度标签.针对这一问题,本文提出了一种通过对比学习将IR公理知识引入神经排序模型的框架,称为ACRank.ACRank利用信息检索公理生成增强数据,抽取不同文档的匹配信号,利用对比学习拉开匹配信号间差距,使正样本匹配信号强于负样本,通过上述方式,ACRank将IR公理知识自然地融入到数据驱动的神经排序模型中.ACRank作为通用框架,可应用于不同规则,本文选择词频规则进行实验,基于大规模公开数据集上的实验结果表明,ACRank能够有效提升已有神经检索模型如BERT的排序精度,相关分析实验验证了该框架的有效性.

基于稳定性分析的非凸损失函数在线点对学习的遗憾界

点对学习(pairwise learning)是指损失函数依赖于2个实例的学习任务.遗憾界对点对学习的泛化分析尤为重要.现有的在线点对学习分析只提供了凸损失函数下的遗憾界.为了弥补非凸损失函数下在线点对学习理论研究的空白,提出了基于稳定性分析的非凸损失函数在线点对学习的遗憾界.首先提出了一个广义的在线点对学习框架,并给出了具有非凸损失函数的在线点对学习的稳定性分析;然后,根据稳定性和遗憾界之间的关系,对非凸损失函数下的遗憾界进行研究;最后证明了当学习者能够获得离线神谕(oracle)时,具有非凸损失函数的广义在线点对学习框架实现了最佳的遗憾界O(T-^(1/2)).

高维地理空间回归模型的惩罚似然估计与模型选择

在有限维参数刻画的误差空间协方差矩阵下,针对带有高维协变量的地理空间线性回归模型的变量选择和参数估计,提出了基于惩罚最小二乘的自适应惩罚最大似然估计算法。给出了维数发散时的两种类型的理论性质刻画——分别是维数发散,但比样本量小时的参数估计的误差收敛速度和稀疏相合性;在维数远远大于样本量时,使用了“主项-对偶项见证”(prime-dual witness)技术得到高维时(p>>n)的非渐近结果的误差收敛速度和模型选择符号相合性。我们发现,在对空间相关矩阵假定某个类(如Matern类)时,若该类待估参数个数有限,则高维协变量的模型选择和参数估计的结果与样本独立时的结果是一致的。通过随机模拟证明了本文使用的坐标下降求解算法的有效性。在一个世界范围内69家实验室的拟南芥的基因型(SNP)与花开时长等表型数据上应用了本文方法进行花开时长表型预测,验证了方法的适用性和优越性。

基于神经正切核的多核学习方法

多核学习方法是一类重要的核学习方法,但大多数多核学习方法存在如下问题:多核学习方法中的基核函数大多选择传统的具有浅层结构的核函数,在处理数据规模大且分布不平坦的问题时表示能力较弱;现有的多核学习方法的泛化误差收敛率大多为O(1/√n),收敛速度较慢。为此,提出了一种基于神经正切核(NTK)的多核学习方法。首先,将具有深层次结构的NTK作为多核学习方法的基核函数,从而增强多核学习方法的表示能力。然后,根据主特征值比例度量证明了一种收敛速率可达O(1/n)的泛化误差界;在此基础上,结合核对齐度量设计了一种全新的多核学习算法。最后,在多个数据集上进行了实验,实验结果表明,相比Adaboost和K近邻(KNN)等分类算法,新提出的多核学习算法具有更高的准确率和更好的表示能力,也验证了所提方法的可行性与有效性。

神经正切核K-Means聚类

针对K‑Means聚类算法利用均值更新聚类中心,导致聚类结果受样本分布影响的问题,提出了神经正切核K‑Means聚类算法(NTKKM)。首先通过神经正切核(NTK)将输入空间的数据映射到高维特征空间,然后在高维特征空间中进行K‑Means聚类,并采用兼顾簇间与簇内距离的方法更新聚类中心,最后得到聚类结果。在car和breast‑tissue数据集上,对NTKKM聚类算法的准确率、调整兰德系数(ARI)及FM指数这3个评价指标进行统计。实验结果表明,NTKKM聚类算法的聚类效果以及稳定性均优于K‑Means聚类算法和高斯核K‑Means聚类算法。NTKKM聚类算法与传统的K‑Means聚类算法相比,准确率分别提升了14.9%和9.4%,ARI分别提升了9.7%和18.0%,FM指数分别提升了12.0%和12.0%,验证了NTKKM聚类算法良好的聚类性能。

悟道·文澜:超大规模多模态预训练模型带来了什么?

提出了悟道·文澜的BriVL双塔模型。该模型利用6.5亿对互联网图文数据,通过自监督的任务来训练,是目前最大的中文通用图文预训练模型。同时,还提出了悟道·文澜的多语言多模态预训练单塔模型—MLMM。实验结果证明,这两个模型在多个国际公开数据集上均取得了最佳性能。设计了实验并讨论超大规模多模态预训练模型对文本编码、图像生成和图文互检带来的影响,以及文澜模型的落地应用与学科交叉成果。

用户新闻信息浏览行为和感知价值研究

随着互联网技术的发展,用户信息行为的研究越来越受到重视,浏览行为是用户信息行为的重要组成部分,浏览行为的研究对提升用户体验具有重要意义。以今日头条用户为研究对象,基于顾客感知价值理论,使用访谈法与问卷调查法相结合的方法,探索影响用户浏览新闻的行为的因素。研究发现,用户在移动端浏览新闻场景下,只有实用价值对新闻浏览行为正向影响显著。由于今日头条新闻平台与其他新闻客户端具有较高的相似性,因此结论可以推广。对于新闻创作者和平台运营者来说,要着重提升内容质量并减少无用信息,注重新闻内容的真实性可靠性。

面向用户偏好建模的个性化对话推荐算法

推荐系统的目标是从物品数据库中,选择出与用户兴趣偏好相匹配的子集,缓解用户面临的“信息过载”问题。因而近年来推荐系统越来越多地应用到电商、社交等领域,展现出巨大的商业潜力。传统推荐系统中,系统对用户的认知往往来源于历史交互记录,例如点击率或者购买记录,这是一种隐式用户反馈。对话推荐系统能够通过自然语言与用户进行多轮对话,逐步深入挖掘其兴趣偏好,从而向对方提供高质量的推荐结果。相比于传统推荐系统,对话推荐系统主要有两方面的不同。其一,对话推荐系统能够利用自然语言与用户进行语义上连贯的多轮对话,提升了人机交互中的用户体验;其二,系统能够询问特定的问题直接获取用户的显式反馈,从而更深入地理解用户兴趣偏好,提供更可靠的推荐结果。目前已经有不少工作在不同的问题设定下对该领域进行了探索,然而尽管如此,这些工作仍仅局限于关注当前正在进行的对话,忽视了过去交互记录中蕴涵的丰富信息,导致对用户偏好建模的不充分。为了解决这个问题,本文提出了一个面向用户偏好建模的个性化对话推荐算法框架,通过双线性模型注意力机制与自注意力层次化编码结构进行用户偏好建模,从而完成对候选物品的排序与推荐。本文设计的模型结构能够在充分利用用户历史对话信息的同时,权衡历史对话与当前对话两类数据的重要性。丰富的用户相关信息来源使得推荐结果在契合用户个性化偏好的同时,更具备多样性,从而缓解“信息茧房”等现象带来的不良影响。基于公开数据集的实验表明了本文方法在个性化对话推荐任务上的有效性。

模仿排序学习模型

文档排序一直是信息检索(IR)领域的关键任务之一。受益于马尔科夫决策过程强大的建模能力,以及强化学习方法强大的求解能力,近年来基于强化学习的排序模型被提出并取得了良好效果。然而,由于候选文档中会包含大量的不相关文档,导致基于"试错"的强化学习方法存在效率低下的问题。为解决上述问题,该文提出了一种基于模仿学习的排序学习算法IR-DAGGER,其基于文档标注信息构建专家策略,在保证文档排序精度的同时提高了算法的学习效率。为了测试IR-DAGGER的性能,该文基于面向相关性排序任务的OHSUMED数据集和面向多样化排序的TREC数据集进行了实验,实验结果表明IR-DAGGER在上述两个数据集上均提升了文档排序的精度和效率。