基于强化和模仿学习的多智能体寻路干扰者鉴别通信机制

现有的基于通信学习的多智能体路径规划(multi-agent path finding,MAPF)方法大多可扩展性较差或者聚合了过多冗余信息,导致通信低效。为解决以上问题,提出干扰者鉴别通信机制(DIC),通过判断视场(field of view,FOV)中央智能体的决策是否因邻居的存在而改变来学习排除非干扰者的简洁通信,成功过滤了冗余信息。同时进一步实例化DIC,开发了一种新的高度可扩展的分布式MAPF求解器,基于强化和模仿学习的干扰者鉴别通信算法(disruptor identifiable communication based on reinforcement and imitation learning algorithm,DICRIA)。首先,由干扰者鉴别器配合DICRIA的策略输出层识别出干扰者;其次,在两轮通信中分别完成对干扰者与通信意愿发送方的信息更新;最后,DICRIA根据各模块的编码结果输出最终决策。实验结果表明,DICRIA的性能几乎在所有环境设置下都优于其他同类求解器,且相比基线求解器,成功率平均提高了5.2%。尤其在大尺寸地图的密集型问题实例下,DICRIA的成功率相比基线求解器甚至提高了44.5%。

电影智能化制作新机遇:CVPR 2024多模态技术发展综述

为了探讨电影智能化制作新机遇,本文深入分析2024年国际计算机视觉与模式识别会议(CVPR)中多模态领域前沿技术成果。具体而言,本文聚焦视觉、文本和音频三个模态的研究与多模态技术在电影制作领域的重要应用:视频生成、视频编辑和预告片剪辑技术,视频描述生成和视频内容解读技术,以及声画同步、音效生成和视频配乐技术。研究表明,电影制作过程与多模态技术的融合应用不仅大幅提高制作效率,也将显著增强艺术表现力。最后,本文总结了当前面临的多模态技术挑战,并展望了相关技术在未来电影制作中的发展方向。

基于深度条件扩散模型的零样本文本驱动虚拟人生成方法

虚拟人生成技术对于虚拟现实和影视制作等领域有重要意义。针对现有虚拟人生成需要大量数据和制作成本等问题,提出一种基于扩散模型的零样本文本驱动的三维虚拟人生成方法,包括条件人体生成和迭代纹理细化2个阶段。第一阶段,首先利用神经网络初始化三维人体的隐式表示,然后,使用一个基于文本提示的深度条件扩散模型来引导神经隐式场生成用户所需的虚拟人模型。第二阶段,利用扩散模型进行去噪还原,针对第一阶段人体模型提供的纹理先验进行高精度的纹理图推理更新,进而迭代细化虚拟人的纹理表示,生成最终结果。使用该方法,用户可以创建一个生动的具有任意文本描述的虚拟人,而无需使用任何参考照片。实验结果表明,该方法可以在给定的文本提示条件下生成具有真实感的高质量、生动的虚拟人。

基于多粒度注意力Transformer的电影音乐生成研究

电影音乐自动生成是当前人工智能领域的研究热点之一,不少深度学习音乐生成算法可实现动听的电影配乐生成,但这些算法在生成过程中往往忽略了流派等风格控制。针对这一情况,本文提出了一种基于多粒度注意力Transformer的电影音乐生成方法,可根据目标流派从零生成音乐。本方法在引入多粒度注意力Transformer建模音乐结构的基础上,引入了对抗学习机制,通过具有流派分类损失和生成对抗损失的流派辅助分类判别器,加强模型对流派信息的控制。在所构建的包含流派信息的符号音乐数据集上进行的主客观实验表明,本文方法在生成音乐质量和流派控制方面均优于以往方法,有助于基于目标流派自动生成电影配乐。

基于深度神经网络的烟码智能识别方法

卷烟条码是烟草局对卷烟是否串货销售的主要判断依据,针对当前人工录码方式操作烦琐、效率低、成本高的问题,提出一种基于深度神经网络的烟码智能识别方法.首先通过迁移学习技术构建区域检测模型,实现对烟码区域的准确定位;然后采用基于角点检测的切割算法将烟码区域切分为待识别的小块;再构建字符识别模型,对小块进行多字符识别;最后按顺序拼接各小块的识别结果输出完整烟码.实验结果表明,该方法准确率高、运行速度快,能够替代人工录码方式,满足实际应用需求.

多尺度空间特征引导的服装关键点检测方法

为了提高服装关键点检测的准确率,提出一种多尺度空间特征引导的服装关键点检测方法.首先,借鉴深度可分离卷积的思想,构建空间特征引导的注意力模块,在增强网络流中空间特征的同时,强化不同特征通道之间的信息交互;其次,将注意力模块嵌入HRNet网络的多个尺度上,在每个尺度上对输入特征的空间信息进行细粒度建模,从而更精确地定位关键点;然后,利用无偏数据增强方法,将数据从离散空间转换到连续空间,减小关键点检测过程中的量化误差;最后,采用由粗到细的训练策略,在提高关键点检测准确率的同时,大幅减少计算量.所提方法在DeepFashion2数据集的服装关键点检测任务中达到67.4%的准确率,超过文中对比方法.

基于LD特征引导NeRF的可操控语音驱动人脸重演

语音驱动的人脸重演的目标是通过输入一段任意语音,驱动目标人物重演相应表情。现有方法无法仅以一段自然场景下视频作为训练素材,实现可操控的高保真语音驱动人脸重演,为此,提出了一种基于LD特征的语音驱动人脸重演方法。首先,对输入视频进行人脸对齐,检测人脸关键点并提取LD特征;然后,通过音频特征提取模块将输入音频映射为一段64维的潜码,构建基于多层感知机的编码器和解码器,由解码器将潜码解码为LD特征后,通过编码器将其还原为潜码表示;接着,将更新后的潜码输入基于网格的NeRF获得采样点密度和颜色,通过体绘制输出头部重演RGB帧;同时,将姿势输入身体变形模块,合成重演帧的身体部分。实验结果证明,方法能够根据输入语音内容生成高保真重演结果,并且在重演过程中能够对目标人物的面部表情进行个性化控制。

深度特征融合的头发属性转移方法

针对现有的属性转移方法无法有效地转移头发属性这一问题,提出一种深度特征融合的头发属性转移方法.该方法包括特征提取、属性向量获取和图像合成3个子网络.首先从特征提取网络中提取原图像特征,添加重构损失保持原图像的身份不变;然后在属性向量获取网络中构建头发特征与头发属性的映射模型,得到属性向量;最后将原图像特征与属性向量融合输入到合成网络,生成最终结果.在FFHQ数据集上进行了多种属性转移实验,结果表明,所提方法可以有效地转移头发属性,生成高分辨率的结果.大量在Celeba数据集上进行的实验结果表明,与现有的主流属性转移方法相比,所提方法可以取得更好的视觉效果.

时序对齐视觉特征映射的音效生成方法

针对目前视觉引导的音效生成方法存在的保真度低、时序对齐效果差等问题,提出一种基于时序对齐视觉特征映射的音效生成方法.首先,设计基于时序约束的特征聚合窗口,将视频序列滑动整合为视觉特征集合;其次,构建时空匹配的跨模态视音频特征映射网络,将视觉特征集合转换为多频段音频特征;最后,采用音频解码器将音频特征解码为梅尔频谱,再使用声码器将其转换为最终波形.在VAS数据集上进行定性与定量实验,实验结果表明,与现有方法相比,文中方法在语音质量感知评估、发声点平均偏移量以及人工评估方面均有显著提升,其中,发声点平均偏移量平均降低至0.2 s.

土壤重金属快速监测技术分析及应用

土壤重金属污染严重影响到人们的健康,需要做好土壤重金属污染的检测工作。本文对土壤重金属快速监测方法进行研究,并对土壤重金属快速监测仪器展开探讨。

基于生成对抗网络的HDR图像风格迁移技术

针对高动态范围(high dynamic range,HDR)图像较为复杂耗时的合成流程,提出一种基于生成对抗网络的HDR图像风格迁移技术.首先,构建两个生成对抗网络的训练集:普通图片与低曝光HDR图片,普通图片与高曝光HDR图片;然后,通过生成对抗网络训练,得到普通图片到低曝光HDR图片和普通图片到高曝光HDR图片两个生成模型;最后,将模型输出的高低曝光图像和原图合成HDR文件,再通过色调映射形成最终HDR风格迁移后的图像.实验结果表明,这种方法不仅有效解决了HDR图像风格迁移问题,也充分表明了生成对抗网络在图像编辑中的优越性.

交互式前景抠图技术综述

交互式前景抠图技术是在有限的用户交互下将前景从图像或视频中分离出来.文中综述了近年来主要的图像及视频交互式抠图方法,并就采样和传播、测地距离等不同类型的方法进行性能分析;然后在具体的例子中讨论了这些算法的优点和局限性;最后就抠图技术今后的发展和关键问题进行了总结.

协同学习环境中感知本体的构建方法

为了对协同学习环境中的感知信息进行合理、有效的组织,提出了协同学习环境中的感知本体模型,其中包含成员概念、成员组概念、角色概念、知识域概念、事件概念、活动概念六个方面以及概念内部及概念之间的各种关系,可有效解决传统感知信息组织能力受限、维护困难的问题,最大程度地提高协同学习效率.此外,在此模型的基础上提出了一种基于N-Grams的知识域相关关系提取方法,可以自动精确地提取相关关系,适合动态的感知信息处理.

供应链中的Web数据库通用交互方式

针对目前Internet上各种数据库访问方法存在的缺点 ,本文提出了一种新型的通用Web数据库访问模型 ,并阐述了在企业物流管理供应链中的应用方案 ,为供应链的计算机网络数据传输提供了新的解决途径。

Web数据库通用访问方式在供应链管理中的应用

针对目前Internet上各种数据库访问方法存在的缺点 ,提出了一种新型的通用Web数据库访问模型 ,并阐述了在企业物流管理供应链中的应用方案 ,为供应链的计算机网络数据传输提供了新的解决途径。

关于人文社会科学学科建设的初步思考

科学文化与文学文化的不同发展方式与差异一直客观存在,也导致了学术资源和学术主导权的纷争,伴随社会经济的发展,不轻视和偏废任何一种科学才是走向人类文明的必然之路。近年来,中国连续出台系列繁荣与发展人文社会科学领域的重要政策,研究队伍日益壮大、科研资助力度不断增强。借鉴国内外一些知名高校的文科发展历史和国内部分高校的改革动向,西安交通大学提出构建"交大特色、交大风格、交大气派"的人文社会科学体系,深化体制机制改革;加强学科布局,健全学科体系;汇聚高端人才;实施重大研究课题引导计划;搭建转化交流平台;改革经费管理制度等改革举措。

颜色协调的鲁棒式图像克隆

图像克隆一直是图像编辑中的重要组成部分,概括来说有基于透明度分量的、基于梯度域的、基于坐标的3种图像克隆方法,但图像克隆领域中存在的颜色不协调和边界失真问题一直没有得到很好的解决。为了缓解基于均值坐标克隆方法中的颜色不协调问题,提出一种基于局部亲和力传播的图像克隆方法,亲和力综合考虑了像素点与边界的坐标距离、颜色距离以及该点颜色在边界颜色分布中的概率,以此来缓解失色,达到颜色协调。亲和力还可以检测出真正感兴趣对象的边界,用它来约束边界插值,可以有效缓解边界失真,使得克隆更加鲁棒,最后的实验结果表明该方法能得到令人满意的结果。

YⅡ-T型预应力混凝土轨枕用螺旋肋钢丝研制

阐述了YⅡ -T型预应力混凝土轨枕用 6 25mm螺旋肋钢丝设计的指导思想。对螺旋导程、螺旋肋高及肋宽进行了优化 ,提高了钢丝与混凝土的握裹性能 ,通过调整原材料成分 ,改进生产工艺 ,使成品钢丝具有优良的表面质量、力学性能、疲劳性能和低温性能 ,满足了YⅡ

基于半监督聚类的微视频标注方法

针对微视频语义标注问题,提出一种基于半监督聚类的微视频标注方法。从事件驱动的角度,以镜头事件为单位,用事件组来标注微视频。进一步构造半监督K-means聚类算法,优化目标函数,使得最终的聚类结果既体现类间的低耦合及类内的高聚合,又体现类内局部的数据分布密度。该聚类算法实现了诸如微视频等多属性异构数据的聚类,提高了微视频标注效果。实验结果表明,所提微视频标注方法具有很强的语义表达能力,该聚类方法也具有很强的聚类准确度。

联盟式协同学习环境中的共享知识空间模型

为使多个学习网站共享学习资源,提出远程协同学习网站联盟的概念.在嵌套式知识空间模型的基础上,提出共享知识空间模型,对联盟内各网站的学习资料进行统一组织,形成共享知识空间.运用该模型,实现了协同学习网站联盟.系统运行结果表明:该模型以共享知识域为主干,较好地解决了“学习者容易迷失方向”的问题;联盟内各网站的学习者能通过定制知识空间透明地访问联盟内其他网站的资源,从而实现了资源共享,同时也满足了各网站的个性化需求.