跨模态目标重识别研究综述

目标重识别(ReID)技术旨在匹配不同区域摄像头在不同时间拍摄到的同一目标,其核心是通过目标间的细粒度差异实现不同目标的有效区分。因此,目标重识别技术被广泛应用于安防布控、刑侦监控等领域并发挥了重要作用。传统的目标重识别技术通常适用于光照条件良好情况下的可见光模态数据,但在处理黑夜低光照条件下的目标重识别任务时,其性能通常受到严重限制。红外摄像机因其卓越的夜视性能,通常被应用于在低光照条件下采集目标红外图像。因此,跨模态目标重识别技术旨在通过可见光图像匹配红外图像,实现全天候不间断的目标重识别。近年来,跨模态目标重识别技术取得了很大进展,然而,对于现有模型的归纳总结及深入分析仍然欠缺。为此,对跨模态目标重识别领域的相关研究和新颖方法进行了深入调研和总结,讨论了现有方法在实际场景中面临的挑战,并从模型分类和模型评价两个方面对现有方法进行归纳与分析。首先,围绕跨模态目标重识别问题的研究难点,将跨模态目标重识别分为生成式方法和非生成式方法两大类;然后,对当前跨模态重识别领域中广泛使用的评测数据集以及相关评价指标进行了综述与总结;最后,讨论了跨模态重识别领域仍然存在的挑战并对未来发展趋势进行了展望。

文本到视频生成:研究现状、进展和挑战

文本到视频生成旨在根据用户给定的文本描述生成语义一致、内容真实、时序连贯且符合逻辑的视频。该文首先介绍了文本到视频生成领域的研究现状,详细介绍了3类主流的文本到视频生成方法:基于循环网络与生成对抗网络(GAN)的生成方法,基于Transformer的生成方法和基于扩散模型的生成方法。这3类生成方法在视频生成任务上各有优劣:基于循环网络与生成对抗网络的生成方法能生成较高分辨率和时长的视频,但难以生成复杂的开放域视频;基于Transformer的生成方法有能力生成复杂的开放域视频,但受限于Transformer模型单向偏置、累计误差等问题,难以生成高保真视频;扩散模型具有很好的泛化性,但受制于推理速度和高昂的内存消耗,难以生成高清的长视频。然后,该文介绍了文本到视频生成领域的评测基准和指标,并分析比较了现有主流方法的性能。最后,展望了未来可能的研究方向。

刘兵:计算机技术可以解决的六个问题

2020 CCF未来计算机教育峰会上,美国伊利诺伊大学芝加哥分校杰出教授、北京大学王选计算机研究所讲席教授刘兵做了题为《在线教育:可能是计算机技术发展的一个黄金时机》的观点报告。刘兵认为,新冠疫情永久性地改变了全世界传统的教学和工作方式,这是一个历史时刻。计算机专业的专家、教授们应抓住这一机遇,从以下几个方面为全球的教育事业做出贡献。

摩尔纹图案自动去除技术综述

如今,数码相机和智能手机在人们的生活中扮演着越来越重要的角色,已经成为人们感知世界、记录信息和沟通交流的主要工具.当使用这些设备拍摄电子屏幕时,显示设备和摄像头传感器网格之间往往会发生混叠,通常导致图片中存在不规则分布的摩尔纹干扰图案,从而严重影响了拍摄图像的视觉质量效果.因此,摩尔纹图案去除方法研究对于拍摄图像的后期处理具有重要意义.为此,详细梳理了摩尔纹去除研究的发展脉络,并根据不同的适用场景和技术实现将现有方法分为2类:基于先验知识的摩尔纹去除方法和基于深度学习的摩尔纹去除方法.鉴于深度学习网络中训练数据集的收集和对齐方式不同,该类方法又分为基于卷积神经网络(CNN)的摩尔纹去除方法和基于生成式对抗网络(GAN)的摩尔纹去除方法.在此基础上,选择相同的公开数据集,对主流的深度学习方法进行算法实现和性能对比分析,并分别总结了各类方法的优缺点.最后,对未来的研究方向进行展望.

一种高精度图像套准系统的设计与实现

在数字印后工艺生产中,介质传送误差常导致套准困难,通常需要对印刷品进行精确定位。目前,常用的定位方法是在印刷品空白处加入套印标识物,通过检测标识物进行定位。然而,这种方法在图像幅面占据整个印刷品幅面时无法使用。为了解决这一问题,本研究设计并实现了一套高精度智能图像套准系统,在保证图像采集与印刷的实时性与效率的同时,通过利用预先设计好的模板,在实时采集的图像中寻找匹配程度最高的区域,从而在印刷品中未加入套印标识的情况下,仍可实现印刷套准。印刷生产环境中实验结果表明,本方法的准确性和效率等均可满足实际工业生产的需求,具有较高的泛用性与实际的生产应用价值。

基于HRED模型的中文多轮对话任务方法研究

多轮对话任务是自然语言处理中最具有实用价值的技术之一,该任务要求系统在产生通顺回答语句的同时能够照顾到上下文信息。近年来,出现了一大批以HRED(hierarchical recurrent encoder-decoder)模型为基础的多轮对话模型,其运用多层级的循环神经网络来编码上下文信息,并在Movie-DiC等英文对话数据集上取得了不错的结果。在2018年京东举办的中文多轮对话大赛中,京东向参赛选手公布了一批高质量的真实客服对话语料。该文在此数据上进行实验,针对HRED模型的缺点以及在中文语料下的表现进行改进,提出基于注意力和跨步融合机制与HRED模型结合的方案,实验结果表明,该方案取得了较大的性能提升。

新时代科学家需要具备怎样的精神--论王选的成功因素

当前我国正在大力弘扬新时代科学家精神,通过多种方式和渠道大力表彰、宣传科技界的民族英雄和国家脊梁,进而为建设世界科技强国汇聚磅礴力量。作为新中国培养的科学大师,王选的科学家精神带有典范意义,值得深入挖掘总结。王选的人生经历和科研历程是探寻王选成功的内在关键因素,从中可以总结出独特的"王选精神",而这又可以与新时代科学家精神产生共鸣,对我国杰出科技人才的精神世界塑造意义重大。

王选的青年科技人才培养创新模式

北京大学王选院士是一位著名科学家,他带领科研团队研制的汉字信息处理与激光照排系统,引发了我国报业和印刷出版业的技术革命。王选也是一位教育家,他以提携后学为己任,在教学科研和产学研结合的实践中,积极探索,甘为人梯,培养了一批优秀青年科技人才,形成了一套独特的人才培养创新模式。本文从识才、育才、用才、惜才等方面,系统研究和总结了王选的师德风范、教育思想和生动实践,对实施创新驱动发展战略和人才强国战略,培养德才兼备的创新型人才具有切实可行的示范作用和重要的现实意义。

王选:“当代毕昇”与文化自信

习近平总书记多次强调,“文化自信,是更基础、更广泛、更深厚的自信,是更基本、更深沉、更持久的力量”“中国有坚定的道路自信、理论自信、制度自信,其本质是建立在5000多年文明传承基础上的文化自信。”[1]中华文明是世界上唯一发展至今没有中断的文明,是中华民族独特的精神标识,给我们的文化自信打下了最深厚的历史根基。

王选的创新思想与实践对建设科技自立自强国家的启示

王选是一位创新思想家,他站在国家战略层面对如何实现科教兴国、人才强国进行了深刻思考和总结,其独树一帜的创新理论,今天看来仍富有前瞻性和鲜活的可借鉴性,对当今发挥科技创新核心驱动力、建设科技自立自强国家具有十分宝贵的启迪和示范意义。王选院士是享誉海内外的著名科学家。他带领科研团队紧跟我国科技体制改革的时代脚步,攻坚克难,大胆创新,研制成功汉字信息处理与激光照排系统,并实现成果市场化和产业化,掀起了我国"告别铅与火、迎来光与电"的印刷技术革命,为信息时代汉字和中华文化的传承与发展创造了条件。

时代楷模 创新典范——王选与我国第二次印刷技术革命

王选曾经总结了汉字激光照排系统工程成功的5个原因,包括国家和部门的大力支持;用户的紧密配合;协作单位的共同努力;良好的科研风气;正确的技术决策。习近平总书记曾两次在讲话中提到汉字激光照排技术,一是2010年3月在俄罗斯"汉语年"开幕式上的致辞,他提及,文字的发明和发展对人类文明进步起到了巨大推动作用,汉字是中华文明的重要标志,也是传承中华文明的重要载体,上个世纪80年代汉字激光照排系统问世,使汉字焕发出新的生机和活力。

智能文本生成:进展与挑战

智能文本生成是人工智能与自然语言处理领域的前沿研究方向,也是AI生成内容(AIGC)的关键技术支撑,能够大幅提升文本内容的生成效率,近年受到学术界和产业界的高度关注,在媒体出版、电子商务等多个行业与场景均已得到应用。对智能文本生成的应用现状与主要方式进行系统概述,重点介绍基于深度学习的智能文本生成技术,同时阐述现有技术面临的挑战。

“三维视觉—语言”推理技术的前沿研究与最新趋势

三维视觉推理的核心思想是对点云场景中的视觉主体间的关系进行理解。非专业用户难以向计算机传达自己的意图,从而限制了该技术的普及与推广。为此,研究人员以自然语言作为语义背景和查询条件反映用户意图,进而与点云的信息进行交互以完成相应的任务。此种范式称做“三维视觉—语言”推理,在自动驾驶、机器人导航以及人机交互等众多领域广泛应用,已经成为计算机视觉领域中备受瞩目的研究方向。过去几年间,“三维视觉—语言”推理技术迅猛发展,呈现出百花齐放的趋势,但是目前依然缺乏对最新研究进展的全面总结。本文聚焦于两类最具代表性的研究工作,锚框预测和内容生成类的“三维视觉—语言”推理技术,系统性概括领域内研究的最新进展。首先,本文总结了“三维视觉—语言”推理的问题定义和现存挑战,同时概述了一些常见的骨干网络。其次,本文按照方法所关注的下游场景,对两类“三维视觉—语言”推理技术做了进一步细分,并深入探讨了各方法的优缺点。接下来,本文对比分析了各类方法在不同基准数据集上的性能。最后,本文展望了“三维视觉—语言”推理技术的未来发展前景,以期促进该领域的深入研究与广泛应用。

少数民族文字文本分析与识别的研究进展

对于少数民族古籍的保护与传承,国家予以高度重视,并强调了对这些不可再生文化资源透彻数字化的重要性。随着文档图像分析与识别技术的不断进步,对少数民族文字的文本分析与识别研究受到广泛关注,并取得显著成就,成为人工智能应用研究的一个热点领域。然而,由于少数民族文字种类繁多、应用场景多样及数据集的稀缺性等问题,这一研究领域仍面临诸多挑战。本文旨在总结先前的工作,并为未来的研究提供支持,重点讨论了印刷体文本、联机手写、古籍文档及场景文字识别等任务,概述了国内外在少数民族文种识别领域的发展和最新成果。首先阐明了少数民族文字文本分析与识别的重要性及其价值,介绍了特定少数民族文字及其古籍文档的特征。然后,回顾了这一领域的发展历史和现状,分析并总结了传统方法的代表性成果及其应用;详细讨论了研究重点向深度神经网络模型和深度学习方法的全面转移,这一转变使得各文种的识别性能得到了显著提升。最后,基于相关分析,本文指出了在不同文种文档分析与识别中存在的精度和泛化能力等方面的不足,以及与汉文文本分析与识别的差异;面对少数民族文字文本识别领域的主要困难与挑战,展望了未来的研究趋势和技术发展目标。

网络传输公平性测量与算法设计:视频应用案例

算网融合以计算为中心、网络为根基,通过网络连接异构计算节点,实现算网资源的高效分配与调度.关于竞争流之间资源共享的公平性问题是算网融合的重要研究方向.作为算网融合的典型场景,视频应用正变得越来越重要,但人们对于它们是否以及在多大程度上遵守公平性原则知之甚少.在高度多样化的网络环境和缺乏自动化测量工具的情况下,公平性测量研究面临着巨大的挑战.通过测量典型视频应用Zoom的竞争行为来研究这个问题发现,资源竞争行为是复杂多变的,Zoom在不同的场景下有着不同的资源抢占行为.为了深入理解这些竞争行为,开发了自动化工具并进行测量以了解其用户体验(QoE)指标,包括端到端视频/音频时延、视频帧率和视频质量等.Zoom使用抢占带宽的策略来保证自身应用的用户体验.为了追求更好的用户体验,Zoom往往会自私地发送过多的冗余数据包来应对异常的网络情况,其中一些是不必要的.为此,设计一种能够在用户体验和公平性目标之间取得平衡的传输算法是非常重要的.提出了算法QLibra,并通过实验证明它可以有效保障上层应用的用户体验并且对竞争流无害.

王选的技术预见思想及创新实践

综述了王选主持的计算机汉字激光照排系统和后续研发工作,探讨了他的创新性人格特质及其秉持的跨领域研究和需求激发创造的观点。通过梳理王选如何找准科研方向及把握技术的发展脉络,阐述了他的技术预见思想及其颠覆性技术创新实践,展现其敢为人先、不断创新的科学家精神。

技术驱动下数字出版及其专业建设

数字出版脱胎于传统出版,但数字出版的概念又不能仅仅局限于书报刊等传统出版物的出版,它的内涵在于知识和信息(即内容)基于互联网的数字化创作、生产、运营、传播、消费和监管。数字出版作为出版业重要板块及发展方向,其专业建设是建强出版学科、建设出版强国的内在要求。

基于像素聚类的空间变化表面材质建模

针对空间变化表面材质的反射属性提出了一种基于图像的轻量化建模方法。仅需利用消费级手机,在环境光和点光源下分别对平面材质样本拍摄一幅图像,即可计算重建其表面的双向反射分布函数(svBRDFs)参数图、法向量图、切向量图等材质属性。其中对BRDF参数的拟合采用了一种基于像素聚类的策略,即假定具有相似外观和结构特征的像素属于同种材质、共用一组参数,从而大幅降低参数拟合的难度。在此基础上,通过一种新的迭代多步优化方案对全局和空间变化的参数进行拟合,产生高分辨率的BRDF参数纹理图。该方法不依赖特殊设备,也无需采集海量数据,就能够为包括金属材质、各向异性材质等在内的多种类表面材质产生高质量的BRDF参数图,以及高真实感的基于物理的绘制结果,因此更易于实现和应用。

5G 16K虚拟现实视频传输关键技术

随着5G网络的商用普及,高质量的虚拟现实视频服务逐渐成为可能。为了达到传统高清视频的质量,需要传输16K/24K分辨率的虚拟现实视频,这对网络、终端和服务器都带来巨大的带宽、计算压力。针对这些挑战,本文介绍了虚拟现实视频传输的质量评价和面临的挑战,并详细介绍了两种自适应传输关键技术:(1)多层FOV传输;(2)多用户协作传输。重点解决自适应传输中的卡顿、黑场、多用户竞争等问题,提高虚拟现实视频传输的用户体验质量(Quality-of-Experience)。

基于融合条目词嵌入和注意力机制的自动ICD编码

构建一种基于融合条目词嵌入和注意力机制的深度学习模型,可以充分利用电子病案中的多种非结构化文本数据,对病案首页的主要诊断进行自动ICD编码。该模型首先对含有病案条目的文本进行融合条目的词嵌入,并通过关键词注意力来丰富词级别的类别表示;然后利用词语注意力来突出重点词语的作用,增强文本表示;最后通过全连接神经网络分类器进行分类,输出ICD编码。通过在中文电子病案数据集上的消融实验,验证了融合条目词嵌入、关键词注意力和词语注意力的有效性;与多个基准模型相比,所建模型在对81种疾病的分类中取得最好的分类效果,可以有效地提高自动ICD编码的质量。