基于语义信息的无监督单目深度估计

随着深度学习的发展,无监督单目深度估计成为计算机视觉的研究热点。由于深度图存在轮廓不清晰、深度估计不准确等问题,以编—解码器结构为基础,提出一种基于语义信息的无监督单目深度估计网络,为了获取更为清晰的轮廓信息,本文在编解码器之间通过空洞空间卷积池化金字塔(ASPP)层进行语义信息的细化,提高生成的图像质量;该网络通过在编码器到解码器的跳层连接实现对多分辨率特征的提取,在编码器部分采用改进的高分辨率网络(HRNet)融合不同层的多分辨率特征,在解码前使用串联策略融合中间阶段的输出,提高深度估计的准确率。在KITTI数据集上的实验结果表明,本文方法的误差评价指标相较于目前的深度估计方法更低,在3个深度估计准确率评价指标上达到了89.4%,96.3%,98.1%,具有较好的准确性。

基于编-解码器结构的无人机群多任务联邦学习

针对传统联邦学习在无人机群应用中的局限性——要求所有参与者执行相同任务并拥有相同的模型结构,本文探索一种适用于无人机群的多任务联邦学习方法,设计一种新的编-解码器架构,以加强执行不同任务的无人机之间的知识共享.首先,为执行相同任务的无人机建立直接的知识分享机制,通过直接聚合方式实现同任务知识的有效融合;其次,对于执行不同任务的无人机,从所有无人机的编-解码器架构中提取编码器部分,构建一个全局编码器;最后,在训练环节,将本地编码器和全局编码器的信息整合到损失函数中,并通过迭代更新使本地解码器逐步逼近全局解码器,从而实现跨任务间的知识高效共享.实验结果表明:相较于传统方法,所提出的方法使无人机群在3个单任务上的性能分别提升1.79%、0.37%和2.78%,仅在1个任务上性能略微下降0.38%,但整体性能仍提升2.38%.

多粒度空间注意力与空间先验监督的DETR

近年来,Transformer在视觉领域的表现卓越,由于其优秀的全局建模能力以及可媲美CNN的性能表现受到了广泛关注。DETR(Detection Transformer)是在其基础上研究的首个在目标检测任务上采用Transformer架构的端到端网络,但是其全局范围内的等价建模以及目标查询键的无差别性导致其训练收敛缓慢,且性能表现欠佳。针对上述问题,利用多粒度的注意力机制替换DETR的encoder中的自注意力以及decoder中的交叉注意力,在距离近的token之间使用细粒度,在距离远的token之间使用粗粒度,增强其建模能力;并在decoder中的交叉注意力中引入空间先验限制对网络训练进行监督,使其训练收敛速度得以加快。实验结果表明,在引入多粒度的注意力机制和空间先验监督后,相较于未改进的DETR,所提改进模型在PASCAL VOC2012数据集上的识别准确度提升了16%,收敛速度快了2倍。

IP流媒体传输技术的延迟优化策略

针对网际互连协议(Internet Protocol,IP)流媒体传输技术的延迟问题进行深入分析。延迟主要来源于网络传输、数据处理和编码解码3个方面。为优化延迟,提出改进网络架构、提升数据处理能力及改进编码解码技术等具体策略。通过实施低延迟网络协议、智能路由、高性能硬件及优化算法等手段,有效降低流媒体传输延迟,进而提升用户体验与服务质量。

基于自适应融合和注意力细化的语义分割模型

针对现有语义分割中存在的上下文信息利用不足和细节信息丢失等问题,提出了一种基于自适应融合和注意力细化的语义分割模型。该模型在编码的过程中引入一个自适应融合模块,通过让每个特征图按照相应的权重进行融合的方式来解决上下文信息利用不足的问题。在解码的过程中设计了一个注意力细化模块,使低阶特征与高阶特征之间能够进行相互指导优化,从而解决细节信息丢失的问题。实验结果表明:该模型在PASCAL VOC 2012数据集上的平均交并比达到了83.7%,比基于编解码的语义分割模型提高了1.1%;在Cityscapes数据集上取得了81.7%的平均交并比,进一步验证了该模型的泛化性。

融合理解与生成的文档级事件抽取

文档级事件抽取旨在基于所输入的长文档抽取其中关键事件和要素,是从领域文本语料库中自动获取知识的关键。现有的大多数文档级事件抽取系统基于对文本的理解和抽取,容易遇到多事件混淆的问题,而最新的基于生成的事件抽取系统则很容易产生幻觉错误。为了解决这些问题,文章提出了一种融合理解与生成的文档级事件抽取模型。该模型基于编码器解码器架构,利用双向的编码器实现文档的理解和基于片段预测的事件要素抽取,该模型同时利用单向的解码器在特定输入提示框架的辅助下实现事件要素的生成。还提出对比损失学习来让基于抽取的编码器部分和基于生成的解码器部分相互学习,从而互相提升事件要素抽取的表现水平,并最终通过融合输出的方法实现理解和生成的统一输出。实验表明所提的方法在典型的中、英文数据集上都比传统方法有着较大的性能提升。

基于层次化结构表示的数据到文本生成方法

最近的数据到文本生成方法广泛采用了编码器—解码器架构或其变体,但是这些方法无法识别数据中不同部分的信息的重要性,导致在选择适当的内容和排序方面表现不佳。针对这些问题,提出了一个基于层次化结构表示的数据到文本生成方法,它包括规划阶段和生成阶段,规划阶段通过实体级、记录级的多层次注意力来增强语义空间的表达能力,输出的计划代表重要内容的高层次表示,同时将计划输入给生成阶段的生成器得到最终的文本。通过在两个数据到文本生成的数据集上进行的广泛实验表明,该方法相比于已有的数据到文本生成方法,生成的文本对数据的描述更加准确,质量更高,该方法的提出为数据到文本生成的研究提供了一定的指导性作用。

应用深度学习的中文命名实体识别研究综述

命名实体识别是自然语言处理领域的基础性工作,旨在从非结构化文本中识别出具有特定意义的实体并分类,在多种自然语言处理任务中发挥重要作用。由于中文命名实体没有明显的边界标记,且存在歧义和嵌套等问题,其识别过程比英语等其他语言要更为复杂。近年来,深度学习技术发展迅速,在中文命名实体识别中得到广泛应用,并已成为主流方法。系统梳理中文命名实体识别中深度学习技术的研究进展,重点从文本表示、特征编码、预测解码3个方面,对比分析代表性工作的关联性和关键技术,讨论研究中存在的问题、现有解决方案和未来的研究方向。

基于编解码机制的水下图像语义分割

随着水下资源的开发,深度学习在水资源探索和开发领域应用越来越广泛。在水下原始图像质量低下的情况下,传统的语义分割技术对水下目标分割边界模糊、定位不准确、漏检和误检的情况经常发生。论文针对上述问题,提出了一种专门应用于水下图像的语义分割方法。首先基于多空间转换对原始水下图像进行增强处理。其次通过密集连接的混合空洞卷积在扩大感受野的同时消除多层空洞卷积带来的“gridding issue”问题,然后设计级联空洞卷积空间金字塔池化模块来整合不同尺度的边界特征,丰富目标细节信息。最后,采用上下文信息聚合机制将浅层网络和深层网络的特征进行融合以提取丰富的上下文信息。实验证明论文提出的方法相比最先进的语义分割方法对水下图像的分割效果更好。

图像描述生成研究进展

图像描述生成结合了计算机视觉和自然语言处理2个研究领域,不仅要求完备的图像语义理解,还要求复杂的自然语言表达,是进一步研究符合人类感知的视觉智能的关键任务.对图像描述生成的研究进展做了回顾.首先,归纳分析了当前基于深度学习的图像描述生成方法涉及的5个关键技术,包括整体架构、学习策略、特征映射、语言模型和注意机制.然后,按照发展进程将现有的图像描述生成方法分为四大类,即基于模板的方法、基于检索的方法、基于编码器-解码器架构的方法和基于复合架构的方法,并阐述了各类方法的基本概念、代表性方法和研究现状,重点讨论了基于编码器-解码器架构的各种方法及其创新思路,如多模态空间、视觉空间、语义空间、注意机制、模型优化等.接着,从实验的角度给出图像描述生成的常用数据集和评估措施,并在2个基准数据集上比较了一些典型方法的性能.最后,以提升图像描述的准确性、完整性、新颖性、多样性为依据,展示了图像描述生成的未来发展趋势.

基于DBSE-Net的大田稻穗图像分割

稻穗精准分割是准确估测水稻产量的关键。为实现大田环境下不同品种与生育期稻穗的准确分割,该研究提出了基于注意力机制的稻穗分割网络(Double Branch Squeeze-and-Excitation Network,DBSE-Net)。首先,提出一个双分支压缩与激励(DoubleBranchSqueeze-and-Excitation,DBSE)注意力模块,通过同时使用全局平均池化(GlobalAverage Pooling,GAP)和全局最大池化(Global Max Pooling,GMP)编码输入特征的通道信息,以实现更精准的通道注意力推断。然后,为了强化稻穗特征并抑制背景区域特征,将DBSE模块添加到编码-解码分割框架中构建DBSE-Net分割网络。最后,在自采集的稻穗图像数据集上进行分割性能测试,DBSE-Net对稻穗分割的像素准确率、平均交并比和F1分数分别达到了94.32%、87.59%和91.86%,比次优模型DeepLabv3+的结果分别高出1.61、2.56和1.20个百分点,在单张256×256(像素)图像上耗时0.03s,是DeepLabv3+分割速度的5.3倍。在公开的稻穗图像数据集上进行泛化性能测试,DBSE-Net能够有效分割出稻穗区域。该研究结果表明,DBSE-Net能够对不同品种与生育期稻穗实现高效精准分割,具有良好的泛化性,可以为水稻产量评估提供参考。

基于双注意模型的图像描述生成方法研究

现有图像描述生成方法的注意模型通常采用单词级注意,从图像中提取局部特征作为生成当前单词的视觉信息输入,缺乏准确的图像全局信息指导.针对这个问题,提出基于语句级注意的图像描述生成方法,通过自注意机制从图像中提取语句级的注意信息,来表示生成语句所需的图像全局信息.在此基础上,结合语句级注意和单词级注意进一步提出了双注意模型,以此来生成更准确的图像描述.通过在模型的中间阶段实施监督和优化,以解决信息间的干扰问题.此外,将强化学习应用于两阶段的训练来优化模型的评估度量.通过在MSCOCO和Flickr30K两个基准数据集上的实验评估,结果表明本文提出的方法能够生成更加准确和丰富的描述语句,并且在各项评价指标上优于现有的多种基于注意机制的方法.

基于编解码双路卷积神经网络的视觉自定位方法

为了从单张RGB图像估计出相机的位姿信息,提出了一种深度编解码双路卷积神经网络(CNN),提升了视觉自定位的精度。首先,使用编码器从输入图像中提取高维特征;然后,使用解码器提升特征的空间分辨率;最后,通过多尺度位姿预测器输出位姿参数。由于位置和姿态的特性不同,网络从解码器开始采用双路结构,对位置和姿态分别进行处理,并且在编解码之间增加跳跃连接以保持空间信息。实验结果表明:所提网络的精度与目前同类型算法相比有明显提升,其中相机姿态角度精度有较大提升。

基于深度学习的页岩气压裂砂堵事故预警方法

为预警页岩气压裂施工过程中砂堵事故,降低压裂施工成本,提出一种基于深度学习的压裂砂堵事故早期预警方法。首先,在分析压裂施工参数特征工程和数据基础上,采用长短时记忆神经网络(LSTM)算法,并引入编码-解码器结构,建立多变量时间序列预测模型;然后,利用该模型的综合压力参数及其他与压力参数相关性强的施工参数,挖掘、分析时间序列数据中隐含的信息;最后,以某段页岩气压裂数据为实际算例,比较LSTM和自回归移动平均(ARIMA)模型的预测结果。研究结果表明:与传统预测模型相比,LSTM网络模型能更准确地预测压裂施工曲线的变化趋势,预测精度提高21.75%;相比于人工判别传统预测模型,LSTM网络模型预测时间得到大幅提前。

基于FPGA的IEEE 802.16e的LDPC编译码方法

本文提出一种利用FPGA实现IEEE802.16e标准的通信系统LDPC编译码方法。由于编码算法使用了线性复杂度编码,明显减少了资源占用量,提高了编码速度。并对标准中的码长为1536,码率为2/3的LDPC码进行FPGA的仿真,验证了所提方法的有效性和可实现性。

MPEG-4概述

从ISO/IEC14 4 96的第一部分MPEG - 4系统的体系结构出发 ,分别对MPEG - 4标准中提供的主要工具进行了技术描述 ,包括对象描述框架、系统解码器模型 (SDM)和传输多媒体集成框架 (DMIF)、场景的二进制描述(BIFS)、同步层、视频对象和音频对象编码等。最后对MPEG -

基于FPGA的空时编译码器实现

基于高速多输入多输出(Multi-input Multi-output,MIMO)系统中的空时编码技术,提出了一种能够在现场可编程门阵列(Field Programmable Gate Array,FPGA)上实现空时码编译码器的硬件实现方法,并给出了编译码过程中各步骤的实现过程。采用该方法设计的编译码器具有控制单元简单、模块结构规则,易于FPGA实现,可用于高速场合等特点。仿真分析表明,硬件实现的性能与理论性能接近。

ED-NAS:基于神经网络架构搜索的陶瓷晶粒SEM图像分割方法

为了提高深度卷积神经网络(Convolutional Neural Network,CNN)设计的自动化程度并进一步提高陶瓷晶粒扫描电子显微镜(Scanning Electron Microscope,SEM)图像分割的准确性,提出了一种基于神经网络架构搜索的陶瓷晶粒图像分割方法 .该方法设计多分支结构编码空间和链式结构解码空间,并构造多分支结构编码Cell和链式结构解码Cell;同时基于强化学习分别搜索最佳编码Cell和解码Cell;此外,基于编码-解码神经网络架构堆叠最佳Cell构建陶瓷晶粒图像分割CNN,并采用池化索引在解码阶段恢复丢失的细节信息.实验在包含了629张的陶瓷晶粒SEM图像数据集上进行,搜索最佳Cell耗时约148 GPU-时.与U-Net、SegNet等SOTA方法相比,该方法在陶瓷晶粒测试集上获得了更高的分割准确性(mIoU≈68.9%).

基于门控循环图卷积网络的交通流预测

交通流预测在智能交通系统的建设中起着关键性的作用,然而现有预测方法无法准确地挖掘其潜在的时空相关性,而且大多采用全连接网络进行单步预测。为了进一步挖掘数据的时空特性以及提升长短期预测的精度,提出了一种门控循环图卷积网络(GR-GCN)模型。首先,利用频域上的图卷积结合门控循环单元(GRU)构建一个时空组件(STC)以同时捕获节点的时空相关性,充分地提取数据的时空特征;然后,利用该时空组件构成编码器单元,并将时间序列数据和路网结构数据输入其中;最后,使用门控循环单元作为解码器单元,并按照时间顺序将两者组成一个编码器-解码器(encoder-decoder)结构,依次解码出每个时刻的预测结果。在加利福尼亚交通局(Caltrans)性能评估系统中高速公路数据集PeMSD4和PeMSD8进行了实验。结果表明,所提模型GR-GCN在预测未来15 min、30 min、45 min和60 min的交通流量方面优于大多数现有基准模型,尤其是在长期预测方面。

结构化LDPC码的高速编译码器FPGA实现

提出一种高吞吐量、低复杂度、可扩展的非正则低密度校验(Low density parity check,LDPC)码准并行编码结构及译码结构及其实现方案,该编码结构和译码结构针对不同码长的非正则结构化LDPC码可进行相应扩展。通过对编译码算法、优化编译码结构进行调整,降低了编译码器硬件实现中的关键路径迟延,并采用Xilinx公司的Virtex-4 VLX80 FPGA芯片实现了一个码长10 240,码率1/2的非正则结构化LDPC码编码器和译码器。实现结果表明:该编码器信息吞吐量为1.878 Gb/s,该译码器在采用18次迭代情况下信息吞吐量可达223 Mb/s。