CNN-AE在超奈奎斯特无线光通信端到端系统中的性能

符号间干扰的存在使超奈奎斯特(faster-than-Nyquist, FTN)速率无线光通信系统的性能受到严重影响,针对此问题,提出了一种基于卷积神经网络自编码器的端到端通信系统来消除符号间干扰的影响并完成信号的恢复。针对超奈奎斯特信号非正交的特性,采用交替训练算法分别训练发射机和接收机权重,解决监督训练中模型输入输出数据尺寸不匹配的问题。在此基础上,分析了该系统在Gamma-Gamma大气信道中的误码率(bit error rate, BER)性能。仿真结果证明,与采用最大似然估计的传统系统相比,该系统的误码率性能在各种条件因素影响下都有不同程度的提高。当加速因子在Mazo限内时,该系统可以消除FTN成型和湍流信道带来的复杂混合码间干扰,其误码性能几乎与正交传输系统相等。

BEVTrack:基于难例挖掘训练的端到端三维多目标跟踪方法

多目标跟踪已经成为自动驾驶系统中的一个关键组成部分,其目的是在连续的视频流与点云流中识别、定位并标识所有感兴趣的目标。目前三维多目标跟踪方法多依赖人工多阶段调参以保证整体跟踪性能,难以对复杂遮挡或运动进行有效建模。而现有的三维端到端多目标跟踪方法,如MUTR等,精度普遍较低。其核心原因为三维空间中的特征聚合和感知相对于二维图像更具挑战性,简单的网络难以实现复杂的三维特征聚合,并大量的噪声信息与难例信息干扰严重,影响模型的特征提取能力。针对以上问题,本文提出了一种基于难例挖掘训练的端到端多目标跟踪框架BEVTrack。针对三维特征关联问题,本文设计了基于鸟瞰图(BEV)位置编码的三维跟踪查询。通过基于BEV特征的三维跟踪查询,本文方法能够更好地将跟踪查询与实际三维特征进行有效关联,从而大幅度提升了跟踪精度。同时,模型依靠BEV数据进行特征关联,仅需轻量化的网络便可以实现快速有效的跟踪。针对数据噪声问题,本文提出了面向多目标跟踪的难例挖掘训练,通过针对检测难例与跟踪难例分别处理,训练模型去除检测错误噪声与跟踪匹配的能力,从而提升在真实场景下模型处理噪声信息与难例干扰的能力。在实验结果方面,基于Nuscenes数据集,我们进行了大量的对比实验与模型消融实验,实验结果证明本文的方法在该数据集上取得了领先的性能。

基于车载视觉的端到端驾驶员疲劳检测模型

营运驾驶员长时间疲劳驾驶是导致事故发生的重要原因,为此,企业在营运车辆上安装相机采集驾驶员面部视频,基于模型和算法自动识别驾驶员的疲劳状态,通过语音提醒甚至启用远程护航进行疲劳干预,以此提高驾驶安全。现有的疲劳检测研究大多数都是基于面部关键点检测的算法,该类算法对面部视频的质量要求严格。在真实的营运行车环境中,夜晚光线过差,相机位置安装不理想,驾驶员面部遮挡等均会造成关键点检测失效,从而影响模型的准确性。基于卷积神经网络(CNN)和长短时记忆神经网络(LSTM)设计了一种端到端营运驾驶员疲劳检测模型,该模型以相机采集的驾驶员面部视频作为输入,使用CNN网络提取视频单帧特征,在此基础上将时序单帧特征作为LSTM网络的输入来最终识别驾驶员的疲劳状态,实验表明,模型的接收者操作特征曲线下面积(AUC)为0.9,远优于现有的面部关键点模型。此外,为了提高该模型在实际行车环境中的鲁棒性,基于光线变化及相机变化的模拟操作在训练数据上进行了数据增强,通过模型重训练进一步提高了模型的精度及鲁棒性。实验结果表明,改进前,营运车辆行车环境下模型的AUC相比实验室模型下降37.3%,而改进后AUC仅下降9.7%,模型的鲁棒性得到改善,能够更好地适应复杂的营运车辆自然驾驶环境。

基于知识图谱的端到端内容共享机制

端到端(D2D)通信利用边缘网络的本地计算和缓存能力,可以满足未来移动网络用户低延时、高能效的内容共享需求。而边缘网络内容共享效率性能的提升不仅取决于用户社交关系,同时也高度依赖终端设备的特征,如计算、存储和剩余能量资源等。因此,以最大化能量效率为目标,综合考虑设备异质性、用户社交性和兴趣差异性,提出一种用户-设备-内容多维度关联特征的D2D内容共享机制。首先,基于用户成本效益最大化将多目标约束问题转化为最优节点选择和功率控制问题,构建面向用户-设备-内容的多维度知识关联特征和图谱模型,将设备相关的计算资源、存储资源等多维特征结构化处理;其次,研究用户在设备属性和社交属性上的意愿度度量方法,提出一种基于用户社交和设备图谱的共享意愿度度量方法;最后,根据用户共享意愿度构建面向内容共享的D2D协作簇,面向能量效率设计一种基于共享意愿度的功率控制算法,以最大化网络共享性能。在真实用户设备数据集和infocom06数据集的实验结果表明,所提基于共享意愿度的功率控制算法与最近选择算法和不考虑设备意愿度的选择算法相比,系统和速率分别提升了约97.2%和11.1%,用户满意度分别提升了约72.7%和4.3%,能效分别提升了约57.8%和9.7%,验证了所提算法在传输速率、能量效率和用户满意度等方面的有效性。

深度强化学习求解移动机器人端到端导航问题的研究综述

自主导航是移动机器人完成复杂任务的前提和基础,传统的自主导航系统依赖于地图的精度,无法适应高度复杂的作业和服务场景。移动机器人不依赖先验地图信息,通过深度强化学习与环境交互学习能够自主决策的端到端导航方法成为新的研究热点。大多数现有的分类方法不能全面地总结端到端导航问题的挑战和机遇,根据端到端导航系统的特点,将导航问题的挑战归结为导航智能体感知能力差、学习效率低和导航策略泛化能力弱等关键问题,阐述了端到端导航系统的研究现状和发展趋势,分别详细介绍了近年来针对这些关键问题的代表性研究成果,并对其优势和不足进行了归纳总结。最后,从视觉语言导航、多智能体协同导航、融合超分辨率重建图像的端到端导航和可解释性端到端导航等方面展望了移动机器人端到端导航的未来发展趋势,为移动机器人端到端导航的研究和应用提供一定的思路。

基于端到端深度强化学习求解有能力约束的车辆路径问题

有能力约束的车辆路径问题(CVRP)是现阶段供应链应用最常见的问题模型,现多采用启发式算法求解。但随着问题规模增大,启发式算法求解速度慢且无法保证解的质量。提出端到端深度强化学习(DRL)网络框架对CVRP进行研究。首先利用边聚合图注意力网络编码器(EGATE)对车辆路径规划问题的图表示进行特征嵌入编码;然后设计多头注意力解码器(MAD)进行解码,并提出多解码策略以增加解的空间多样性;接着利用带回滚基线的基线REINFORCE算法对端到端网络模型进行训练,基线可自适应性更新以提升模型训练效果,并利用奖励函数归一化和Adam优化器对算法进行优化。最后通过对不同规模问题的实验以及与其他算法进行对比,验证了所提出端到端DRL框架的可行性与有效性,经过训练的模型在CVRPLIB公共数据集上的平均求解时间仅需0.189 s即可得到较优解。

基于样本类不确定性抽样的端到端语音关键词检测训练方法

当前语音关键词检测主流技术为端到端的深度学习方法,研究重点为网络结构优化、建模单元选取及搜索策略等,并取得较快进展,但对模型训练效率的关注相对较少.本文针对深度学习模型训练效率问题,提出了一种样本类不确定性抽样(Class Uncertainty Sampling,CUS)的样本应用策略加速收敛进程.其核心思想是在模型训练中后期,利用网络的前向输出层对样本评价信息进行样本类不确定性度量,并转化成样本选用概率,随机抽取训练样本子集用于后续训练.由于简单样本的类确定度高,它们参与后续训练的概率降低,但不影响模型的区分能力,增强对判决边界样本的关注,达到提高模型训练效率的目标.基于AISHELL-1普通话数据集的实验结果表明,相对常规训练策略,平均训练时长缩短60%,收敛时长缩短47.5%.虚警率(False Alarm Rate,FAR)为0.5 FP/h时,该方法的错误拒绝率(False Reject Rate,FRR)从4.75%降至3.65%,相对下降30.1%,最大关键词加权值(Maximum Term Weighted Value,MTWV)由0.8374升至0.8531.通过分析错标样本参与训练的行为,证实了该方法具有屏蔽掉大部分错误标注样本的能力,减少错标样本对训练的损害.基于大规模AISHELL-2普通话数据集的实验进一步证实了提出方法的有效性.

针对临时道路的端到端自动驾驶模型研究

近年来,基于深度学习的自动驾驶模型逐渐成为无人驾驶领域的研究热点,常规的自动驾驶模型多采用多级模块串联的方式构建,分别完成感知、规划、循迹等功能,存在耦合性高抗风险能力差的问题。文中提出一种针对临时道路的无人驾驶车辆自动驾驶端到端模型,该模型采用三路视觉传感器图像为输入,以GCViT作为主干网络进行图像特征提取,通过Transformer网络和GRU网络输出局部规划路径,采用PID算法输出转角信息,实现无人驾驶车辆自动循迹。实验结果表明,端到端模型的单帧轨迹规划耗时约80 ms,平均轨迹偏差为0.689 m,满足实时性要求的同时,可完成无人驾驶车辆在临时道路环境下的循迹任务。

基于AI的端到端语义编码传输方案设计

面向6G多样化场景下对高性能和低复杂度的传输需求,通过将AI架构引入无线传输收发方案的联合优化,打破基于模块化物理层设计方法和传统信息论的局限,一种基于AI的端到端语义编码传输方案被提出。首先,为了克服未知衰落信道下无法通过反向传播联合训练发射机的问题,设计了一种基于CGAN的两子网架构及分阶段训练方法,有效消除衰落信道的影响。其次,进一步提出了语义信道联合编码的系统架构,在端到端的联合优化方面具有优势。仿真结果表明,所提方案通过对语义编码和传输的联合优化提升了系统性能,并适用于实际通信中信道未知场景,具备灵活性、智能性和高效性。

基于Conformer的端到端中英文管制语音识别

将语音识别技术应用到空中交通管理系统中可以提高飞行安全并降低管制员的工作负荷,目前已有的管制语音识别技术在中英文识别上效果较差,因此提出了一种基于Conformer-CTC/Attention的中英文管制语音识别框架。该方法使用基于改进的Conformer共享编码器对输入序列进行语言分类并以参数有效的方式对音频序列的局部和全局相依性进行建模,添加了语种分类模块来判断输入语音序列的语种,还采用了CTC解码器和注意力解码器联合解码的多任务建模方法。最后在建立的民航数据集对所提出的框架进行验证,试验结果表明,Conformer-CTC/Attention(Language-Category)相对于基线模型错误率降低,识别效果达到预期。

基于改进Conformer的新闻领域端到端语音识别

目前,开源的中文语音识别数据集大多面向通用领域,缺少面向新闻领域的开源语音识别语料库,因此该文构建了面向新闻领域的中文语音识别数据集CH_NEWS_ASR,并使用ESPNET-0.9.6框架的RNN、Transformer和Conformer等模型对数据集的有效性进行了验证,实验表明,该文所构建的语料在最好的模型上CER为4.8%,SER为39.4%。由于新闻联播主持人说话语速相对较快,该文构建的数据集文本平均长度为28个字符,是Aishell_1数据集文本平均长度的2倍;且以往的研究中训练目标函数通常为基于字或词水平,缺乏明确的句子水平关系,因此该文提出了一个句子层级的一致性模块,与Conformer模型结合,直接减少源语音和目标文本的表示差异,在开源的Aishell_1数据集上其CER降低0.4%,SER降低2%;在CH_NEWS_ASR数据集上其CER降低0.9%,SER降低3%,实验结果表明,该方法在不增加模型参数量的前提下能有效提升语音识别的质量。

基于不同单元的端到端语音识别

端到端语音识别技术不需要文本和语音序列的强制对齐过程,且比传统语音识别系统有着更为简单直观的结构和更好的适应能力,它不需要精准的发音词典,在资源匮乏语言的语音识别研究中有更好的发展前景。该文在循环神经网络(RNN)和链接时序分类(CTC)的基础上,实现维吾尔语不同粒度的端到端的语音识别系统,且在较少的语料库(THUYG公开语料库)上将该方法和传统的HMM语音识别框架进行比较。单音素基础上端到端方法的表现超过传统HMM-GMM框架,CER下降10.6%,而且经过稍微减少冗余后的以单字符作为建模单元的端到端语音识别系统对比基于三音素的HMM-GMM系统CER下降2.23%。对于资源匮乏语言,粒度单元的优化方法将是提高性能的下一个研究目标。

基于LSTM深度强化学习的端到端自动驾驶

现有的基于深度强化学习端到端自动驾驶算法往往仅依赖单帧图像输入与车辆状态信息,没有利用图像序列的信息,驾驶状态的连续性无法得到保证。另外现有的方法通常把环境理解与规划决策放在一起训练,致使学习效率不高。为了解决上述问题,提出了一个基于LSTM深度强化学习端到端自动驾驶算法。首先利用环境中的图像分割结果,预训练一个变分自动编码器来对图像进行特征降维,接着构建一个基于LSTM-PPO(Proximal Policy Optimization)的自动驾驶决策模型,在训练过程中获取上下文的时序特征。最后在Carla仿真平台进行验证,实验结果表明了所提算法的可行性。

融合双层注意力网络的端到端老挝车牌照识别方法

在中老道路互通大背景下,老挝车牌照识别研究对中国跨境车辆管理十分重要,但现有的单行车牌照识别方法无法直接应用于老挝双行车牌照识别任务中.针对老挝车牌照上行省份字符排列紧密、难以分割和下行辅音字符相似度高、难以识别的问题,结合分割的思想提出一种融合双层注意力网络的端到端老挝车牌照识别方法.通过通道及空间注意力提取并加强上行省份特征和下行字符特征表示;将分类思想应用于省份信息获取,有效地处理因字符粘连而无法做单字符识别的问题;使用序列标注的方法缓解相似字符识别困难,提高字符识别准确率.实验结果表明,提出方法相比基线模型,准确率提升了0.8个百分点,达到92.7%.

基于自编码器和直接序列扩频的端到端无线通信技术研究

基于自编码器和直接序列扩频设计实现了一种无线扩频通信系统,并采用数据驱动方式开展端到端训练、验证、测试,同时重点研究了信道规模、编码速率等超参数和干扰信号对系统块误码率性能的影响。仿真结果表明,该系统面向多种超参数具有较好的块误码率性能,且基于直接序列扩频,面向多种规格干扰信号具有较强的抗干扰能力。

融合停车线方向的端到端停车位检测网络

智能汽车自动泊车功能的基本要求之一是能够快速准确地检测出未被占用的停车位。针对这一问题,设计了一种融合停车线方向与全局特征的端到端可训练的停车位检测网络。首先提取出车位关键点的坐标以及关键点对应停车线的方向,并从图像全局特征中使用关键点的坐标提取出局部特征。将关键点信息、局部特征、全局特征使用交叉注意力机制融合,利用入口线鉴别器推断出关键点的停车位构成关系。根据关键点的停车位构成关系以及停车线方向,裁剪出停车位的区域图像并送入定制的车位占用分类网络进行分类,得到车位的占用信息。本文提出的方法在公共基准数据集PS2.0上进行了实验,其中该方法对矩形停车位的检测精度为99.65%,对倾斜停车位的检测精度为99.04%,在单块GPU上能够达到80 fps的检测速率。经验证,所提出的方法可以实时高精度的检测停车位位置、方向以及占用情况。

自编码器端到端通信系统后门攻击方法

自编码器端到端通信系统无需显式地设计通信协议,比传统模块式通信系统复杂性更低,且灵活性和鲁棒性更高。然而,自编码器模型的弱可解释性也给端到端通信系统带来了新的安全隐患。实验表明,在信道未知且解码器单独训练的场景下,通过在信道层添加精心设计的触发器就可以让原本表现良好的解码器产生误判,并且不影响解码器处理不含触发器样本时的性能,从而实现针对通信系统的后门攻击。文中设计了一种触发器生成模型,并提出了将触发器生成模型与自编码器模型进行联合训练的后门攻击方法,实现动态的触发器的自动生成,在增加攻击隐蔽性的同时提升了攻击成功率。为了验证所提方法的有效性,分别实现了4种不同的自编码器模型,考察了不同信噪比、不同投毒率、不同触发器尺寸以及不同触发信号比场景下的后门攻击效果。实验结果表明,在6dB信噪比下,针对4种不同的自编码器模型,所提方法的攻击成功率与干净样本识别率均超过92%。

一种融合激励和颤音建模的端到端歌唱合成方法

近年来,歌唱合成技术快速发展,基于变分推理和流模型的端到端歌唱合成(VISinger)成为主流,但其在效果上和真人仍有一定差距,主要体现在合成歌声中的音高听感不连续、颤音合成不佳及发音不稳定等。为此,本文针对性地提出了一系列改进方法:针对基频稳定性问题,提出在解码器中增加激励模块,将基频信息以激励信号的形式显式提供给解码器;针对颤音合成不自然问题,增加颤音预测模块,通过流式模型和变分数据增强,显式对歌声中的颤音进行建模;进一步在先验网络中增加ReZero策略。实验结果显示,增加激励信号能提升合成基频的稳定性,颤音建模对颤音的恢复有显著提升作用,ReZero策略对训练速度和发音稳定性有一定提升。主观测听中,本文提出的模型在歌唱合成自然度上相比VISinger有显著优势,平均意见分(Mean opinion score,MOS)达到3.95,对比两阶段建模方法DiffSinger+HiFiGAN也有明显优势,证明了本文所提方法的有效性。

基于多层次预训练策略和多任务学习的端到端蒙汉语音翻译

端到端语音翻译将源语言语音直接翻译为目标语言文本,其需要“源语言语音-目标语言文本”作为训练数据,然而这类数据极其稀缺,该文提出了一种多层次预训练策略和多任务学习相结合的训练方法,首先分别对语音识别和机器翻译模型的各个模块进行多层次预训练,接着将语音识别和机器翻译模型连接起来构成语音翻译模型,然后使用迁移学习对预训练好的模型进行多步骤微调,在此过程中又运用多任务学习的方法,将语音识别作为语音翻译的一个辅助任务来组织训练,充分利用了已经存在的各种不同形式的数据来训练端到端模型,首次将端到端技术应用于资源受限条件下的蒙汉语音翻译,构建了首个翻译质量较高、实际可用的端到端蒙汉语音翻译系统。

语音实验室端到端即时通信认证协议设计

为保证语音实验室端到端即时通信安全,确保语音内容不被窃听和篡改,提出一种基于混合加解密的语音实验室端到端即时通信认证协议的设计方法。利用RSA方法加解密发送方传输的即时通信会话密钥,通过3DES方法将发送方发送的明文语音信息进行加解密。在加解密过程中,加密信息打包为加密包后发送至信息接收方,信息接收方获取加密包后,使用RSA方法、3DES方法进行有效的密钥解密认证、明文语音消息解密,获取语音实验室端到端的明文语音信息。实验结果显示,此协议使用下,语音实验室端到端即时通信的认证加速比提升,且仅在密钥输入内容准确的情况下,信息接收方才可得到准确的明文语音消息内容,且不存在内容失真问题。