新一代通用视频编码标准H.266/VVC:现状与发展

相比于上一代标准,新一代通用视频编码标准(H.266/VVC)在同等质量下能够节省大约50%的码率,且适用于多种多样的视频应用场景。论文从H.266/VVC的关键技术出发,对标准的现状、实现和应用发展进行深入探讨。H.266/VVC沿用既往标准中的双层码流体系和混合编码框架,针对帧内预测、帧间预测、变换、量化、环路滤波等所有主要编码模块进行了技术革新,并为屏幕内容视频等应用提供了高效的专用编码工具。H.266/VVC标准目前已处于实用化阶段,官方参考软件VTM和开源编解码器VVenC/VVdeC是目前最具代表性的软件编解码实现。对H.266/VVC的性能分析可以看出:H.266/VVC针对高分辨率视频取得的编码增益更为突出;主要编码工具对性能的贡献通常以复杂度为代价,但也有部分编码工具在提升编码性能的同时可降低整体编码复杂度。H.266/VVC的硬件实现面临诸多挑战,发展明显滞后于软件实现,现有研究主要集中在对具体编码模块的硬件加速方面。H.266/VVC标准发布之后,下一代视频编码标准的发展目前仍围绕混合编码框架进行探索,聚焦在两大方向:超越VVC的增强压缩关注更为先进的、非神经网络的编码工具,基于神经网络的视频编码则探索采用神经网络的编码工具。除此之外,部分或完全跳出现有混合编码框架的端到端视频编码也在飞速发展,未来视频编码标准与神经网络结合成为趋势,但面临着计算资源依赖和稳定结构两方面的考验。

MUSE DWI和常规DWI在乳腺良恶性病变中的研究

目的探讨MUSE DWI和常规DWI在乳腺良恶性疾病中的应用价值。方法对我院进行乳腺磁共振检查并有病理结果的91例患者进行研究,每位患者均进行MUSE DWI和常规DWI扫描。结果MUSE DWI图像质量高,伪影减少,对病变细节显示的更好,MUSE ADC与常规ADC,均与病理结果有一致性。结论MUSE DWI弥补DWI的缺点,对乳腺良恶性病变有较高的诊断价值。

基于数据驱动的配电网无功优化

传统无功电压控制由于分布式电源、储能以及柔性负荷的接入面临计算速度和精度上的挑战。该文提出了一种基于数据驱动的配电网无功电压优化方法,通过跟踪实际系统的运行参数,实现无功电压的主动控制。在极限学习机中引入自动编码器构建深度学习机制,利用自动编码器建立极限学习机输入-输出的直接耦合关系,实现无监督学习和有监督学习有机结合,缩短训练模型的迭代过程;利用蒙特卡洛法基于分布式电源、负荷预测信息构建配电网运行场景,利用深度极限学习机挖掘运行场景优化运行与无功调压设备状态间的内在联系,建立电网运行场景与系统无功调压策略的映射关系。该文提出的基于数据驱动的无功优化方法不依赖实际系统潮流计算,能够实现配电网运行状态的跟踪和无功调节设备的优化调度,为配电网无功电压的主动控制打下基础。

基于NVAE和OB-Mix的小样本数据增强方法

由于深度学习模型对海量标注数据的依赖性较高,导致目前许多前沿性目标检测理论难以适用于工业检测领域。为此,提出一种基于NVAE图像生成和OB-Mix数据增强的小样本数据扩充方法。具体方法是通过NVAE构建检测目标的数据分布模型,再通过采样潜变量的方式生成与真实目标图像属于同一分布的全新目标图像。在得到生成目标图像后,提出了OB-Mix数据增强策略,将生成目标图像与背景图像进行随机位置融合以构建出新的图像数据,从而提高网络的定位能力及泛化能力。方法在仅使用474张标注图像以及400张无检测目标的背景图像情况下,使YOLOv5的检测精确率达到95.86%,相比于不使用该方法的结果提高了17.60个百分点。

基于Transformer的多尺度遥感语义分割网络

为了提升遥感图像语义分割效果,本文针对分割目标类间方差小、类内方差大的特点,从全局上下文信息和多尺度语义特征2个关键点提出一种基于Transformer的多尺度遥感语义分割网络(muliti-scale Transformer network,MSTNet)。其由编码器和解码器2个部分组成,编码器包含基于Transformer改进的视觉注意网络(visual attention network,VAN)主干和基于空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)结构改进的多尺度语义特征提取模块(multi-scale semantic feature extraction module, MSFEM)。解码器采用轻量级多层感知器(multi-layer perception,MLP)配合编码器设计,充分分析所提取的包含全局上下文信息和多尺度表示的语义特征。MSTNet在2个高分辨率遥感语义分割数据集ISPRS Potsdam和LoveDA上进行验证,平均交并比(mIoU)分别达到79.50%和54.12%,平均F1-score(m F1)分别达到87.46%和69.34%,实验结果验证了本文所提方法有效提升了遥感图像语义分割的效果。

基于改进VGG16的自编码器视频异常检测算法

在使用自编码器结构的神经网络处理视频异常检测任务时,U-Net风格的自编码器由于编码器层数深度过浅,导致在面对复杂的数据集时,不能充分抽取更多有用的特征信息。同时,在训练模型时使用MSE(均方误差),仅考虑了预测帧与真实帧之间的像素级相似性,对于复杂场景,像素级相似性可能无法准确判断预测帧与真实帧之间的相似性。针对以上问题,对基于U-Net风格的自编码器进行改进,提出了一种使用改进的VGG16作为编码器的视频异常检测算法,同时在均方误差的基础上添加结构相似性(SSIM)损失函数。改进的VGG16去掉了全连接层,并加入了残差连接防止特征退化,添加SSIM在计算像素级相似性的同时计算图像的亮度、对比度和结构等方面的相似性来优化网络。实验结果表明,改进后的算法,在Ped2数据集上检测效果达到95.91%,在Avenue数据集上检测效果达到84.89%,与改进前的方法相比分别提高了0.80%和0.19%,验证了所提方法的有效性。

融合改进自编码器和残差网络的入侵检测模型

互联网中存在大量隐私数据,因此防止网络入侵成为保护网络安全的关键问题。为提高网络入侵检测的准确率并解决其收敛慢问题,设计一种改进的堆叠自动编码器和残差网络(ISAE-ResNet)入侵检测模型。融合栈式自编码器和残差网络,首先将预处理后的数据输入到改进的栈式自编码器中,该栈式自编码器由2个副编码器和1个主编码器组成,数据经过副编码器和主编码器训练后重构出新的特征来防止过拟合问题;然后将解码层的权重捆绑到编码层进行优化,使模型参数减半来进行降维,提高模型的收敛速度;最后将处理过的数据输入到改进的残差网络中,并基于改进的ResNet网络设计一种加入软阈值函数的残差模块,通过降低数据中的噪声来提高模型准确率。在CIC-IDS-2017数据集上的实验结果表明,该模型准确率为98.67%,真正例率为95.93%,误报率为0.37%,损失函数值快速收敛至0.042,在准确率、真正例率、误报率和收敛速度方面均超过对比入侵检测模型,具有较高的有效性和可行性。

基于门控位置编码的壁画图像多级色彩还原

近年来,壁画图像的色彩还原研究已成为壁画文物保护和展示领域的一个热点问题。针对壁画色彩还原面临的整体特征信息难以有效提取和保持,局部色彩还原易出现假色以及色彩溢出等问题,提出基于门控位置编码的壁画图像多级色彩还原方法。首先,构建基于全局特征约束的编码器网络,并通过改进的多核多值池化算法提取图像的全局特征梯度作为下采样取值标准以建立壁画图像特征金字塔,从而减少壁画图像在特征编码过程中的整体特征损失;其次,为准确还原壁画图像的局部色彩信息,设计基于门控位置编码的色彩迁移模块,该模块通过约束空间域中内容特征与色彩特征之间相似性核的学习,构建色彩特征在待还原壁画图像中的准确映射,从而减少还原图像中的假色现象与色彩溢出。实验结果表明,该方法所生成的壁画还原图像相较于AdaIN(Adaptive Instance Normalization)、AST(ArbitraryStyleTransfer)等对比方法所生成的壁画还原图像,NIQE(NaturalImageQuality Evaluator)和PIQE(Perception based Image Quality Evaluator)都取得了最优的结果。可见,所提方法能有效还原壁画色彩信息并保持待还原壁画图像的整体结构纹理特征。

基于加法树压缩和乘数编码优化的乘法器设计

定点乘法器是现代信号处理常用的运算单元之一,其整体性能直接决定了系统的竞争力。为了乘法器的计算效率,设计了一种新型高能效有符号数乘法器,使用基4-Booth编码,减少了一半的部分积;另外使用直接求相反数的方法代替传统的取反加一求相反数的方法,使得部分积阵列比特数减少且形状规整,易于压缩。提出的3-2压缩器和半加器相混合的新型树型压缩结构硬件资源开销优化明显,对比现有的乘法器异或门数量下降了14%,二选一选择器数量下降了31%,总面积减少了50%,计算效率大大提高。

基于BE-MCNN模型的新闻评论情感分析方法

实时新闻评论具有文本短、信息丰富、结构复杂等特点,情感分析难以准确捕捉其真实的情感倾向。为增强语义的特征信息,减少模型过拟合问题,提高新闻评论情感分析的准确性,提出一种融合BERT模型、Transformer En⁃coder与多尺度CNN模型的新闻评论情感分析算法。首先,针对新闻评论长度较短、表达情绪观点内容较多的特点,使用BERT模型对新闻评论文本进行预训练,获得具有上下文信息的特征向量;其次,为解决模型过拟合问题,在BERT模型下游添加一层Transformer编码器;最后使用四通道双层CNN模型,通过组合不同大小尺寸的卷积核来提升模型分析新闻评论情感的性能。实验结果表明,该方法在两个新闻评论数据集上的准确率分别达到93.0%与96.4%;与不同模型的比较实验进一步证明了所提方法的有效性。

基于编解码多尺度特征优化的图像去雾算法

真实雾气不均匀分布的特点会导致基于合成数据集训练的网络对真实雾气下拍摄的图像的复原质量不佳.此外,现有去雾模型较大的网络参数量会影响去雾的实时性.针对这两个问题,提出一种参数量较低的基于编解码多尺度特征优化的图像去雾算法以去除真实场景下图像的雾气.首先,在编码部分利用跨通道上下文注意力隐式地建模像素间的关系,以恢复去雾后图像中物体的结构.然后,设计信息调节子网弥补编码器遗漏的浅层信息,解决细节恢复粗糙的问题.最后,在解码部分设计特征矫正子网,采用相减式残差结构减少噪声,保证输出结果的正确性.在多种真实雾数据集上,对所提方法的普适性进行实验.实验结果表明:在REVIDE真实雾数据集中,与MSBDN方法相比,所提方法在参数量降低46%的基础上获得了PSNR 1.25dB的提升;在OHaze、I-Haze以及RTTS多种室内外真实雾测试集中,与其他去雾方法相比,所提方法都取得了更好的PSNR结果和视觉效果.

多模态特征的越南语语音识别文本标点恢复

越南语语音识别系统输出的文本序列缺少标点符号,恢复识别文本标点有助于消除歧义,更易于阅读和理解。越南语语音识别文本中常出现破坏语义的错误音节,基于文本模态的标点恢复模型在识别带噪文本时存在标点预测不准确的问题。利用越南语语音中的语气停顿及声调变化指导模型对带噪文本作出正确的标点预测,提出多模态特征的越南语语音识别文本标点恢复方法,利用梅尔倒谱系数(MFCC)提取语音特征,利用预训练语言模型提取文本上下文特征,基于标签注意力机制实现语音与文本多模态特征融合,增强模型对越南语带噪文本上下文信息的学习能力。实验结果表明,相较于基于Transformer和BERT提取文本单一模态特征的标点恢复模型,所提方法在越南语数据集上精确率、召回率和F1值均至少提高10个百分点,验证了融合语音与文本特征对提升越南语语音识别带噪文本标点预测精确率的有效性。

MCM-ICE:联合独立编码和协同编码的多模态分类模型

多模态数据处理是一个重要的研究领域,它可以通过结合文本、图像等多种信息来提高模型性能.然而,由于不同模态之间的异构性以及信息融合的挑战,设计有效的多模态分类模型仍然是一个具有挑战性的问题.本文提出了一种新的多模态分类模型——MCM-ICE,它通过联合独立编码和协同编码策略来解决特征表示和特征融合的挑战.MCM-ICE在Fashion-Gen和Hateful Memes Challenge两个数据集上进行了实验,结果表明该模型在这两项任务中均优于现有的最先进方法.本文还探究了协同编码模块Transformer输出层的不同向量选取对结果的影响,结果表明选取[CLS]向量和去除[CLS]的向量的平均池化向量可以获得最佳结果.消融研究和探索性分析支持了MCM-ICE模型在处理多模态分类任务方面的有效性.

基于深度视觉算法的轨面伤损检测方法

针对现有目标检测器存在的推理延迟、不稳定和高计算成本等问题,提出一种基于深度学习理论的创新算法RT-DETR(RT-DETR-L),实现了对钢轨表面伤损的高效精细化检测。基于该算法设计的目标检测实验方案,去除了传统目标检测算法中的非极大值抑制(NMS)后处理步骤;引入了一个解耦单尺度内部交互和跨尺度融合的高效混合编码器;提出了一种IoU-aware初始化对象查询机制,并重新定义了目标函数。实验结果表明,该方案能有效提高算法在检测钢轨表面伤损时的准确率和召回率,在检测剥离掉块、疲劳裂纹、接头方面表现出色,准确率分别为95.1%、93.8%和99.5%,检测速度为8.62 ms/帧,参数量仅为4.2 M。该研究成果能够为钢轨养护维修提供一种准确高效的检测方案。

高阶伪随机信号在对地通讯中的应用

对地通讯(Through-The-Earth Communication,TTEC)以大地为传播介质,使用低频电磁波来传输信息,在地下工程建设调度、预警、救援中有着重要作用.高阶伪随机信号可同时包含数十个频率,其具有易于实现、频率可控、抗干扰能力强的特点,有应用于对地通讯的潜力和价值.鉴于此,本文提出一种基于高阶伪随机信号的对地通讯新方法.通过在高阶伪随机信号中设置静态频组和动态频组,利用静态频组保证多个主频的平均幅值以维持发射稳定性,利用动态频组对通讯信息编码,传输有效信息.在实际工作时,发射端将通讯信息编码转换为高阶伪随机信号,利用长导线源向大地发射,接收端利用电极或者线圈接收电磁信号,经模式识别、时频变换、反向解码转换为有效通讯信息.通过仿真测试和在济南市某煤矿井下试验,完成有效通讯信息的发射、传输、解译等过程,实现了基于高阶伪随机信号的对地通讯方法,验证了方法在地下工程通讯的可行性和可靠性.

基于深度学习的桡动脉脉搏波重构方法

目的:针对从指端脉搏波重构出桡动脉脉搏波的难题,提出一种基于深度学习的重构方法。方法:使用四通道数据采集系统PowerLab分别无创采集指端脉搏波和桡动脉脉搏波,对脉搏波信号噪声源进行分析,利用去基线算法、小波变换去噪算法、归一化预处理算法,得到稳定的信号波形。设计变分自编码器(VAE)网络模型结构参数,利用十折交叉验证法对744例受试者数据进行训练,建立桡动脉脉搏波预测模型。设置学习率、随机失活、正则化项共3项超参数,对VAE网络模型进行优化。结果:186例受试者桡动脉脉搏波重构和同步检测结果表明:低阻型和高阻型指端脉搏波经VAE网络模型建模后5%K差、20%K差、K差总方差、FIT分别为49.10%、96.70%、89.74和75.80%;低阻型和高阻型指端脉搏波经VAE网络优化模型建模后5%K差、20%K差、K差总方差、FIT分别为48.50%、94.50%、73.74和66.30%。结论:VAE网络模型建模及其优化方法可用于桡动脉脉搏波重构,重构精度较高,并具有较强的鲁棒性和泛化能力。

融合移位窗口注意力的光流计算方法

针对端到端的光流计算方法容易受限于运动模糊、遮挡和大位移的问题,通过引入注意力机制实现对遮挡像素进行更准确的预测,提出一种融合移位窗口注意力的光流计算方法.首先使用移位窗口注意力对原有的特征图进行特征增强,获取更具全局自相似性的特征,弥补了卷积特征的局部性特点;然后使用移位窗口注意力进行相关体解析,包括2D运动向量解析和光流增量的计算,获得更准确的光流增量;最后引入遮挡图作为位置编码,在计算注意力时考虑更多的像素位置关系.实验结果表明,在Sintel数据集上,端到端的误差达到1.33;在FlyingChairs数据集上,单帧计算时间为69 ms,比全局运动聚合方法减少4.2%,超过了常见光流计算方法的精度和效率.

结合LSTM自编码器与集成学习的井漏智能识别方法

为了解决传统的井漏智能识别模型因井漏样本数量受限导致其识别准确率低的问题,提出了一种长短期记忆(long short-term memory,LSTM)网络与自编码器(auto-encoder,AE)相结合、集成LSTM-AE的井漏智能识别方法。首先,采用正常样本训练多个包含不同隐藏层神经元数目的LSTM-AE模型,利用重构得分筛选出识别效果较好的几个模型作为基识别器;然后,采用集成学习对多个基识别器的识别结果进行加权融合,解决单一模型因对样本局部特征过度学习导致的误报与漏报问题,提高模型的识别准确率。从某油田18口井的钻井数据中选取了6000组正常钻进状态下的立压、出口流量、池体积数据,对集成LSTM-AE模型进行训练和测试,结果表明,提出方法的识别准确率达到了94.7%,优于其他常用的智能模型的识别结果,为井漏识别提供了一种新的技术途径。

无人机可见光遥感影像地物目标提取技术研究

无人机可见光遥感影像中地物目标边界清晰度较低,容易导致地物目标与背景之间的区分度降低,进而难以提取地物目标;为此,提出无人机可见光遥感影像地物目标提取方法;从光谱特征、纹理特征和边缘特征3个方面分析无人机可见光遥感影像特征;结合3种影像特征对无人机可见光遥感影像数据集实行增广处理;对完成增广后的数据集定义影像编码标签,以此确定地物目标增强权重,通过参量化处理地物目标光谱特征,计算光谱吸收指数,获取地物目标提取表达式,从而实现无人机可见光遥感影像地物目标提取;实验结果表明,所提方法能够保证地物目标边界的清晰度,具有较强的地物目标提取能力。

结合传递比与栈式自编码器的结构损伤识别

如何从土木结构响应数据中挖掘损伤特征并有效分类,是实现损伤模式识别的关键。为此,以框架结构为分析对象,搭建设有自编码器隐藏层和Softmax分类层的栈式自编码器网络,采用无监督联合有监督的混合学习机制;基于有限元分析获取框架不同工况下的传递比函数值,构建训练集、验证集和测试集样本;通过预训练确定自编码器隐藏层的参数值如权重和偏置值,避免网络出现过拟合;采用微调方式进一步调整预训练后的网络参数值,再结合验证集实现对网络超参数的调整;将实测传递比数据输入网络,实现对框架节点损伤的评估。结果表明:所提方法能有效进行损伤特征的提取和分类,准确识别框架节点的单、双损伤工况,相较于传统浅层神经网络具有更高的识别准确度和更好的抗噪性。