双通道特征融合的真实场景点云语义分割方法

真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。

基于多通道特征融合的上下位关系抽取方法

上下位关系抽取是知识图谱构建的关键环节,目前常用的基于模板和分布式的方法存在可移植性差、召回率低等不足。针对这些问题,提出了一种基于多通道特征融合的上下位关系抽取方法,通过预训练词嵌入、双向LSTM和依存句法树结果编码三个通道来构建模型编码器。首先,提出了上下位关系抽取整体框架,包括数据挖掘与标注模块、特征抽取模块、候选句打分模块及结果排序模块。然后,针对特征抽取模块,提出了融合句法依存关系、上下文特征以及预训练特征的自适应编码方法;针对句子打分模块,提出了包含编解码器结构的网络模型。最后,通过对准确率、召回率、查全率进行消融实验,表明所提出的模型具有较好的有效性和更好的可解释性。

基于多尺度局部特征编码与多通道特征融合的图像场景分类

场景分类在图像理解和计算机视觉中是一个挑战性问题。有效的图像表示在场景分类任务中至关重要。CNN特征在场景分类任务中表现相对突出,但仍有缺陷,其主要表征图像的全局特征,忽略了局部信息,且缺乏几何不变性。本文通过编码多尺度局部图像块的中层CNN特征,获得图像的局部信息,并将编码特征与原始图像的全局CNN特征进行多通道融合来描述场景图像,获得更高效的图像表示,以实现更好的分类判别。本文在两个常用的场景数据集上进行实验评估,结果表明,该方法在场景分类任务中取得了令人满意的效果。

基于通道特征融合的水下图像轻量增强网络

针对水下探测机器人在视觉感知过程中由于图像退化容易造成辨识困难的问题,提出基于通道特征融合的水下图像轻量化增强网络。通过构建基于通道注意力模块的随机残差结构,并设计通道混洗模块,实现原图像与图像各层特征的细节融合;采用基于倒残差卷积的通道评分模块,通过通道之间的回归分离,提升网络对图像的增强效果;最后,网络以水下图像在颜色、局部特性等方向的增强为目标,设计包括高斯均方损失、结构性相似损失与感知损失等在内的网络损失函数,完成图像增强训练。通过对真实水下环境数据进行实验验证,算法在水下颜色色偏有更好的适应性,增强效果在细节保留上处理更优,模型参数更少,推理速度更快,更适合小型水下探测机器人的应用部署。

基于双通道多特征融合的发电设备绿色节能控制方法研究

以往的发电设备绿色节能控制方法由于仅提取发电设备运行状态的功率特征,导致方法的控制效果较差。因此,设计了基于双通道多特征融合的发电设备绿色节能控制方法。首先,分析双通道多特征融合基本原理,利用传感器获取大量发电设备运行状态数据,并对数据进行优化处理,以分析发电设备运行状态与能耗之间的关系。其次,构建发电设备运行状态数学模型,从中提取发电设备运行状态多个特征信息,并利用双通道结构对提取的特征信息进行融合。然后,设计双通道多特征融合控制策略,以融合提取的数据特征。最后,计算对应的控制参数,通过计算发电设备运行过程中的能耗阈值,制定对应的电力设备绿色节能控制策略。试验结果表明,与以往的发电设备绿色节能控制方法相比,所提方法在实际应用中节能效益最高可达44.5%。该方法具有节能效益高、易于操作和维护、实时性好和灵活性高等特点,在发电设备绿色节能控制领域具有广阔的应用前景。

基于多通道融合特征网络的文本情感分析

针对现有文本情感分析基础深度学习模块特征提取不够全面,语义表示不准确及训练效率低等问题,提出了基于多通道融合特征网络的文本情感分析模型。首先,采用针对汉字优化的预训练模型ChineseBERT提取文本的动态词向量表征,解决静态词向量存在的无法表示多义词问题,提升词向量语义表征质量;然后,通过多通道融合特征网络全面捕捉文本不同尺度下的语义特征融合向量表示,增强模型对文本深层次情感特征的学习能力;并利用软注意力机制计算每个特征对情感极性类型识别的影响权重,赋予关键特征更高权重,避免无关特征对结果造成干扰;最后,由线性层输出文本情感分类结果。在SMP2020微博疫情相关情绪分类评测数据集、购物评论数据集和酒店评论数据集上进行实验验证,分别取得了76.59%、97.59%和95.72%的F1分数以及76.6%、97.59%和95.73%的准确率,高于近期表现优秀的对比深度学习模型,验证了该模型在文本情感分析任务上的有效性。

基于深度时空特征融合的多通道运动想象EEG解码方法

脑电(EEG)是一种在临床上广泛应用的脑信息记录形式,其反映了脑活动中神经细胞放电产生的电场变化情况。脑电广泛应用于脑-机接口(BCI)系统。然而,研究表明脑电信息空间分辨率较低,这种缺陷可以综合分析多通道电极的脑电数据来弥补。为了从多通道数据中高效地获取到与运动想象任务相关的辨识特征,该文提出一种针对多通道脑电信息的卷积神经网络(MC-CNN)解码方法,先对预先选取好的多通道数据预处理后送入2维卷积神经网络(CNN)进行时间-空间特征提取,然后利用自动编码(AE)器把这些特征映射为具有辨识度的特征子空间,最后指导识别网络进行分类识别。实验结果表明,该文所提多通道空间特征提取和构建方法在运动想象脑电任务识别性能和效率上都具有较大优势。

基于双通道特征融合的CNN-LSTM轴承故障诊断方法

针对滚动轴承故障诊断过程中特征提取复杂、难以捕获时间序列数据之间的长期依赖问题,提出了双通道特征融合的CNN-LSTM故障诊断模型。首先将原始振动数据同时输入到CNN中和LSTM通道中,其次利用CNN和LSTM的各自优势分别提取原始振动数据的空间特征以及时序信息特征,将提取到的特征信息进行融合,最后将融合后的特征输入到softmax完成故障分类。经实验证明,与CNN-LSTM、CNN、LSTM 3种故障诊断模型相比,所提出的模型直接以原始信号进行故障诊断的准确率可达99.64%,且融合后的特征更容易区分不同故障状态。在不同噪音背景下,所提模型也保持了95%以上的故障诊断准确率,具有较好的抗噪性。

融合轻量化神经网络的矿用输送带钢芯损伤检测方法

为了提高矿用输送带钢芯损伤的检测准确度和实时性,对传统YOLOv5算法进行了改进。首先,引入轻量化神经网络,大幅度降低模型复杂度和运算量;其次,引入高效通道注意力(efficient channel attention,ECA)机制,提升检测准确度,并加快损失函数的收敛速度;再次,采用加权双向特征金字塔网络(bi-directional feature pyramid network,BiFPN),融合高分辨率和低分辨率的图像特征,提升模型的综合性能。实验结果表明,与YOLOv5模型相比,改进模型的参数量和浮点运算量分别减少了约64.52%和69.07%,网络层数由468层降低至295层,检测精确度和召回率分别提升了约15.83%和3.93%,检测速度达到了109.89帧/s。

自适应权重多特征融合目标跟踪算法

针对目标追踪过程中目标发生旋转变化、目标出现遮挡而导致目标跟踪失败的问题,提出了一种基于多特征融合自适应权重配比目标跟踪算法。根据方向梯度特征、颜色特征、灰度特征对视频序列进行预处理后实现多特征提取和融合,形成多通道特征;根据不同环境下各特征通道对追踪效果的影响程度不同,设计了特征通道自适应权重配比,提出了基于多特征融合的权重配比表征方法;考虑到目标物体外观特征表现能力与运算速度,引入基于分割掩码和拉格朗日方程的联合滤波器组快速优化方法;基于VOT2016基准测试平台,对算法进行了实验测试。结果表明:本文算法所设计的跟踪器在目标物体快速旋转变化、目标物体过大尺度变化、目标物体遭遇部分遮挡及其在被完全遮挡后复现等情况下,都能对目标物体实现精准实时跟踪。

基于深度学习网络融合的自动调制分类方法

基于深度学习网络的自动调制分类(Automatic Modulation Classification, AMC)方法虽然对大多数通信调制信号能够取得满意的分类效果,但对WBFM(Wide Band Frequency Modulation)信号和MQAM(Multiple Quadrature Amplitude Modulation)信号的分类并不理想。针对WBFM信号误判的问题,使用判决法来筛选WBFM信号;考虑到信号样本不平衡的情况,引入数据增强方法扩充筛选后的WBFM信号。针对MQAM信号混淆的问题,利用分数阶傅里叶变换(Fractional Fourier Transform, FRFT)获取时频维度更多的特征信息。在此基础上,提出一种基于特征金字塔网络和长短时记忆网络并联的多通道特征融合网络(Multi-channel Feature Fusion, MFF)来提取信号的深层特征和浅层特征进行分类。实验结果表明:本文所提方法在一定程度上能够解决WBFM信号的误判问题和MQAM信号的混淆问题;与CNN(ConvolutionalNeuralNetwork)、ResNet(ResidualNetwork)、LSTM(LongShortTerm Memory)、CLDNN(Convolutional Long Short-term Deep Neural Network)网络相比,所提网络具有更高的分类准确率。

卷烟厂卷包车间工人违规作业行为检测方法

小目标检测一直是目标检测领域的难点,针对卷烟厂卷包车间摄像头安装位置较高、小目标检测精度低和总体检测精度较低的问题,提出了一种改进的YOLOv8n目标检测算法YOLOv8n-FIAL。首先使用添加通道重排机制的C2fg模块代替原本C2f模块,提高特征学习能力,使用自适应通道特征融合模块代替YOLOv8n算法Neck部分的Concate操作,使特征融合更加充分;然后增加小目标检测层,提高小目标检测精度,降低漏检率;最后使用Focal-EIOU损失函数替换原来的CIOU损失函数,平衡锚框与真实框重叠较大的高质量锚框的数量远少于低质量锚框训练实例不平衡的问题。实验结果表明,在自制的卷烟厂工人违规作业数据集上,所提出的YOLOv8n-FIAL检测方法相比原始的YOLOv8n方法的总体平均精度均值提升了7.6%,对口鼻、手拿手机和衣服领口这3类小目标平均精度均值提升最大,分别提升了8.3%,8%和9.6%;在公共数据集VOC2007上,YOLOv8n-FIAL算法相比YOLOv8n算法的总体平均精度均值提升了1.6%。

基于改进YOLOv5的黄花成熟度检测方法

为统一辨识标准,提高成熟黄花采摘的检测精度和实时性能,提出一种改进的GCS-BI YOLOv5图像检测算法。首先,利用轻量化神经网络(Ghost Net)精简模型结构,节省计算资源;其次,为兼顾图像通道信息、位置信息,交叉引入高效注意力机制(CBAM和SE),提升图像特征感知能力和模型收敛速度;然后,采用加权双向特征金字塔网络(BI FPN),融合多尺度图像信息,提升模型对不同目标的综合检测性能。结果表明,与原始算法YOLOv5相比,所提算法在模型体积、网络层数、参数量、浮点运算量等轻量化指标方面分别下降62.89%、33.12%、63.01%、68.39%;在精确度、召回率等性能指标方面分别提升7.77、6.28百分点;实时性能提升了33.81 f/s。可见,改进算法的综合性能较优,能够满足黄花成熟度检测的要求。

一种水稻害虫的小目标检测方法研究

在水稻害虫的防治中,往往会因为田间背景杂乱、叶片与害虫颜色相似、害虫个头较小导致水稻害虫不易被察觉。针对田间水稻害虫检测精度不高的问题,提出一种多尺度均衡级联检测模型(ME-Cascade)。为更好地提取水稻害虫这种小目标的特征,该模型以级联神经网络(Cascade RCNN)为基础,引入多尺度骨干网络结构Res2Net,实现单个残差块中构建类似残差的分层连接。然后在区域生成网络中加入跨通道特征融合层,降低训练过程中背景叶片与目标害虫颜色相似带来的干扰,增强候选区域定位的准确性。并在级联检测器中使用样本均衡化采样,解决目标害虫与背景特征数量差异大带来的正负样本不均衡问题,减少小目标的错检漏检。最后,为避免深层网络在小样本检测中梯度爆炸和过拟合的发生,在梯度下降中使用梯度裁剪技术。将该模型用于公开发表的水稻虫害数据集上,mAP达到了96.9%,比原始Cascade RCNN模型提高了2.7百分点,验证了该模型在真实田间的水稻害虫上具有更好的识别效果。

改进YOLOv8的航拍图像小目标检测算法

针对在航拍图像检测任务中,物体和整体图像尺寸都比较小,尺度特征不一和细节信息不清晰,会造成漏检和误检等问题,提出了一种改进小目标检测算法CA-YOLOv8。设计了一种通道特征部分卷积模块CFPConv(chan-nel feature partial convolution),基于此重新构造了C2f中的Bottleneck结构,命名为CFP_C2f,从而替换YOLOv8头部和颈部的部分C2f模块,增强有效通道特征权值,提升多尺度细节特征的获取能力。嵌入一种用以提升上下文聚合能力的模块CAM(context aggregated module),优化特征通道的响应,强化对深层特征的细节感知能力。添加NWD损失函数,将其与CIoU结合作为定位回归损失函数,降低位置偏差的敏感性。充分运用多重注意力机制的优势,把原有检测头替换为DyHead(dynamic head)。在VisDrone2019数据集的实验中,改进的算法较YOLOv8s原模型参数量降低了33.3%,检测精度mAP50值和mAP50:95分别提升了8.7和5.7个百分点,表现出良好的性能,验证了其有效性。

基于岩屑录井图像的井壁稳定性智能预测方法

钻井现场通常利用岩石力学的分析结果对井壁稳定性进行预测,但其时效性普遍较差。为此,利用实时的岩屑录井图像资料建立了包括16种掉块形状和岩性的图像样本库,并以深度学习网络的高效特征提取技术为基础,建立了一种基于掉块图像特征的井壁失稳类型分析模型,针对钻井返出砂样图像中的掉块图像进行形状和岩性识别,以判定钻进地层和井壁失稳的类型。研究结果表明:①使用ShuffleNetV2网络作为智能系统基础架构,在单元模块中引入了XConv卷积核并行分支和SimAM注意力机制模块,强化了网络对掉块图像标志性特征信息的关注度;②对ShuffleNetV2网络中的Stage 2、Stage 3和Stage 4进行了多通道特征融合算法的设计,保留了掉块轮廓关键特征,最终改进的ShuffleNetV2网络模型对掉块形状及岩性的识别准确率为90.56%。结论认为,现场应用的效果验证了该方法的可靠性,从砂样图像输入到结果输出用时低于1 s,识别结果与地质资料以及施工过程的工况基本吻合,该方法能满足现场对井壁稳定状况快速感知的现实需求。

复杂背景下的SAR图像多尺度舰船检测

合成孔径雷达(Synthetic Aperture Radar,SAR)图像中复杂背景舰船目标的定位和检测,是SAR图像用于海洋监测的关键技术之一。提出一种基于跨连接特征金字塔网络(Cross Connected Feature Pyramid Networks,CCFPN)的SAR图像多尺度舰船目标检测算法,较好地解决了复杂背景下的多尺度目标检测问题。构建CCFPN增强舰船目标深层特征与浅层特征的传递;利用多路空洞卷积提高浅层特征提取能力;使用通道拼接方式丰富融合后特征图的信息量。所提出的算法在公开数据集的检测结果表明:该算法能够实现不同数据集复杂、模糊背景下的舰船多尺度目标检测,算法的平均精度(Average Precision,AP)达到95.62%,整体性能优于现有主流目标检测算法。

基于多尺度紧密残差网络的超分辨率重建

针对目前图像的超分辨率重建任务中存在网络提取特征尺度比较单一,深层特征和浅层特征不能有效的进行传递,重建的图像细节模糊等问题,提出了一种基于多尺度紧密残差网络的超分辨率重建算法。该算法的多尺度多通道特征融合模块可以提取不同尺度特征,多通道设计增加了跨通道的学习能力;紧密残差模块可以将更多的浅层特征传递到网络的深处,有效的减轻梯度消失和梯度爆炸。实验结果表明,该算法有很大的先进性和有效性,在主观评价和客观评价方面优于其他4种对比的算法。其中,在放大因子为4时,方法比VDSR方法在PSNR和SSIM指标上分别提升了0.22dB和0.015。

一种复合型手势识别方法研究

针对已有卷积神经网络在手势识别过程中精度不高的问题,提出了一种双通道卷积神经网络的特征融合与动态衰减学习率相结合的复合型手势识别方法。通过两个相互独立的通道进行手势图像的特征提取,首先使用SENet(Squeeze-and-Excitation Networks)构成的第一通道提取全局特征,然后使用RBNet(Residual Block Networks)构成的第二通道提取局部特征,并将全局特征和局部特征进行通道维度上的融合。同时,利用动态衰减的学习率训练双通道网络模型。与其他卷积神经网络模型的对比实验结果表明,提出的复合型手势识别方法的手势识别率高,参数数量少,适用于不同手势图像数据集的识别。

基于MHMM的导引头伺服机构机械故障智能诊断

针对导引头伺服机构结构局部损伤难以基于传统时频域信号分析方法进行有效诊断的问题,提出一种基于多链隐马尔可夫模型(MHMM)的多通道特征融合智能故障诊断方法。首先,充分利用多通道信号中蕴含的丰富机械故障特征信息,基于多通道采集的振动信号和经典时域特征提取方法,构建多通道时序特征库;然后,利用多链隐马尔可夫模型所特有的动态网络结构同步智能提取多通道信号中所隐藏的故障特征统计规律,基于不同故障状态下的多通道数据构建的时序特征库,构建故障状态模型库;最后,基于测试数据在模型库的输出似然概率,估计测试数据与各模型的匹配程度,确定测试对象所处故障状态,实现设备故障智能诊断。采用工程试验数据验证方法有效性,结果表明,所提出的方法可以有效实现对伺服机构机械故障的智能诊断。