基于跨通道特征增强图卷积网络的骨架行为识别

受限于图卷积网络的局部操作模式,传统图卷积网络骨架行为识别方法难以建模远关节点关系和长时间信息,无法捕捉动作间的局部微小变化.因此,文中提出基于跨通道特征增强图卷积网络的骨架行为识别(Cross-Channel Feature-Enhanced Graph Convolutional Network for Skeleton-Based Action Recognition,CFE-GCN),包括双部分分组图卷积模块、跨阶段部分密集连接模块及多尺度时间卷积模块.双部分分组图卷积模块采用分组策略,对人体关节点建模,提取多粒度特征,捕获关节点之间的局部细微差异.跨阶段部分密集连接模块建立节点与前网络层之间的关联,丰富早期信息,捕捉长期运动关节间的潜在关系,学习更全面的上下文特征.多尺度时间卷积模块执行不同感受野的时间卷积,捕捉运动在时间域上的短期依赖关系和长期依赖关系.在3个基准数据集上的实验表明CFE-GCN性能较优.

基于边缘特征融合和跨连接的车道线语义分割神经网络

无人驾驶中的车道线检测任务需要同时确定车道线的位置、颜色和线型,而现有方法通常仅识别车道线的位置,不识别车道线的类型.为了端到端地解决这一问题,设计了一种语义分割神经网络,将一幅图像中不同车道线分割为不同区域,用每个区域的类别标签表示其对应的车道线类型.首先,在主流的编码器-解码器框架下,构建了一个结构较为简单的基础网络.考虑到边缘特征是车道线检测中的重点,为基础网络的编码器并联了一个边缘特征提取子网络,通过逐层融合边缘特征图和原始特征图增强车道线的特征.边缘特征提取子网络的结构与基础网络的编码器相同,其输入是对车道线图像进行Sobel滤波的结果.此外,编码器和解码器对称位置的卷积层输出的特征图尺寸相同,但具有不同的语义层级.为了更好地利用这一特性,建立从编码器到解码器对称位置的跨连接,在解码器逐层上采样的过程中融合编码器对应尺寸的特征图.在TSD-Lane车道线检测数据集上的实验表明,相比于基础网络,基于边缘特征融合和跨连接的神经网络的分割性能得到了较为显著的提高.该网络具有较好的车道线分割性能,能够在确定车道线位置的同时,区分黄线或白线、虚线或实线.在计算资源充足的前提下,该网络能够达到实时的检测速度.

基于跨连接LeNet-5网络的面部表情识别

为避免人为因素对表情特征提取产生的影响,本文选择卷积神经网络进行人脸表情识别的研究.相较于传统的表情识别方法需要进行复杂的人工特征提取,卷积神经网络可以省略人为提取特征的过程.经典的LeNet-5卷积神经网络在手写数字库上取得了很好的识别效果,但在表情识别中识别率不高.本文提出了一种改进的LeNet-5卷积神经网络来进行面部表情识别,将网络结构中提取的低层次特征与高层次特征相结合构造分类器,该方法在JAFFE表情公开库和CK+数据库上取得了较好的结果.

金字塔底层市场的跨部门合作网络研究述评

金字塔底层(BOP)市场由全球广大的低收入群体构成,蕴含着尚未发掘的巨大财富,而企业在该市场内进行商业创新时与政府部门、非营利机构、社区组织与穷人自身等非传统组织与个体形成的跨部门合作网络是实现多元价值创造与分享的关键组织形式。文章结合相关文献对BOP市场的跨部门合作网络的内涵、形成动因、网络特征与绩效产出等方面进行归纳与阐述,提出后续研究的重点与方向。

基于跨模态注意力融合的煤炭异物检测方法

为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题,提出了一种基于跨模态注意力融合的煤炭异物检测方法。通过引入Depth图像构建RGB图像与Depth图像的双特征金字塔网络(DFPN),采用浅层的特征提取策略提取Depth图像的低级特征,用深度边缘与深度纹理等基础特征辅助RGB图像深层特征,以有效获得2种特征的互补信息,从而丰富异物特征的空间与边缘信息,提高检测精度;构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块(CAFM),以协同优化并融合RGB特征与Depth特征,增强网络对特征图中被遮挡异物可见部分的关注度,提高被遮挡异物检测精度;使用区域卷积神经网络(R-CNN)输出煤炭异物的分类、回归与分割结果。实验结果表明:在检测精度方面,该方法的AP相较两阶段模型中较优的Mask transfiner高3.9%;在检测效率方面,该方法的单帧检测时间为110.5 ms,能够满足异物检测实时性需求。基于跨模态注意力融合的煤炭异物检测方法能够以空间特征辅助色彩、形状与纹理等特征,准确识别煤炭异物之间及煤炭异物与输送带之间的差异,从而有效提高对复杂特征异物的检测精度,减少误检、漏检现象,实现复杂特征下煤炭异物的精确检测与像素级分割。

基于跨连特征融合网络的面部表情识别

传统神经网络特征单向处理难以有效利用高层抽象特征和低层细节特征,不能获得更多有用信息,为此提出跨连特征融合神经网络(cross-connected feature fuse,CFF)模型,进一步提高面部表情分类的准确率。在AlexNet卷积神经网络的基础上,通过结合低层池化层与高层池化层中的特征,获取更多全面、细致的表情特征信息,使用矩阵的方式表示模型处理过程。在REN_VFEdb面部表情数据库上的实验结果表明,CFF的分类准确率为93.56%,比AlexNet卷积神经网络提高了1.12%。

跨尺度移位的有向目标检测方法

目标类内尺度差异大以及类间相似程度高给传统遥感目标检测带来挑战,多尺度信息融合以及基于FasterR-CNN的有向检测方法是解决尺度差异性及类间相似性的有效手段。但多尺度权重融合策略忽视了跨尺度对图像语义特征的提取导致检测精度低,同时基于FasterR-CNN的有向检测方法精度低速度慢。针对上述问题,提出一种跨尺度移位的有向目标检测方法。首先通过改进特征金字塔网络(FPN)实现多层特征图高效融合;其次在网络中加入跨尺度移位模块(CSM)提升FPN中多尺度特征间的相关性;最后采用有向区域建议网络(ORPN)提升了有向候选框的转换效率。本文方法分别在DOTA-v1.5和HRSC2016遥感数据集上开展测试,相比对照组,均值准确率(mAP)分别提升了3.68%和1.32%;同时在单块2080ti上用1024×1024图像进行测试,检测速度提升5.9%。

基于全局位置信息和残差特征融合的SAR船舶检测算法

针对合成孔径雷达(synthetic aperture radar,SAR)图像船舶目标尺度不一且易受海面、地面杂波和相干斑噪声的影响,难以提取目标多维特征且特征融合过程中易产生语义歧义,造成船舶目标检测率低,虚警率高的问题,提出一个基于全局位置信息和残差特征融合的SAR船舶目标检测算法。基于Faster区域卷积神经网络(region convolutional neural network,R-CNN)目标检测算法,在特征提取网络和特征融合网络中进行改进:在特征提取网络中使用高宽注意力机制提取目标在图像中的全局位置信息,增强目标的多维特征提取能力;在特征融合网络中使用带有残差连接的双向特征金字塔网络削弱特征融合过程中的语义歧义,降低复杂背景下的船舶目标虚警率,同时进行不同层级的多尺度特征双向融合,增强高低层特征的联系,提升多尺度船舶目标的检测能力。在SAR船舶数据集上达到98.2%的均值平均精度,超过部分算法2.4%以上。实验表明,所提算法有效提取了目标的多维特征,显著缓解了语义歧义问题,具有较好的检测能力和泛化能力。

基于多尺度特征融合和密集连接网络的疏果期黄花梨植株图像分割

由于自然环境下果蔬植株的果实、枝干和叶片等目标尺度不一、边缘不规则,因此造成其准确分割较为困难。针对该问题,提出1种多尺度特征融合和密集连接网络(Multi-scale feature fusion and dense connection networks,MDNet)以实现黄花梨疏果期植株图像的准确分割。在研究中借鉴了编码-解码网络,其中编码网络采用DenseNet对多层特征进行复用和融合,以改善信息传递方式;解码网络使用转置卷积进行上采样,结合跳层连接融合浅层细节信息与深层语义信息;在编码、解码之间加入空洞空间金字塔池化(Atrous spatial pyramid pooling,ASPP)用于提取不同感受野的特征图以融合多尺度特征,聚合上下文信息。结果表明,ASPP有效提高了模型的分割精度,MDNet在测试集上的平均局域重合度(MIoU)为77.97%,分别较SegNet、Deeplabv2和DNet提高了8.10个、5.77个和2.17个百分点,果实、枝干和叶片的像素准确率分别为93.57%、90.31%和95.43%,实现了黄花梨植株果实、枝干和叶片等目标的准确分割。在翠冠梨植株图像的独立测试中,MIoU为70.93%,表明该模型具有较强的泛化能力,对自然环境下果蔬植株图像的分割有一定的参考价值。

融合多尺度特征的遮挡番茄病害图像识别研究

针对复杂环境下因叶片重叠遮挡以及目标较小等原因而导致番茄病害识别准确率较低的问题,提出一种多尺度级联模型(IMS-Cascade)。该模型以级联神经网络(Cascade R-CNN)为基础,在主干网络中引入融合上下文信息的可切换空洞卷积,使用复杂的多尺度卷积核提取目标特征,解决同种病害因叶片遮挡而形状差异较大的问题,并在特征融合网络中添加反馈连接模块,使模型可以进行多次的特征提取,提高浅层信息的利用率。最后在损失函数上增大准确样本的梯度,降低异常样本对模型的影响。将该模型用于Plant Village公开发表的部分番茄叶病害数据集上,mAP达到89.1%,平均准确率达到99.36%,分别比原始Cascade R-CNN模型提高2.5%和1.84%,具有更高检测精度,有利于复杂环境下的番茄病害检测。

基于跳跃连接金字塔模型的小目标检测

随着深度学习的发展,目标检测已经获得了较高的精度和效率。但是小目标的检测仍然是一个挑战。小目标检测准确率较低的重要原因是没有充分利用高层特征的语义信息和低层特征的细节信息之间的关系。针对上述问题,本文提出一种基于跳跃连接金字塔模型的小目标检测方法。与其他的目标检测方法不同,本文提出利用跳跃连接金字塔结构来融合多层高层语义特征信息和低层特征图的细节信息。而且为了更好地提取不同尺度物体对应的特征信息,在网络模型中采用不同大小的卷积核和不同步长的空洞卷积来提取全局特征信息。在PASCAL VOC和MS COCO数据集上进行了实验,验证了算法的有效性。

基于CSPNet-YOLOv7目标检测算法的煤矸图像识别模型

煤矸识别技术是矿井智能化建设的关键技术之一,针对工作面低照度高粉尘环境造成的煤矸识别模型精度不高以及小目标煤矸难以识别的问题,提出一种基于CSPNet-YOLOv7目标检测算法的煤矸图像识别模型。采用跨阶段部分网络(Cross Stage Partial Network,CSPNet)改进YOLOv7模型的主干特征提取网络,优化梯度信息减少网络参数,同时采用递归特征金字塔(Recursive Feature Pyr-amid,RFP)和可切换卷积(Switchable Auto Convolution,SAC)替换颈部特征提取网络中简单的上下采样和普通卷积模块,并采用3次迁移训练进行不同宽度和深度的特征学习,增强网络的泛化能力。试验结果表明,CSPNet-YOLOv7模型的平均精度均值为97.53%,准确率为92.24%,召回率为97.91%,F1得分为0.95,模型的参数量为30.85×10^(6),浮点运算次数为42.15×10^(9),每秒传输帧数为24.37 f/s,与YOLOv7模型相比,平均精度均值提高了7.46%,参数量和浮点运算次数分别降低了17.23%和60.41%,相较于FasterRCNN-Resnet50、YOLOv3、YOLOv4、MobileNet V2-YOLOv4、YOLOv4-VGG、YOLOv5s模型、CSPNet-YOLOv7模型对煤矸识别的平均精度均值最高,同时参数量和浮点运算次数较小,在识别精度和速度之间有着较好的平衡。最后,通过井下现场试验验证了CSPNet-YOLOv7模型,为煤矸精准识别提供了有效技术手段。

基于多尺度特征融合的红外单目测距算法

由于MonoDepth2的提出,无监督单目测距在可见光领域取得了重大发展;然而在某些场景例如夜间以及一些低能见度的环境,可见光并不适用,而红外热成像可以在夜间和低能见度条件下获得清晰的目标图像,因此对于红外图像的深度估计显得尤为必要。由于可见光和红外图像的特性不同,直接将现有可见光单目深度估计算法迁移到红外图像是不合理的。针对该问题,对MonoDepth2算法进行改进,提出了基于多尺度特征融合的红外单目测距算法。针对红外图像低纹理的特性设计了一项新的损失函数边缘损失函数,旨在降低图像重投影时的像素误匹配。不同于以往的无监督单目测距单纯地将四个尺度的深度图统一上采样到原图像分辨率计算投影误差而忽略了尺度之间的关联性以及不同尺度之间的贡献差异,将加权的双向特征金字塔网络(BiFPN)应用于多尺度深度图的特征融合,解决了深度图边缘模糊问题。另外用跨阶段部分网络(CSPNet)替换残差网络(ResNet)结构,以降低网络复杂度并提高运算速度。实验结果表明,边缘损失更适合红外图像测距,使得深度图质量更高;在加入BiFPN结构之后,深度图像的边缘更加清晰;将ResNet替换为CSPNet之后,推理速度提高了大约20个百分点。该算法能够准确估计出红外图像的深度,解决夜间低光照场景以及一些低能见度场景下的深度估计难题;该算法的应用也可以在一定程度上降低汽车辅助驾驶的成本。

结合优化U⁃Net和残差神经网络的单通道语音增强算法

语音增强的目的是从带噪语音中恢复出干净的语音信号,为了解决现有深度神经网络中语音增强算法不稳定,语音增强效果不理想的问题,提出一种改进的U⁃Net网络与残差神经网络相结合的语音增强算法。首先,该方法构建了一个基于U⁃Net网络的端到端的语音增强模型;然后在该模型的编解码块中引入残差单元,将残差神经网络结构的跨层连接和拟合残差项应用到模型训练中,该方法更有利于恢复目标语音的细节特征信息,增强了模型训练的稳定性,提高了模型的特征提取能力和训练效率,改进后的Residual⁃U⁃Net网络模型能够实现更优的语音增强效果。仿真实验结果表明:与现有的其他几种语音增强方法相比,文中所提出的Residual⁃U⁃Net算法更有效地实现了语音增强,此外,该算法具有良好的去噪效果,进一步提高了语音信号的质量及其可懂度。

复杂背景下的SAR图像多尺度舰船检测

合成孔径雷达(Synthetic Aperture Radar,SAR)图像中复杂背景舰船目标的定位和检测,是SAR图像用于海洋监测的关键技术之一。提出一种基于跨连接特征金字塔网络(Cross Connected Feature Pyramid Networks,CCFPN)的SAR图像多尺度舰船目标检测算法,较好地解决了复杂背景下的多尺度目标检测问题。构建CCFPN增强舰船目标深层特征与浅层特征的传递;利用多路空洞卷积提高浅层特征提取能力;使用通道拼接方式丰富融合后特征图的信息量。所提出的算法在公开数据集的检测结果表明:该算法能够实现不同数据集复杂、模糊背景下的舰船多尺度目标检测,算法的平均精度(Average Precision,AP)达到95.62%,整体性能优于现有主流目标检测算法。

融合优化特征提取结构的目标检测算法

针对DETR对小目标的检测精度低的问题,基于DETR提出一种优化特征提取结构的目标检测算法——CF⁃DETR。首先通过结合了优化跨阶段部分(CSP)网络的CSP⁃Darknet53对原始图进行特征提取并输出4种尺度的特征图;其次利用特征金字塔网络(FPN)对4种尺度特征图进行下采样和上采样后进行拼接融合,并输出52×52尺寸的特征图;最后将该特征图与位置编码信息结合输入Transformer后得到特征序列,输入到作为预测头的前向反馈网络后输出预测目标的类别与位置信息。在COCO2017数据集上,与DETR相比,CF⁃DETR的模型的超参数量减少了2×10^(6),在小目标上的平均检测精度提高2.1个百分点,在中、大尺寸目标上的平均检测精度提高了2.3个百分点。实验结果表明,优化特征提取结构能够在降低模型超参数量的同时有效提高DETR的检测精度。

改进特征金字塔网络的遥感影像崩滑体提取

针对大多数网络存在精度低,特征冗余,计算量大,训练时间长等问题,提出密集连接特征金字塔网络(DCFPN),将特征提取网络得到的特征图通过一组并行深度可分离空洞卷积进一步计算其全局语义信息,并搭建解码上采样网络,加入连接组合特征层的结构,对遥感影像进行语义分割实现崩滑体提取,较好地解决了参数量过多,计算时间较长和精度较低等问题。通过特征金字塔网络(FPN)和DCFPN在崩滑体数据集上的大量对比实验表明,DCFPN在崩滑体语义分割方面有更高的精度并且计算量更少,训练时间更短,能够更好地为应急抢险工作。

复杂场景下基于改进YOLOv3的口罩佩戴检测算法

新型冠状病毒可以通过呼吸道飞沫等方式传播,正确佩戴口罩可以有效防止病毒传染,但是自然场景中通常存在遮挡、密集人群和小尺度目标等复杂因素,对人脸佩戴口罩的检测效果产生影响。针对该问题,在YOLOv3算法的基础上,提出复杂场景下的口罩佩戴检测算法。结合跨阶段局部网络对DarkNet53骨干网络进行改进,以降低计算消耗并提高训练速度。在YOLOv3算法中引入改进的空间金字塔池化结构,通过自上而下和自下而上的特征融合策略优化多尺度预测网络,从而实现特征增强。选取CIoU作为损失函数,考虑目标与检测框之间的中心点距离、重叠率以及长宽比信息。实验结果表明,与YOLOv3算法相比,该算法在人脸目标和人脸佩戴口罩目标上的检测精度分别提高7.3%和14.9%,检测速度平均提高6FPS。

基于CBD-YOLOv3的小目标检测算法

针对主流目标检测算法在检测小目标时精度差、无法满足实时性能的问题,提出了一种基于改进YOLOv3的小目标检测算法:CBD-YOLOv3.首先对YOLOv3的主干特征提取网络进行优化,将其与跨阶段局部网络融合,使得计算量减少的同时保持了卷积网络的学习能力,再利用双层的特征金字塔网络加强特征提取并生成4张特征图用于预测,同时引入改进的DIoU损失函数代替原网络中的均方误差损失,提高小目标定位精度,最后再结合有效的数据处理与训练方法形成CBD-YOLOv3算法.本文在COCO数据集与其他目标检测算法进行对比测试,实验结果表明CBD-YOLOv3算法能够在满足实时性能的前提下有效提高小目标检测的平均精度,且对中大型目标也有一定程度的提升.

基于改进YOLOv5算法的珊瑚礁底栖生物识别方法

现有珊瑚礁底栖生物识别方法存在提取特征困难、实时性较差等问题,导致珊瑚礁底栖生物的识别精度不高。本文引入YOLOv5算法,通过设计跳转连接操作向深层网络传递清晰目标特征,解决了由真实近海图像的退化特性带来的底栖生物特征模糊的问题。同时,引入卷积注意力机制模块,解决了无效特征影响识别精度的问题。实验结果表明:本文提出的改进算法无论是识别精度还是识别速度均优于基准算法和目前较先进的单激发多框探测器等算法,从而证明了本文算法的有效性和先进性。